본문 바로가기
Research/Machine Learning

Pseudo Label

by 곽동현 IMCOMKING 2020. 6. 12.

원 모델이 틀린 데이터에 대해서, pseudo-labeling할 때 class를 맞춰야만 유의미한 성능이 증가한다.



모델이 underfitting 된 상황에서만, 이러한 pseudo-labeling이 동작하는게아닐까? 

데이터가 부족해서 블러리한 디시전바운더리가 있는 지점의 sharpness를 증가시켜서, 모델의 underfitting을 해결한다.

음어렵다... 근데 이게 블러리한 영역에서 양쪽 방향으로 동일한 개수의 x가 생성되면...?


다만, 여기에 thresholding을 해서 좀 더 확실한 클래스에 대해서만 학습을한다면? 근데이건 애초에 블러리하지 않다는건데..

게다가 overconfident문제가 있음..

'Research > Machine Learning' 카테고리의 다른 글

Smooth Approximation  (0) 2020.08.06
Information Bottleneck  (0) 2020.06.12
Pseudo Label  (0) 2020.06.12
Probability Calibration  (0) 2020.04.17
Bayesian Inference  (0) 2020.01.29
Advanced Supervised Learning  (0) 2020.01.28

댓글0