Advanced Supervised Learning

Advanced Supervised Learning 

Active Learning

Unlabeled data에 대해 MC dropout을 inference를해서 confidence를 측정해서 낮은것부터 labeling한다.

똑같은 방법으로 loss prediction을 해서 loss가 큰 것부터 labeling할 수도 있다.

Online Service Data + Active Learning

감독학습 모델의 실서비스를 하면서 계속해서 들어오는 input x에 대해, 모든 데이터를 전부 labeling할 수는 없다. 따라서 이 중에서 어떤 데이터를 labeling할 지 우선순위를 정해야하는데 이 때 active learning이 필요하다.

Multi-task Learning에서 난이도에 따른 Overfitting 문제에 대한 아주 쉬운 해결

1번 task의 학습이 끝나면, 모델을 freeze시키고, 마지막 layer에서의 feature에 softmax를 쌓아서 2번 째 task를 학습한다.