Research/Machine Learning

Contrastive Learning

IMCOMKING 2022. 2. 28. 23:55

Contrastive Learning

Contrasitive Learning이 Masked Language Model하고 다른 핵심은, 감독학습처럼 명확하게 정답을 만들기 힘든 상황에서, ambiguous한 보기 중 가장 가까운 정답을 찾도록 하는 방식이라는 것이다.
 

 

 

Contrastive Learning에 쓰이는 Loss는 보통의 retreiver model 학습하는것처럼 CrossEntropy loss를 사용한다.

마찬가지로 Positive랑 Negative example 이용해서, negative는 멀어지고, postive는 가까워지는 방식이되고, 다만 constrastive learning들에서 보이는 큰 차이점은 positive랑 negative example을 일종의 augmentation과 같은 방법으로 찾아낸다는 것이다.