Contrastive Learning

Contrastive Learning

Contrasitive Learning이 Masked Language Model하고 다른 핵심은, 감독학습처럼 명확하게 정답을 만들기 힘든 상황에서, ambiguous한 보기 중 가장 가까운 정답을 찾도록 하는 방식이라는 것이다.

 

https://analyticsindiamag.com/contrastive-learning-self-supervised-ml/#:~:text=Contrastive%20learning%20is%20an%20approach,between%20similar%20and%20dissimilar%20images.

 

 

Contrastive Learning에 쓰이는 Loss는 보통의 retreiver model 학습하는것처럼 CrossEntropy loss를 사용한다.

마찬가지로 Positive랑 Negative example 이용해서, negative는 멀어지고, postive는 가까워지는 방식이되고, 다만 constrastive learning들에서 보이는 큰 차이점은 positive랑 negative example을 일종의 augmentation과 같은 방법으로 찾아낸다는 것이다.