Hinge Loss

https://en.wikipedia.org/wiki/Hinge_loss

 

Hinge Loss는 확률에 대한 정의가 들어있지 않으므로, 아주 쉽게 생각하면 일종의 regression 방식으로 학습된다고 생각할 수 있다. 즉 pos label에 대해서는 예측된 y값이 1로 수렴하도록 리그레션을 하는 것이다.

 

좀 더 정확히는 정답 class에 대해서는 1-y가 최소가 되도록 학습을 해서, y가 커지도록 학습이 되는건데 다만 y값이 무한히 커지면 안되니까 max(0, 1-y)를 취해서 y가 1보다 커지면 0으로 처리해버려서 1에서 멈추도록 한다. 즉 확률이란 가정없이 y의 범위가 1이하로 되도록 제한하는 것이다.

반면에 오답 class에 대해서는 1+y가 최소가 되어야하므로, y가 작아지도록 학습하는데, 이 역시 무한히 작아지지 않게 하기 위해 max(0, 1+y)로 막아서, y가 -1보다 작아지면 0으로 처리해버려서 마찬가지로 y의 범위가 -1이상이 되도록 제한한다.

즉 결론적으로 HingeLoss는 일종의 리그레션 방식의 학습인데, y가 [-1, 1]의 범위를 갖도록 제한을 두는 학습방식이다.

• 리니어모델의 아웃풋이 최대한 1에 가깝게 커지거나 -1에 가깝게 작아지도록 학습하는 것이다.