본문 바로가기
Research/Machine Learning

Smooth Approximation

by IMCOMKING 2020. 8. 6.

LogSumExp

LogSumExp는 max()의 smooth approximation이다.

그 이유는 exp를 취하게 되면, 숫자가 큰 값의 영향력이 지수적으로 커지게 되는데, 이것들을 덧셈을 하게되면 숫자가 작은 값들은 영향력이 매우 줄어들게된다.

그다음 log를 취해서 다시 exp의 역과정을 하게 되면, 사실상 영향력이 큰 숫자만 의미를 갖게 되므로 max함수와 유사한 기능을 하게 된다.



https://en.wikipedia.org/wiki/LogSumExp





Softmax

softmax는 argmax()의 smooth approximation이다.
argmax의 결과물이 one-hot encoding으로 표현되는 상황에서 사실상 softmax의 결과물은 argmax와 같은 솔루션을 갖는다. 특히 temperature를 도입할 경우, temperature가 0에 가까워질 수록 완전한 argmax가 된다고 볼 수 있다.


https://en.wikipedia.org/wiki/Softmax_function




'Research > Machine Learning' 카테고리의 다른 글

Contrastive Learning  (0) 2022.02.28
Hinge Loss  (0) 2022.01.06
Information Bottleneck  (0) 2020.06.12
Pseudo Label  (0) 2020.06.12
Probability Calibration  (0) 2020.04.17

댓글