Smooth Approximation

LogSumExp

LogSumExp는 max()의 smooth approximation이다.

그 이유는 exp를 취하게 되면, 숫자가 큰 값의 영향력이 지수적으로 커지게 되는데, 이것들을 덧셈을 하게되면 숫자가 작은 값들은 영향력이 매우 줄어들게된다.

그다음 log를 취해서 다시 exp의 역과정을 하게 되면, 사실상 영향력이 큰 숫자만 의미를 갖게 되므로 max함수와 유사한 기능을 하게 된다.

https://en.wikipedia.org/wiki/LogSumExp

Softmax

softmax는 argmax()의 smooth approximation이다.

argmax의 결과물이 one-hot encoding으로 표현되는 상황에서 사실상 softmax의 결과물은 argmax와 같은 솔루션을 갖는다. 특히 temperature를 도입할 경우, temperature가 0에 가까워질 수록 완전한 argmax가 된다고 볼 수 있다.

https://en.wikipedia.org/wiki/Softmax_function