각종 Normalization technique

• Batch Normalization: 각 feature에 대한 통계를 구한다.(mini-batch내의 모든 데이터와 모든 시공간 dimension을 across out)

• Layer Normalization: 각 instance에 대한 통계를 구한다.(모든 feature와 모든 시공간 dimension을 across out)
특히 각 seq마다 input feature의 스케일이 다를때 유용하다. ex) 시끄러운 wav 파일, 조용한 wav 파일

• Instance Normalization: 각 instance에서, 각 feature의 통계를 구한다.(모든 시공간 dimension을 across out)
이것은 사실 통계라고 말하기 힘듦. 그냥 그 값 1개를 가져오는 것임

• Group Normalization: 각 instance에서, 각 feature 그룹의 통계를 구한다.(모든 feature 그룹과 모든 시공간 dimension을 across out)

위 그림에서 C를 feature dim으로 이해하고, H,W를 Time으로 이해하면 시계열에서도 쉽게 이해할 수 있다.

https://nealjean.com/ml/neural-network-normalization/

 

https://mlexplained.com/2018/01/13/weight-normalization-and-layer-normalization-explained-normalization-in-deep-learning-part-2/