각종 Normalization technique

• Batch Normalization: 개별 feature에 대한 통계를 구한다.(mini-batch내의 모든 데이터와 모든 시공간 dimension을 across out)

• Layer Normalization: 개별 instance에 대한 통계를 구한다.(모든 feature와 모든 시공간 dimension을 across out)
특히 각 seq마다 input feature의 스케일이 다를때 유용하다. ex) 시끄러운 wav 파일, 조용한 wav 파일

• Instance Normalization: 개별 instance에서, 개별 feature의 통계를 구한다.(모든 시공간 dimension을 across out)
이것은 사실 통계라고 말하기 힘듦. 그냥 그 값 1개를 가져오는 것임

• Group Normalization: 개별 instance에서, 개별 feature 그룹의 통계를 구한다.(모든 feature 그룹과 모든 시공간 dimension을 across out)

위 그림에서 C를 feature dim으로 이해하고, H,W를 Time으로 이해하면 시계열에서도 쉽게 이해할 수 있다.

https://nealjean.com/ml/neural-network-normalization/

 

https://mlexplained.com/2018/01/13/weight-normalization-and-layer-normalization-explained-normalization-in-deep-learning-part-2/

저작자표시비영리변경금지

• 카카오스토리
• 트위터
• 페이스북

'Research > Deep Learning & Application' 카테고리의 다른 글

다양한 Convolution Layer  (0)	2020.01.30
Residual connection  (0)	2019.10.22
각종 Normalization technique  (2)	2019.10.22
딥러닝에서 쓸만한 다양한 Ensemble Method  (0)	2018.11.01
Computer Vision Techniques  (0)	2017.03.15
Word2Vec, Bag-Of-Words, 최신 word embedding  (2)	2015.08.03