• Batch Normalization: 개별 feature에 대한 통계를 구한다.(mini-batch내의 모든 데이터와 모든 시공간 dimension을 across out)
• Layer Normalization: 개별 instance에 대한 통계를 구한다.(모든 feature와 모든 시공간 dimension을 across out)
특히 각 seq마다 input feature의 스케일이 다를때 유용하다. ex) 시끄러운 wav 파일, 조용한 wav 파일
• Instance Normalization: 개별 instance에서, 개별 feature의 통계를 구한다.(모든 시공간 dimension을 across out)
이것은 사실 통계라고 말하기 힘듦. 그냥 그 값 1개를 가져오는 것임
• Group Normalization: 개별 instance에서, 개별 feature 그룹의 통계를 구한다.(모든 feature 그룹과 모든 시공간 dimension을 across out)
https://nealjean.com/ml/neural-network-normalization/
'Research > Deep Learning & Application' 카테고리의 다른 글
| 다양한 Convolution Layer (0) | 2020.01.30 |
|---|---|
| Residual connection (0) | 2019.10.22 |
| 각종 Normalization technique (2) | 2019.10.22 |
| 딥러닝에서 쓸만한 다양한 Ensemble Method (0) | 2018.11.01 |
| Computer Vision Techniques (0) | 2017.03.15 |
| Word2Vec, Bag-Of-Words, 최신 word embedding (2) | 2015.08.03 |
최근에 multi-head attention이랑 Group Normalization 같이 쓰는 연구가 있더라고..
답글
신기하네요 ㅎㅎ 논문링크도 좀 걸어주세용 ㅎㅎ