Score-based Diffusion Model과 Denoising Diffusion Probabilistic Model의 차이점과 공통점
Score-based Generative Models과 Diffusion Probabilistic Models과의 관계
Generative Modeling by Estimating Gradients of the Data Distribution https://arxiv.org/abs/1907.05600 Score-based Generative Model의 개념을 소개한 논문 Given this dataset, the goal of generative modeling is to fit a model to the data distribution
dlaiml.tistory.com
- 심플하게 Denoising Diffusion Model은 discrete time이고, Score-based Diffusion Model은 continuous time이라고 이해할 수 있다. 이러한 관계는 강화학습을 continuous time으로 확장할 때 Wiener Process와 SDE가 사용될 수 있는 것과 거의 같은 관계이다.
Denoising Diffusion Implicit Model: 학습과정은 기존 DDPM과 완전히 동일한데, 다만 DDPM의 stochastic reverse process를 determinisitc reverse process로 바꾼 것이 차이점이다. 그런데 이러한 determinisitic한 방법이 더 효과적이어서 실제로는 DDIM이 대부분 사용된다.
'Research > Machine Learning' 카테고리의 다른 글
| Epistemic Uncertainty와 Aleatoric Uncertainty (0) | 2025.01.06 |
|---|---|
| Kernel Density Estimation (0) | 2023.07.26 |
| Contrastive Learning (0) | 2022.02.28 |
| Hinge Loss (0) | 2022.01.06 |
| Smooth Approximation (0) | 2020.08.06 |
댓글