인공지능 수업 필기.

마코프 랜덤필드란, 확률그래프 모델로써 맥시멈클릭에 대해 포텐셜펑션-확률테이블같은것 의 곱으로 전체 조인프 프로버블리티를 표현함.

로컬한 분포여러개로 전체분포를 표현한다.

클릭이란, 풀리커넥티드된 그룹을 의미함. 맥시멈클릭은 중복이 없는 최대크기의 그룹을 의미

확률그래프 모델
-다이렉티드 그래프:베이지안 네트워크
-언다이렉티드 그래프:마코프 랜덤필드

응용예시
노이즈가 생긴 이미지에서 원본 이미지를 복원해내는 일
이 역시 베이지안 쎄오렘-포스테리어공식으로 표현할 수 있다.
y가 트루이미지, x가 관찰이미지
p(y|x)=p(x|y)*p(y)/p(x)


위식에서 풀베이지안은 베이지안식에서 노멀라이즈 텀인 p(x) , 에비던스 확률분포를 고려한것. 세상읳모든데이터의 확률분포를 구해야함.

p(x)를 안구하고 라이클리후드랑 프라이어를 쓰는게 맥시멈 아 포스테리어리


이미지문제에서 각픽셀 xi는 서로 조건부 독립이라고 가정한다.
그래서 이식은 다시 p(y)*파이_i[p(xi|yi] 로 표현가능

그리고 로그를 취하고 다시 익스포넨셜을 취한다음 Z텀으로나누어 계수를 조정해줌-가우시안분포 맨앞에 상수같은개념. 전부적분해서 1이되도록해줌

P(Y|X)=1/Z*exp[시그마 log(P(xi|yi))+시그마 Vc(Yc)]

즉 여기서의 Z텀은 풀리베이지안의 그녀석과다름. 이건 확률이되도록하기위한 값임

여기서의 Vc는 클릭에대한 에너지의 합으로 포텐셜이라고함.
이걸 어떻게 가정하냐에따라 달라진다고함. 아이징모델 Ising 에서는 yiyj를 곱한것으로 포텐셜펑션을 정의함. 이것은 and연산으로 볼 수 있음. 둘다 1이면 1이나오고, 둘중하나가 0이면 0임. 즉 주변의 픽셀중 혼자만 1이면 노이즈라 보는 가정.

맥시멈아포스테리어리를 찾는 것이므로 둘다 1인 것을 찾도록 유도됨. 이는 프라이어를 사전지식으로 정의한 것임

앞부분의 로그는 가우시안 믹스쳐로 모델이 가능. 이게뭔소리지. MRF는 가우시안믹스쳐+알파란 소리인가

mrf는무조건 베이지안어프로치임

랜덤필드는 랜덤변수들의 페밀리이다. 여기서 랜덤변수는 이미지 픽셀 각각이고, 즉 픽셀들의 집합이라고 볼 수 있다.

마코프 랜덤필드란, 마코프 어셤션을 가진 랜덤필드를 의미함. 즉 랜덤필드간에 시간이아닌 지역적인 마코프속성이 있어서, 바로 주변픽셀만 고려하고 나머지는 고려하지 않아도 된다는 개념임


exploitation 착취. 기존의 방법을 어떻게든 최적해서 성능 올리는 것.
exploration 모험. 새로운 방법을 도전해서 더 큰 성능을 올리는 것


시뮬레이티드 어닐링. 강철을 달금질 할수록 단단해지는 원리를 응용. 온도가 높을때는 철분자가 더 큰 진동폭으로 글로벨 옵티마를 찾음. 점점 온도가 낮아지면서 점정 로컬옵티마를 찾음.
어뎁티브 러닝레이트 뉘앙스




'연구 > Machine Learning' 카테고리의 다른 글

MCMC, Sampling 예제  (0) 2015.04.05
Support Vector Machine  (0) 2015.04.03
Markov Random Field, MRF  (1) 2015.03.26
머신러닝의 응용사례  (0) 2015.03.24
Practical Theano Tutorial  (0) 2015.03.11
Bayesian Network  (1) 2015.03.10
by 곽동현 이스텔리앙 2015.03.26 12:16
  • 베이지안팬클럽 2016.04.25 16:12 ADDR EDIT/DEL REPLY

    좋은글 감사합니다.