Markov Random Field, MRF

인공지능 수업 필기.

마코프 랜덤필드란, 확률그래프 모델로써 맥시멈클릭에 대해 포텐셜펑션-확률테이블같은것 의 곱으로 전체 조인프 프로버블리티를 표현함.

로컬한 분포여러개로 전체분포를 표현한다.

클릭이란, 풀리커넥티드된 그룹을 의미함. 맥시멈클릭은 중복이 없는 최대크기의 그룹을 의미

확률그래프 모델

-다이렉티드 그래프:베이지안 네트워크

-언다이렉티드 그래프:마코프 랜덤필드

응용예시

노이즈가 생긴 이미지에서 원본 이미지를 복원해내는 일

이 역시 베이지안 쎄오렘-포스테리어공식으로 표현할 수 있다.

y가 트루이미지, x가 관찰이미지

p(y|x)=p(x|y)*p(y)/p(x)

위식에서 풀베이지안은 베이지안식에서 노멀라이즈 텀인 p(x) , 에비던스 확률분포를 고려한것. 세상읳모든데이터의 확률분포를 구해야함. 

p(x)를 안구하고 라이클리후드랑 프라이어를 쓰는게 맥시멈 아 포스테리어리

이미지문제에서 각픽셀 xi는 서로 조건부 독립이라고 가정한다.

그래서 이식은 다시 p(y)*파이_i[p(xi|yi] 로 표현가능

그리고 로그를 취하고 다시 익스포넨셜을 취한다음 Z텀으로나누어 계수를 조정해줌-가우시안분포 맨앞에 상수같은개념. 전부적분해서 1이되도록해줌

P(Y|X)=1/Z*exp[시그마 log(P(xi|yi))+시그마 Vc(Yc)]

즉 여기서의 Z텀은 풀리베이지안의 그녀석과다름. 이건 확률이되도록하기위한 값임

여기서의 Vc는 클릭에대한 에너지의 합으로 포텐셜이라고함.

이걸 어떻게 가정하냐에따라 달라진다고함. 아이징모델 Ising 에서는 yiyj를 곱한것으로 포텐셜펑션을 정의함. 이것은 and연산으로 볼 수 있음. 둘다 1이면 1이나오고, 둘중하나가 0이면 0임. 즉 주변의 픽셀중 혼자만 1이면 노이즈라 보는 가정.

맥시멈아포스테리어리를 찾는 것이므로 둘다 1인 것을 찾도록 유도됨. 이는 프라이어를 사전지식으로 정의한 것임

앞부분의 로그는 가우시안 믹스쳐로 모델이 가능. 이게뭔소리지. MRF는 가우시안믹스쳐+알파란 소리인가

mrf는무조건 베이지안어프로치임

랜덤필드는 랜덤변수들의 페밀리이다. 여기서 랜덤변수는 이미지 픽셀 각각이고, 즉 픽셀들의 집합이라고 볼 수 있다.

마코프 랜덤필드란, 마코프 어셤션을 가진 랜덤필드를 의미함. 즉 랜덤필드간에 시간이아닌 지역적인 마코프속성이 있어서, 바로 주변픽셀만 고려하고 나머지는 고려하지 않아도 된다는 개념임

exploitation 착취. 기존의 방법을 어떻게든 최적해서 성능 올리는 것.

exploration 모험. 새로운 방법을 도전해서 더 큰 성능을 올리는 것 

시뮬레이티드 어닐링. 강철을 달금질 할수록 단단해지는 원리를 응용. 온도가 높을때는 철분자가 더 큰 진동폭으로 글로벨 옵티마를 찾음. 점점 온도가 낮아지면서 점정 로컬옵티마를 찾음.

어뎁티브 러닝레이트 뉘앙스