cliques

undirected graph

all BN -> MRF

MRF have Z term(partition function)

clique table = potential function

total P = maximum cliques' multiplication as Potential function for clique

구조학습하는 알고리즘이 있음. 이것이 풀고자하는 대상.

모든 랜덤 변수를 다 집어 넣고 fully connected MRF에서 시작해 무의미한 연결을 지워가면서 구조를 학습함.


higher order


canonical potential = pgm교과서에있음.
핵심 패턴을 놓고, 이것과의 차이로 파라미터라이즈를 함.
디폴트 패턴을 정해놓고 출발. 디폴트 패턴을 잘 정해야함. 그래서 데이터에서 가장 빈번한 패턴을 골라야함

low order의 정보로부터 high order로 러닝을 함.

MRF의 edge는 BN의 조건부확률과 다름. 두개간의 연결이 있으면 그어떤 given이 주어져도 둘은 독립이 될 수 없음.


캐노니컬 포텐셜을이용해 파라미터라이즈 : 클릭의 테이블을 채운다는 뜻인듯


하이퍼네트워크의 아이디어를 빌려, 각 feature를 샘플링해서 랜덤이면 삭제함


---------

MRF는 naive bayes 나 bayesian network와 달리 그래프간의 방향성이 없다.

nb, bn에서는 화살표가 조건부 확률을 나타내는 directed PGM 이지만, MRF는 undirected PGM이다.


즉 확률 변수간의 독립, 종속을 보고, 조건부 확률을 보지는 않겠다는 것 인듯.

대표적으로 이미지 픽셀간에서는 한픽셀이 다음 픽셀의 조건부확률로 보기보다는 일련의 픽셀들이 서로 확률적인 연관성이 있다는것이 더 자연스러움.

그래서 MRF는 BN에 비해서 더 자연스러운 도메인이 있다. 그러나 단점은 계산이 빡세고, 변수간의 해석이 어렵다는 점이 있다. 대신 undirected PGM은 directed PGM 에 비해 확률 변수들의 관계를 찾는게 더 쉽다. 방향을 고려하지 않으므로.


undirected PGM은 directed PGM이 쓰는 조건부 확률 대신, 조건부 독립을 사용해서 모델링을 한 것 같음.

ex) 어떤 한 픽셀은, 주변 부 픽셀들이 given으로 주어졌을 때 나머지 멀리있는 픽셀들과 전부 독립이다.

MRF의 그래프의 정의이자 나타내는 속성은 조건부 독립이다. 이는 다음과 같다.

서로 연결되지 않은 노드들은, 나머지 노드 전부가 given으로 주어졌을 때 항상 독립이다.(위의 픽셀도 이것으로 설명 가능) 반대로 말하면, 연결된 노드들은 항상 종속이다.(연결되지 않은 노드들은 항상 독립이다라는 가정이 훨씬 편하겠지만, 이는 real world의 너무 많은 인과를 생략하고 있어서 모델의 정확도가 떨어짐.)

즉 연결된 노드는 종속이다. 연결되지 않은 노드는 조건부 독립이다.


Maximum clique 는 확률을 구하기 전에 사용하는 중간 term. 이걸 z텀(partition function)으로 나누어 항상 0~1사이의 값을 같도록 해줌.

----

CRF : Conditional Random Field

MRF의 특수한 버전. 차이점은 supervised 만 가능하고 generative 가아닌, discriminative 모델이다.

로지스틱 리그레션의 구조화된 output을 낼 수 있는 확장판으로 해석가능하다.


뭔가 수학적으로는 P(x|y) = P(x,y)/sum_y P(x,y) 를 이용한다는 것 까진 알겠는데



--

undirected PGM 과 directed PGM으로 모두 표현 가능한 경우를 chordal 이라고 하며 서로 표현할 수 없는 경우들도 각각 존재함.

'작성중인 포스트' 카테고리의 다른 글

Probabilistic PCA  (0) 2014.12.15
Predicate Logic, First-order Logic  (0) 2014.11.15
Markov Random Field, Conditional Random Field  (0) 2014.11.14
Positive Definiteness  (0) 2014.11.13
Gaussian Processes  (0) 2014.11.13
Google Glass Develop kit  (0) 2014.10.02
by 곽동현 이스텔리앙 2014.11.14 13:49
| 1 2 3 4 5 6 7 8 9 ··· 13 |