둘다 가우시안 프로세스, 가우시안 리그레션으로 에러 펑션에 대한 근사함수를 만든다음 그 근사함수 상에서 에러를 최소화하는, 또는 근사 함수를 좀더 정확하게 만들 수 있는 점들을 다음 실험의 하이퍼파라미터로 사용한다.
그렇게 최소화된 실험 횟수로 하이퍼파라미터를 찾을 수 있다.
https://www.youtube.com/watch?v=VG2uCpKJkSg
Bayesian Optimization : 딥러닝을 제외한 여러 하이퍼파라미터 서치 알고리즘.
뉴럴넷의 하이퍼파라미터에 대해 에러를 minimize하기위한 objective function을 가짐.
직접적으로 에러에 대한 최소화를 목표로하기때문에 active learning보다 더 성능이 잘나온다고함.
또한 이것의 의미는 비전문가도 머신러닝을 쉽게 쓸 수 있으며, 연구자에게는 한번 실험하면 몇주씩 걸리는 뉴럴넷을 적은 실험횟수로도 충분히 좋은 성능이 나게 해줌
모델의 성능에 대한 근사함수를 가우시안 리그레션으로 세우고, 그 근사함수의 성능이 최대일 것이라고 예상되는 하이퍼파라미터를 실행
Active Learning : 모델의 데이터에 대한 분포를 가우시안 리그레션으로 근사함수를 만들고 어떤 데이터를 보여주었을 떄 가장 크게 분산이 줄어드는 가를 계산해서 선택적으로 어떤 데이터를 먼저 학습할지 결정하는 방식.
보다 간접적인 접근방식이라 성능이 생각보다 안나온다고 함.
강화학습 vs 검벨 vs 유전알고리즘 vs 베이지안 옵티미제이션
'Research > Machine Learning' 카테고리의 다른 글
미분의 체인 룰, 합성 함수 미분 (0) | 2015.10.11 |
---|---|
여러 Classifier 간의 특성 (0) | 2015.09.14 |
Conventional AI (0) | 2015.08.11 |
Tex, LaTeX, Lyx (0) | 2015.08.10 |
논문 작성시 저작권의 공정 이용 (0) | 2015.08.10 |
댓글