본문 바로가기
Research/Machine Learning

Bayesian Optimization, Active learning

by IMCOMKING 2015. 8. 13.

둘다 가우시안 프로세스, 가우시안 리그레션으로 에러 펑션에 대한 근사함수를 만든다음 그 근사함수 상에서 에러를 최소화하는, 또는 근사 함수를 좀더 정확하게 만들 수 있는 점들을 다음 실험의 하이퍼파라미터로 사용한다.

그렇게 최소화된 실험 횟수로 하이퍼파라미터를 찾을 수 있다.

https://www.youtube.com/watch?v=VG2uCpKJkSg

 

Bayesian Optimization : 딥러닝을 제외한 여러 하이퍼파라미터 서치 알고리즘.


뉴럴넷의 하이퍼파라미터에 대해 에러를 minimize하기위한 objective function을 가짐.

 

직접적으로 에러에 대한 최소화를 목표로하기때문에 active learning보다 더 성능이 잘나온다고함.
또한 이것의 의미는 비전문가도 머신러닝을 쉽게 쓸 수 있으며, 연구자에게는 한번 실험하면 몇주씩 걸리는 뉴럴넷을 적은 실험횟수로도 충분히 좋은 성능이 나게 해줌

모델의 성능에 대한 근사함수를 가우시안 리그레션으로 세우고, 그 근사함수의 성능이 최대일 것이라고 예상되는 하이퍼파라미터를 실행

 

Active Learning : 모델의 데이터에 대한 분포를 가우시안 리그레션으로 근사함수를 만들고 어떤 데이터를 보여주었을 떄 가장 크게 분산이 줄어드는 가를 계산해서 선택적으로 어떤 데이터를 먼저 학습할지 결정하는 방식.

보다 간접적인 접근방식이라 성능이 생각보다 안나온다고 함.

 

 

강화학습 vs 검벨 vs 유전알고리즘 vs 베이지안 옵티미제이션

'Research > Machine Learning' 카테고리의 다른 글

미분의 체인 룰, 합성 함수 미분  (0) 2015.10.11
여러 Classifier 간의 특성  (0) 2015.09.14
Conventional AI  (0) 2015.08.11
Tex, LaTeX, Lyx  (0) 2015.08.10
논문 작성시 저작권의 공정 이용  (0) 2015.08.10

댓글