Bayesian Optimization, Active learning

Research/Machine Learning

IMCOMKING 2015. 8. 13. 11:40

둘다 가우시안 프로세스, 가우시안 리그레션으로 에러 펑션에 대한 근사함수를 만든다음 그 근사함수 상에서 에러를 최소화하는, 또는 근사 함수를 좀더 정확하게 만들 수 있는 점들을 다음 실험의 하이퍼파라미터로 사용한다.

그렇게 최소화된 실험 횟수로 하이퍼파라미터를 찾을 수 있다.

Bayesian Optimization : 딥러닝을 제외한 여러 하이퍼파라미터 서치 알고리즘.

뉴럴넷의 하이퍼파라미터에 대해 에러를 minimize하기위한 objective function을 가짐.

직접적으로 에러에 대한 최소화를 목표로하기때문에 active learning보다 더 성능이 잘나온다고함.
또한 이것의 의미는 비전문가도 머신러닝을 쉽게 쓸 수 있으며, 연구자에게는 한번 실험하면 몇주씩 걸리는 뉴럴넷을 적은 실험횟수로도 충분히 좋은 성능이 나게 해줌

모델의 성능에 대한 근사함수를 가우시안 리그레션으로 세우고, 그 근사함수의 성능이 최대일 것이라고 예상되는 하이퍼파라미터를 실행

Active Learning : 모델의 데이터에 대한 분포를 가우시안 리그레션으로 근사함수를 만들고 어떤 데이터를 보여주었을 떄 가장 크게 분산이 줄어드는 가를 계산해서 선택적으로 어떤 데이터를 먼저 학습할지 결정하는 방식.

보다 간접적인 접근방식이라 성능이 생각보다 안나온다고 함.

티스토리