[한 줄 정리] 베이지안 최적화(Bayesian Optimization)

 

• 하이퍼파라미터를 최적화하기 위한 방법 중 하나로, 베이지안 정리를 기반으로 합니다.
• 베이지안 최적화는 미지의 목적함수를 학습함으로써 이를 전역 최적해로 만드는 파라미터를 찾는 방법입니다.
  이를 위해 먼저 사전분포에 기반해 하나의 탐색 함수를 가정합니다.
  그리고 매번 새로운 샘플링을 사용해 목적함수를 테스트할 때 해당 정보를 사용해 새로운 목적함수의 사전분포를 업데이트합니다.
  마지막으로 사후 분포를 통해 얻은 전역 최적해가 나타날 가능성이 가장 높은 위치에서 알고리즘을 테스트합니다.
• 그리드 탐색(Grid Search), 랜덤 탐색(Random Search) 같은 다른 기법들과 가장 중요한 차이는 바로 이전까지 탐색한 하이퍼파라미터 값들의 성능 결과 값을 사전 지식으로 활용한다는 점입니다.
  또한 20개 이하 하이퍼파라미터를 최적화할 경우에는 가장 효율적인 방법이 될 수 있습니다.

https://upload.wikimedia.org/wikipedia/commons/1/18/Bayes%27_Theorem_MMB_01.jpg

하이퍼파라미터 최적화와 다른 기법들에 대한 설명은 아래 글에 정리해뒀습니다.

하이퍼파라미터(Hyperparmeter)와 최적화(Optimization)

 

아래 자료를 참고했습니다.

• 책 『데이터 과학자와 데이터 엔지니어를 위한 인터뷰 문답집』
• 베이지안 최적화