지난 글에 이어서 이번에는 Gaussian Mixture Model (GMM)에 Expectation-Maximization(EM) 알고리즘을 적용하여 최적화해 보겠다. 본 글은 머피의 머신러닝 1 8.7.3장에 해당하는 글을 기반으로 한다. 지난 글 : https://hi-lu.tistory.com/entry/EMExpectation-Maximization-%EC%95%8C%EA%B3%A0%EB%A6%AC%EC%A6%98%EC%9D%98-%EC%99%84%EB%B2%BD%ED%95%9C-%EA%B8%B0%EC%B4%88 EM(Expectation-Maximization) 알고리즘의 완벽한 기초 오늘은 다양한 곳에서 사용되는 bound optimization의 하나인 Expectation-Maximiza..

오늘은 xgboost를 다루기 전 기초 지식에 대해 정리해보고자 한다. 앙상블 기법인 stacking, bagging, random forest, boosting에 대해 정리할 예정이며, 대부분의 내용은 머피의 머신러닝 1의 18장에 해당한다. 책에서 앙상블 기법은 tree계열 모델을 설명하면서 언급되는데, 의사결정 트리의 기본적인 개념을 안 상태에서 본 글을 읽으면 더욱 도움이 될 거 같다. 참고 : 머피의 머신러닝 1 0. 사전지식 bootstrap bootstrap은 Monte Carlo기반 샘플링 기법으로, 아이디어 자체는 간단하다. 데이터셋이 충분히 크지 않으니 임의로 학습 데이터셋을 늘려서 학습에 사용하는 방법이다. 이는 parametric, nonparametric bootstrap으로 나뉘..

이전 아맞다에서 Linear Discriminant Analysis (LDA)에 대해 다루었다. 이번에는 Fisher LDA에 대해서 수식적으로 이해해 보는 글을 작성한다. 이전글: https://hi-lu.tistory.com/entry/%EC%95%84-%EB%A7%9E%EB%8B%A4-%08LDA%EC%84%A0%ED%98%95%ED%8C%90%EB%B3%84%EB%B6%84%EC%84%9D LDA(선형판별분석) 에 대한 완벽 개념 오늘은 Linear Discriminant Analysis(LDA)에 대한 수식적 이해를 돕도록 하겠다. 참고 : 머피의 머신러닝 1, CPSC 540 0. optional - 사전 지식 0-1. prior, posterior, likelihood prior, poste..

오늘은 다양한 곳에서 사용되는 bound optimization의 하나인 Expectation-Maximization(EM) 설명을 진행해볼까 한다. EM 알고리즘에서 나오는 ELBO에 대한 개념은 VAE(Variational Auto Encoder), 그리고 이미지 계열에서 핫한 diffusion 수식을 이해하는 데에도 도움이 될 것이다. 해당 내용은 책 머피의 머신러닝 1의 8.7에 해당하는 내용을 기반으로 하며 전개할 예정이다. 참고 : 머피의 머신러닝 1 필수 사전지식 본론으로 들어가기 전 알아두면 좋을 개념들이다. bound optimization 많은 머신러닝 문제에서 optimization이라 함은 적절한 objective function(목적 함수)을 설계해서 이를 최적화하며 모델을 학습시..

오늘은 머피의 머신러닝 16.1장에 해당하는 KNN(K Nearest Neighbor) classifier에 대해 정리해 본다. 참고 : 머피의 머신러닝 1 들어가면서 nonparametric model KNN은 CNN, RNN과 같은 딥러닝 모델과(parametric model)과 다르게 nonparametric model에 해당한다. parametic model은 데이터가 특정 distribution에 있기를 전제로 하고 학습을 진행한다면 nonparametric model은 그렇지 않다. 데이터가 특정 분포를 따른다는 전제 없이 모델을 학습한다. parametric model들을 정의할 때 class posterior가 다음과 같이 표현되고는 했다. 이때의 θ가 데이터의 분포를 학습하고자 하는 파라..

아맞다 시리즈 4번째. 오늘은 머피의 머신러닝 8.5 장에 나오는 Lagrange에 대해 본인이 소화한 대로 정리해 볼 것이다. 라그랑지 승수는 SVM을 설명할 때나 exponential family에서 엔트로피를 설명할 때, MLE에 대해 설명할 때에도 나오는 방법이다. 라그랑지와 더불어 KKT condition의 개념까지 정리해보고자 한다. 참고 : 머피의 머신러닝 1. Lagrange Multiplier(라그랑지 승수) Constrained optimization 라그랑지 승수를 어떤 경우에 사용하는지 이해하기 위해선 constraint optimization에 대한 이해가 필요하다. 한국어로 직역하면 '억제 최적화'가 된다. optimizer function을 구했는데, 특정 조건을 만족해야 한다..