아맞다 시리즈 4번째. 오늘은 머피의 머신러닝 8.5 장에 나오는 Lagrange에 대해 본인이 소화한 대로 정리해 볼 것이다. 라그랑지 승수는 SVM을 설명할 때나 exponential family에서 엔트로피를 설명할 때, MLE에 대해 설명할 때에도 나오는 방법이다. 라그랑지와 더불어 KKT condition의 개념까지 정리해보고자 한다. 참고 : 머피의 머신러닝 1. Lagrange Multiplier(라그랑지 승수) Constrained optimization 라그랑지 승수를 어떤 경우에 사용하는지 이해하기 위해선 constraint optimization에 대한 이해가 필요하다. 한국어로 직역하면 '억제 최적화'가 된다. optimizer function을 구했는데, 특정 조건을 만족해야 한다..

들어가며 오늘은 머피의 머신러닝 3. Probability의 3.4 The exponential family에 대한 내용을 기반으로 정리를 해보고자 한다. 사실 exponential family라 하면 ML을 배우고 있는 사람들에게는 모르는 줄 알지만 알고있는 개념일 가능성이 크다. 나또한 그랬기 때문이다. 오늘 할 일은 exponential family가 어떤 개념인지를 파악하고, 예시로 bernoulli 분포가 exponential family에 속함을 수식적으로 확인해 볼 것이다. 참고 : 머피의 머신러닝 0. [Optional] 사전 지식 convex 머신러닝에서는 일반적으로 특정 함수가 convex 함수임을 전제로 들고 문제를 풀기 시작한다. 머신러닝에서 모델은 학습하는 함수가 가장 '최적값'..

오늘은 Linear Discriminant Analysis(LDA)에 대한 수식적 이해를 돕도록 하겠다. 참고 : 머피의 머신러닝 1, CPSC 540 0. optional - 사전 지식 0-1. prior, posterior, likelihood prior, posterior, likelihood에 대해 샘플 데이터 D, 학습하고 싶은 파라미터 θ를 기반으로 정리하면 다음과 같다. prior : P(θ) posterior : P(θ|D) likelihood : P(D|θ) posterior ~= prior * likelihood (by baysian) 이번엔 데이터가 피쳐 x와 라벨 y로 구성되어 있다 가정하자. 그러면 식이 다음과 같이 바뀔 수 있다. 아래와 같이 수식을 접근하게 되면 라벨 y의 클래..