오늘은 Linear Regression의 기본적 수식 이해를 위한 글을 작성한다. 머피의 머신러닝 11장에 해당하며, ridge regression까지 다뤄볼 예정이다. 0. 들어가며 logistic regression과의 차이 linear regression(선형 회귀)와 logistic regression(로지스틱 회귀)는 둘 다 x에 대해서 y에 대한 확률(P(y|x)) 을 구하는 것으로 쓰인다. 그리고 두 방법론 다 모델을 일반적으로 x는 파라미터 θ를 통해 wx + b 형태로 사영된다. 그래서 얼핏 봤을 땐 비슷한 이름과 선형 형태인 wx+b로 인해 헷갈릴법 하다. (물론 logistic regression은 nonlinear classifier 형태도 있다. x를 wx+b가 아닌 w1x**2 ..

오늘은 지난 글 EVD에 이어서 SVD에 대해 정리해 본다. 이번 글은 머피의 머신러닝 1의 7.5장에 근거한다. 0. 들어가면서 EVD 요약 Eigenvalue Decomposition은 행렬 A에 대해 eigenvalue(Λ)와 eigenvector(U)로 다음과 같이 표현할 수 있었다. AU = UΛ 만약 여기서 A가 대칭행렬일 경우 U가 orthogonal(직교) 행렬이기 때문에 U의 역행렬이 U의 전치행렬과 같았다. 따라서 A를 아래와 같이 표현할 수 있었다. 참고로 orthogonal행렬은 각 컬럼이 서로 직교하기 하는 행렬이다. 만약 이 컬럼들이 normalization도 만족한다면 (컬럼의 크기가 1) 이 행렬은 orthonormal하다. A = UΛ trans(U) 이전 EVD 글 : h..

오늘은 Eigenvalue Decomposition(EVD)에 대해 빠삭하게 정리해보고자 한다. Singular Value Decomposition(SVD)를 설명하기 전 사전지식을 한 글로 떼어내서 다뤄볼 것이다. 본 내용은 '머피의 머신러닝 1'의 7.4장에 근거한다. 0. 사전지식 Orthogonal Matrix(직교 행렬) 두 선이 있을 때 수직이라면 이 두 선은 '직교'한다고 말한다. 벡터에서도 마찬가지다. x, y벡터가 있을 때 xT y = 0이라면 이 두 벡터는 orthogonal(직교)하다. 여기서 만약 x의 크기가 1이라면 (||x||2 == 1) 이땐 orthonomal 하다고 표현한다. 이를 행렬로도 확장해 보자. 정방행렬 내 모든 column이 orthonomal(orthogonal..

지난 글에 이어서 이번에는 Gaussian Mixture Model (GMM)에 Expectation-Maximization(EM) 알고리즘을 적용하여 최적화해 보겠다. 본 글은 머피의 머신러닝 1 8.7.3장에 해당하는 글을 기반으로 한다. 지난 글 : https://hi-lu.tistory.com/entry/EMExpectation-Maximization-%EC%95%8C%EA%B3%A0%EB%A6%AC%EC%A6%98%EC%9D%98-%EC%99%84%EB%B2%BD%ED%95%9C-%EA%B8%B0%EC%B4%88 EM(Expectation-Maximization) 알고리즘의 완벽한 기초 오늘은 다양한 곳에서 사용되는 bound optimization의 하나인 Expectation-Maximiza..

오늘은 xgboost를 다루기 전 기초 지식에 대해 정리해보고자 한다. 앙상블 기법인 stacking, bagging, random forest, boosting에 대해 정리할 예정이며, 대부분의 내용은 머피의 머신러닝 1의 18장에 해당한다. 책에서 앙상블 기법은 tree계열 모델을 설명하면서 언급되는데, 의사결정 트리의 기본적인 개념을 안 상태에서 본 글을 읽으면 더욱 도움이 될 거 같다. 참고 : 머피의 머신러닝 1 0. 사전지식 bootstrap bootstrap은 Monte Carlo기반 샘플링 기법으로, 아이디어 자체는 간단하다. 데이터셋이 충분히 크지 않으니 임의로 학습 데이터셋을 늘려서 학습에 사용하는 방법이다. 이는 parametric, nonparametric bootstrap으로 나뉘..

이전 아맞다에서 Linear Discriminant Analysis (LDA)에 대해 다루었다. 이번에는 Fisher LDA에 대해서 수식적으로 이해해 보는 글을 작성한다. 이전글: https://hi-lu.tistory.com/entry/%EC%95%84-%EB%A7%9E%EB%8B%A4-%08LDA%EC%84%A0%ED%98%95%ED%8C%90%EB%B3%84%EB%B6%84%EC%84%9D LDA(선형판별분석) 에 대한 완벽 개념 오늘은 Linear Discriminant Analysis(LDA)에 대한 수식적 이해를 돕도록 하겠다. 참고 : 머피의 머신러닝 1, CPSC 540 0. optional - 사전 지식 0-1. prior, posterior, likelihood prior, poste..