transformer(트랜스포머)가 사용되는 모델의 대표작은 작년 말에 나온 ChatGPT가 있다. 자연어 생성 모델의 대표작인 ChatGPT가 있다면 이미지 모델에선 Vision Tansformer(ViT)가 다양한 모델의 백본(backbone)으로 사용되고 있다. 트랜스포머가 쏘아올린 작은 공은 많은 분야에 큰 반향을 불러왔다. 오늘은 이 transformer를 pytorch 공식 코드를 보며 이해해 보고 빠르게 구현까지 해보자.   Optionalattentionattention 함수를 정의하면 정말 간단하게 나타난다. query Q, key K, value V 3개의 계산이 정말 한 큐에 끝난다. 수식이 간단하기 때문이다.   import numpy as npimport soft..

딥러닝 계열 모델에서 최적화를 위해 optimizer(최적화 함수) 를 사용한다. tensorflow나 pytorch를 사용해본 사람들은 SGD, Adam와 같은 optimize가 익숙할 것이다. 오늘은 이 optimizer에 대해 알아보자. gradient descent stocastic gradient descent momentum adam 요약 1. Gradient Descent (GD) 2022.03.09 - [머신러닝 with 파이썬] - 파이썬으로 기초 MLP 구현하기 와 2022.04.03 - [머신러닝 with 파이썬] - 파이썬과 기초 딥러닝 개념- 이론편 1 에서 구현했던 backpropagation이 이에 해당한다. 한국어로는 '경사하강법'으로, 학습이 진행될 때마다 경사가 하강하는 ..

오늘은 파이썬으로 기초 Convolution Neural Network(CNN) 구현에 대한 포스팅이다. 이전 글을 읽고 오면 이해하기 편할 것이다. 이번에 구현할 내용은 CNN을 구성하는 convolution layer와, pooling레이어 중 자주 쓰이는 maxpooling 레이어이다. 모든 구현은 python으로 이루어지며, numpy 라이브러리를 사용한다. 구현용 설명 kernel stride padding conv img 사이즈 pooling layer 코드 Conv2D MaxPool2D 코드 확인 참고 : 이전 글 2022.03.09 - [머신러닝 with 파이썬] - 파이썬으로 기초 MLP 구현하기 파이썬으로 기초 MLP 구현하기 이번에는 기억을 되살려 tensorflow, pytorch를..

이번 주제부터는 이론 편과 실전 편으로 나눠서 글을 작성하겠다. 파이썬과 numpy 라이브러리를 사용한다 가정하고 딥러닝에 대한 개념을 조금 잡고 지나가 보자. 인공신경망. neural network 활성화함수. activation function 손실함수. loss function 역전파. backpropagation 최적화함수. optimzier function 딥러닝에서 사용하는 요소들에 대해 알아보자. 설명하는 데에 있어 input x는 인공신경망에 들어가는 값이다. 이 x는 이미지 사진이 될 수도 있고, '공룡이 사과를 먹는다'같은 자연어 데이터가 될 수도 있다. 인공신경망 딥러닝은 다층의 인공신경망(Neural Network)으로 이루어져 있다. 인공신경망이란 무엇일까? 이는 퍼셉트론에서 시작..

지난 포스트에서는 파이썬으로 인공신경망과 역전파 등을 포함해 MLP를 구현해 보았다. 이번에는 자연어 처리에서 많이 쓰였던 RNN신경망을 구현해보고자 한다. (요즘에는 트랜스포머가 모든 걸 그냥 씹어먹는 경향이 있지만 시계열 데이터는 대부분 RNN계열 모델을 많이 쓰는 편이다.) 코드 중 일부는 지난 포스트에 미리 짜 놓은 함수와 클래스를 일부 사용할 예정이다. https://hi-lu.tistory.com/entry/%ED%8C%8C%EC%9D%B4%EC%8D%AC%EC%9C%BC%EB%A1%9C-%EA%B8%B0%EC%B4%88-MLP-%EA%B5%AC%ED%98%84%ED%95%98%EA%B8%B0 파이썬으로 기초 MLP 구현하기 이번에는 기억을 되살려 tensorflow, pytorch를 사용하지..

이번에는 기억을 되살려 tensorflow, pytorch를 사용하지 않고 파이썬만을 사용하여 Multi Layer Perceptron(MLP)를 구현해보도록 하겠다. 구현할 함수는 딱 4개밖에 없다. 구현할 것들 backpropagation 역전파 Mean Squared Error(MSE) loss sigmoid함수 PReLU 함수 0. 기본 Linear Layer 의 기본 컨셉은 아래와 같다. out = w*x + b 참 간단하다. x는 내가 넣는 Input값을, w는 weight(가중치), b는 bias(편향), out은 결과값이다. 이 선형층을 여러 개 쌓아 올리면 MLP가 된다. Loss는 간단하게 MSELoss를 사용해보도록 하자. MSELoss = 1/n * ∑(out - y)**2 MLP의..