이번 주제부터는 이론 편과 실전 편으로 나눠서 글을 작성하겠다. 파이썬과 numpy 라이브러리를 사용한다 가정하고 딥러닝에 대한 개념을 조금 잡고 지나가 보자. 인공신경망. neural network 활성화함수. activation function 손실함수. loss function 역전파. backpropagation 최적화함수. optimzier function 딥러닝에서 사용하는 요소들에 대해 알아보자. 설명하는 데에 있어 input x는 인공신경망에 들어가는 값이다. 이 x는 이미지 사진이 될 수도 있고, '공룡이 사과를 먹는다'같은 자연어 데이터가 될 수도 있다. 인공신경망 딥러닝은 다층의 인공신경망(Neural Network)으로 이루어져 있다. 인공신경망이란 무엇일까? 이는 퍼셉트론에서 시작..

지난 포스트에서는 파이썬으로 인공신경망과 역전파 등을 포함해 MLP를 구현해 보았다. 이번에는 자연어 처리에서 많이 쓰였던 RNN신경망을 구현해보고자 한다. (요즘에는 트랜스포머가 모든 걸 그냥 씹어먹는 경향이 있지만 시계열 데이터는 대부분 RNN계열 모델을 많이 쓰는 편이다.) 코드 중 일부는 지난 포스트에 미리 짜 놓은 함수와 클래스를 일부 사용할 예정이다. https://hi-lu.tistory.com/entry/%ED%8C%8C%EC%9D%B4%EC%8D%AC%EC%9C%BC%EB%A1%9C-%EA%B8%B0%EC%B4%88-MLP-%EA%B5%AC%ED%98%84%ED%95%98%EA%B8%B0 파이썬으로 기초 MLP 구현하기 이번에는 기억을 되살려 tensorflow, pytorch를 사용하지..

이번에는 기억을 되살려 tensorflow, pytorch를 사용하지 않고 파이썬만을 사용하여 Multi Layer Perceptron(MLP)를 구현해보도록 하겠다. 구현할 함수는 딱 4개밖에 없다. 구현할 것들 backpropagation 역전파 Mean Squared Error(MSE) loss sigmoid함수 PReLU 함수 0. 기본 Linear Layer 의 기본 컨셉은 아래와 같다. out = w*x + b 참 간단하다. x는 내가 넣는 Input값을, w는 weight(가중치), b는 bias(편향), out은 결과값이다. 이 선형층을 여러 개 쌓아 올리면 MLP가 된다. Loss는 간단하게 MSELoss를 사용해보도록 하자. MSELoss = 1/n * ∑(out - y)**2 MLP의..

지난 포스트에서는 동시성과 병렬성에 대해 아래와 같이 다루어봤다. 동시성 병렬성의 개념, 스레드와 코루틴의 개념 스레드 심화. 스레드의 lock, queue를 이용하는 방법 이번에는 책 '파이썬 코딩의 기술'의 7장, 파이썬 공식문서 내용을 포함해서 asyncio에 대해 비교적 자세히 다뤄보겠다. 책 리뷰보단 공식문서를 더 차용한 거 같아 이번 시리즈 제목은 간단하게 asyncio로 간다. 파이썬 코루틴 공식문서 : https://docs.python.org/ko/3/library/asyncio-task.html 지난글 1: https://hi-lu.tistory.com/entry/파이썬-코딩의-기술-리뷰-동시성과-병렬성-1 지난 글 2: https://hi-lu.tistory.com/entry/Thre..

저번 포스트에서 책의 7장 내용인 '동시성(concurrency)과 병렬성(parallelism)'에 대해 간략히 개념을 잡았다. 이번에는 thread의 약간 심화 버전으로 정리를 해보려고 한다. 지난 글: https://hi-lu.tistory.com/entry/파이썬-코딩의-기술-리뷰-동시성과-병렬성-1 파이썬 코딩의 기술 리뷰- 동시성과 병렬성 1 이번에는 책의 7장 내용인 '동시성(concurrency)과 병렬성(parallelism)'에 대해 먼저 정리하겠다. 주로 개념들을 잡고 가는 기록이 될 듯하다. 동시성 , 병렬성 subprocess thread coroutine 개념잡기 - 동시성 &. hi-lu.tistory.com 0. 간단 용어 설명 fan in : 프로세스 내 다음 단계로 가기 ..

지난 포스트에 이어서 '파이썬 코딩의 기술' 책의 6장인 메타 클래스와 애트리뷰트에 대해 마저 기술해보도록 하겠다. 메타클래스 __init__subclass__ __set_name__ 클래스 데코레이터 0. 간단 정의 클래스 애트리뷰트 : 클래스 내 self가 붙어있는 친구들이라 보면 편하다. 클래스 내 object라고 보면 될 듯. 메타클래스 : 클래스를 넘어가는 개념, 클래스 문을 가로채서 특별한 동작을 진행할 수 있음. ex) 클래스 잘 구현됐는지 검증 1. 메타클래스 클래스가 잘 구현됐는지 검증하기 위해 메타클래스를 사용할 수 있다. __init__메서드에서 검증 코드를 실행하는 경우가 많은데, 이때의 장점은 클래스 모듈을 import 할 때와 같은 시점에 검증 코드가 실행되게 때문에 예외를 더 ..