오늘 다뤄볼 논문은 Direct Preference Optimization : Your Language Model is Secretly a Reward Model이다. 최근 LLM에서는 RLHF(Reinforcement Learning with Human Feedback) 방법론을 자주 접목시켜 모델을 학습하는데, DPO는 이 RLHF 계열의 알고리즘을 업데이트한 내용이다. 논문 : https://arxiv.org/abs/2305.18290 Direct Preference Optimization: Your Language Model is Secretly a Reward Model While large-scale unsupervised language models (LMs) learn broad world..

오늘은 cvpr에 등재된 논문 'Exploring Simple Siamese Representation Learning'에 대해 리뷰해보고자 한다. 해당 논문은 kaiming_normal로 유명한 kaiming he가 저자로 있고, Facebook AI에서 출판한 논문이다. cvpr2022 2월까지의 논문중 rank가 가장 높은 논문이다. siamese learning에 대해서 인사이트를 주는 논문인데, 이는 self supervision에서 주로 쓰이는 학습 모델이다. stop gradient를 통해 siamese learning의 문제점인 'output이 상수로 붕괴되는 현상'을 해결했다고 한다. 사전 지식 siamese network contrastive learning clustering SimS..

OCR에 관한 SOTA를 찾던 중 읽은 논문이다. 2017년 논문인데 소타라는게 조금 신기하긴 했는데 (4년 전 논문인 건데!) , 기본적인 구조는 CNN + RNN + Attention 이다. 논문 링크는 다음과 같다: https://arxiv.org/abs/1704.03549 Attention-based Extraction of Structured Information from Street View Imagery We present a neural network model - based on CNNs, RNNs and a novel attention mechanism - which achieves 84.2% accuracy on the challenging French Street Name Signs..

시계열 이미지 데이터를 위해 읽었던 신기한 논문. 논문과 졸업과제로 한동안 리뷰 올리기를 쉬었다. 이번에 읽은 논문은 Phydnet과 Phycell을 제안한 것으로, unsupervised video prediction을 위한 방법이다. 이미지 관련 시계열 데이터를 다루는 데에 실제로 쓸 수 있을 것 같다. 또한 편미분방정식을 다층 CNN구조로 구할 수 있다는 이론을 토대로 알고리즘을 구현한 것으로 보인다. 이에 관한 논문은 이후에 읽어볼 예정이다. Disentangling Physical Dynamics from Unknown Factors for Unsupervised Video Prediction (https://arxiv.org/abs/2003.01460) 본 논문이 제안한 것은 two-branc..

이전 시리즈 : https://hi-lu.tistory.com/entry/Paper-Recurrent-Attention-Model-%EB%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0-1?category=992577 [Paper] Recurrent Attention Model 논문 리뷰 - 1 [SAI 동아리 발표] RAM(Recurrent Attention Model) 관련 논문들. 원래는 한 포스트였지만, 이 블로그에 쓰다 보니 조금 긴 거 같아서 2개 포스트로 쪼갠다. 최근 들어 HAR(Human Activity Recognition), 특히 vis.. hi-lu.tistory.com 이어서 두 번째 논문을 리뷰해보자. 이번 포스트에서는 이전 포스트 논문의 mother paper를 리..

[SAI 동아리 발표] RAM(Recurrent Attention Model) 관련 논문들. 원래는 한 포스트였지만, 이 블로그에 쓰다 보니 조금 긴 거 같아서 2개 포스트로 쪼갠다. 최근 들어 HAR(Human Activity Recognition), 특히 vision sensor가 아닌 IMU sensor data기반에 대해 알아보았다. 평소 관심사인 RL에 대한 애정이 식어간다고 느꼈다. 그러다 보니, state를 각 sensor data에 대해 t(time)로 쪼개서 labeling을 하면 강화 학습을 적용할 수 있겠단 막연한 생각을 했었다. 역시나 누군가는 만들어놨다! HAR 분야에서 2019년에 publish된 논문 하나를 찾았다. [1] weakly labeled data에 대해 처리해서 H..