오늘은 24년 4월에 나온 메타의 Imagine Flash 논문을 리뷰한다. 메타의 diffusion 모델인 Emu를 베이스라인으로 잡고, Emu의 성능을 끌어올리는 후속 논문이다. Emu 외 다른 모델에도 범용적으로 쓸 수 있다고 한다.  참고로 Emu는 latent diffusion model로 latent embedding은 오토인코더(AE. Auto Encoder) 방식으로 2.8B 크기의 U-Net을 사용했다.   1. Introduction이미지 생성 분야인 Denoising Diffusion Models(DMs)에서 문제점은 시간과 cost가 많이 드는 과정이란 거다. '시간' 측면에서, denoising 스텝 수와 스텝별 latency가 시간을 많이 걸리게 하는 두 주범이다. 그렇기에 sa..

오늘 다뤄볼 논문은 Direct Preference Optimization : Your Language Model is Secretly a Reward Model이다. 최근 LLM에서는 RLHF(Reinforcement Learning with Human Feedback) 방법론을 자주 접목시켜 모델을 학습하는데, DPO는 이 RLHF 계열의 알고리즘을 업데이트한 내용이다. 논문 : https://arxiv.org/abs/2305.18290 Direct Preference Optimization: Your Language Model is Secretly a Reward Model While large-scale unsupervised language models (LMs) learn broad world..