이번 논문은 2021년 Stanford의 Li et al.이 발표한 "Prefix-Tuning: Optimizing Continuous Prompts for Generation"입니다. 대형 언어 모델(예: GPT-2, BART)을 다양한 자연어 생성 작업에 활용하려면 일반적으로 Fine-tuning을 수행해야 합니다. 하지만 모델 크기가 수억~수백억 파라미터에 달하면서, 작업마다 전체 모델을 복사해 학습하는 것은 비용과 저장 측면에서 매우 비효율적입니다. 이 논문에서는 이러한 문제를 해결하기 위해 Prefix-Tuning이라는 새로운 접근 방식을 제안합니다Paper: https://arxiv.org/abs/2101.00190 Prefix-Tuning: Optimizing Continuous Prompt..