[GEN] Alignment
LIMA는 "Less Is More for Alignment"의 약자로, 대용량 언어 모델의 학습 방법에 대한 새로운 접근 방식을 제시한 연구이다. 이 연구는 대용량 언어 모델의 지식이 대부분 미리 학습된(unsupervised pretraining) 단계에서 학습되며, 사용자와의 상호작용 형식(subdistribution of formats)을 배우는 것이 주요 목적인 "조정(alignment)" 단계에서는 제한적인 지시 튜닝(instruction tuning) 데이터만 필요하다는 가설을 제시한다.
이 연구에서는 LLaMa라는 65B 파라미터의 대용량 언어 모델을 사용하여, 1,000개의 신중하게 선별된 프롬프트(prompt)와 응답(response)으로만 학습한 LIMA 모델을 제시한다. 이 모델은 강화 학습(reinforcement learning)이나 인간의 선호도 모델링(human preference modeling) 없이도 놀라운 성능을 보여준다.
LIMA는 기존의 대표적인 언어 모델들과 비교해 보았을 때, 인간의 선호도에 따라 GPT-4와 비교했을 때 43%의 경우, Bard와 비교했을 때 58%의 경우, 그리고 DaVinci003과 비교했을 때 65%의 경우에 선호도가 동일하거나 LIMA를 선호하는 결과를 보여준다.
강화 학습과 같은 비용이 많이 드는 학습 방법을 사용하지 않고도, 고품질의 출력을 생성할 수 있는 모델을 학습하는 데 필요한 데이터의 양을 크게 줄일 수 있다는 가능성을 보여준다.
정렬(alignment)이란 AI 시스템이 인간의 목표와 윤리적 원칙에 따라 움직이도록 조종하고 제어하는 것을 말한다. 지금까지는 AI가 사람의 피드백을 통해 강화학습을 하는 등 인간의 능력에 의존해 AI를 정렬했지만, 앞으로 인간을 뛰어넘는 AI 시스템이 나오면 안정적으로 감독하기 어려울 수 있다는 지적 때문이다.
정렬 튜닝(Alignment Tuning)
Alignment tuning은 입력 문장과 레퍼런스 문장 간의 정렬 정보를 모델 학습에 이용하는 방법입니다. 기존의 Fine-tuning 방식은 입력 문장과 해당하는 레이블로 이루어진 데이터셋을 기반으로 모델을 학습시키는 반면, 정렬 튜닝은 입력 문장과 레퍼런스 문장 간의 정렬 정보도 함께 이용합니다. 정렬 튜닝은 fine-tuning 방식과 함께 사용할 수도 있습니다.
Alignment tuning은 언어 번역과 같은 작업에서 유용하게 활용할 수 있습니다. 예를 들어, "나는 사과를 먹는다"와 "I eat an apple"이라는 레퍼런스 문장이 있다고 가정해보겠습니다. 정렬 정보를 이용하여 "나는"과 "I", "사과를"과 "an apple"을 서로 매핑하여 입력 문장에서 적절한 위치에 배치할 수 있습니다. 이러한 정렬 정보를 활용하면 모델이 문장의 의미와 문법적 구조를 보다 정확하게 이해하고, 더욱 자연스러운 번역 결과를 제공할 수 있습니다.
출처
1. https://wikidocs.net/198206
2. https://www.donga.com/news/Economy/article/all/20230706/120115001/1