[LLM] Instruction Tuning

In-context learning (Prompt learning)

 

In-context learning 또는 prompt learning은 말 그대로 prompt 내의 맥락적인 의미 (in-context)를 모델이 알아차리고 (learning), 이런 형식에 맞도록 출력을 생성하는 것을 의미한다. 쉽게 말하면, 모델을 업데이트 하지 않고 질문을 잘 만들어서 우리가 원하는 출력을 만드는 접근법이다.

 

Zero-shot learning	예시 없이 task를 수행
One-shot learning	하나의 예시를 주고 task를 수행하는 경우
Few-shot learning	몇 개의 예시를 주고 task를 수행

 

 

Instruction Tuning

 

Instruction Tuning은 In-Context learning과 파인튜닝 (fine-tuning) 이 두 접근법의 장점을 결합하여 모델의 유연성과 정확성을 향상시키기 위한 전략이다. 데이터가 없는 개념에 대해서도 학습 과정에서 설정된 instruction에 따라 똑똑하게 유추하여 답을 제안하는 튜닝 방법이다.

 

https://smilegate.ai/en/2021/09/12/instruction-tuning-flan/

 

Instruction Tuning은 파인튜닝시 모델을 특정 데이터 셋으로 학습 시키는 방법처럼 데이터 셋을 통해 모델이 학습된다. 이러한 데이터 셋의 구성은 사용자의 구체적인 지시 (instruction)와 이에 대한 모델의 적절한 응답 (output)으로 구성되어 있다. 이렇게 구성된 데이터 셋을 학습함으로써, zero-shot 즉 질문만으로 답변을 도출할 수 있게 만든다. 또한, 지시 내용에 부연 설명이 필요하다면 이런 내용을 instruction에 덧 붙이기도 한다. in-context learning의 few-shot처럼 모델은 점차 사용자의 지시를 이해하고 이에 적절하게 대응하는 능력을 학습하게 된다.