[Continual Learning] Continual Instruction Tuning (CIT)

- 참고 논문 : Continual Learning for Large Language Models: A survey

https://arxiv.org/pdf/2402.01364

 

 

Continual Inistruction Tuning (CIT)

1. Task-incremental CIT

• 새로운 유형의 작업들을 순차적으로 학습
• 예를 들어, 처음에는 번역만 할 수 있었다면, 점차 요약, 감성분석 등 새로운 작업들을 수행할 수 있게 됨
• 주요 과제: 새로운 작업을 학습하면서 이전에 배운 작업 능력을 잃지 않는 것(catastrophic forgetting 방지)

🧭 예를 들어 요리사가 처음에는 칼질만 할 줄 알다가 → 볶기 → 찌기 → 굽기 등 다양한 조리 기술을 차례로 배우는 것
각각의 기술은 서로 다른 성격을 가지고 있지만, 결국 "요리"라는 큰 맥락에서 필요한 기술들

 

2. Domain-incremental CIT

• 특정 도메인(의료, 법률, 금융 등)에 특화된 지시사항을 처리하는 능력 학습
• 각 도메인의 전문용어와 맥락을 이해하고 적절히 응답하는 방법 학습
• 예: 의료 도메인에서 "환자의 증상을 분석하라"는 지시에 대한 적절한 응답 생성

🧭 예를들어, 의사가 내과 → 외과 → 소아과 등 전문분야를 넓혀가는 것과 비슷함
기본적인 진료 방식(task)은 비슷하지만, 각 분야에서 필요한 전문 지식과 용어가 다름

 

3. Tool-incremental CIT

• 계산기, 검색엔진, 데이터베이스 등 외부 도구들을 활용하는 방법 학습
• 새로운 API나 소프트웨어 라이브러리가 출시될 때마다 이를 활용하는 방법 학습
• 실제 세계와 상호작용하는 능력 향상

🧭 예를들어, 스마트폰 사용자가 새로운 앱들을 하나씩 익혀가는 것과 유사
처음에는 전화, 문자만 사용하다가 → 내비게이션 → 뱅킹 앱 → 쇼핑 앱 등을 추가로 사용하게 됨
LLM도 계산기, 검색엔진, API 등 외부 도구들을 하나씩 사용할 수 있게 되면서 실제 세계와의 상호작용 능력이 확장됨

 

Q. task-incremental과 domain incremental CIT의 차이?

Task-incremental CIT

• 주로 작업의 "형식"이나 "목적"이 다른 경우를 의미
• 예: 분류 → 생성 → 요약 → QA와 같이 작업의 본질적 성격이 다름
• 각 작업마다 다른 유형의 출력 구조나 평가 메트릭이 필요할 수 있음

Domain-incremental CIT

• 작업의 형식은 유사하지만 내용의 전문성과 맥락이 다른 경우
• 단순히 도메인 특화 데이터로 더 학습하는 것 이상의 의미를 가져야 하는데, 논문에서는 이 부분이 명확하게 설명되지 않음
• 실제로는 "더 좋은 도메인 데이터로 추가 학습"에 가까울 수 있음