반응형 continual incremental tuning1 [CIT/Continual Instruction Tuning] Task-Incremental Tuning① (PAPT, Continual-T0, ConTinTin, SLM) - 참고 논문 : Continual Learning for Large Language Models: A survey [paper]Task-Incremental Tuning1. Task-incremental CIT란?: task-incremental CIT는 task-specific한 지시(instruction)을 이어서 파인튜닝하여 새로운 task에 대한 능력을 획득하는 것을 목표로 함.- 하지만, LLM을 연속적으로 파인튜닝하는것은 이전 task에서 배운 지식과 문제해결능력을 망각하는 catastrophic forgetting을 야기할수있음. [Kotha et al.,,2023] Understanding Catastrophic Forgetting in Language Models via Implicit.. 2025. 2. 24. 이전 1 다음 반응형