Catastrophic forgetting (catastrofaal vergeten) is wanneer een AI-model vaardigheden kwijtraakt die het al had, doordat het verder is getraind op iets nieuws. Stel: een bedrijf fine-tunet een algemeen model op zijn eigen supporttickets. Het model wordt beter in die tickets en kan slechter worden in taken die het eerst goed deed. Een neuraal netwerk bewaart al zijn kennis in één gedeelde verzameling getallen, dus nieuwe training kan oude kennis overschrijven.
Waarom gebeurt het?
Kirkpatrick e.a. (DeepMind, 2017) beschrijven hoe kennis van een eerdere taak abrupt verloren gaat als een netwerk taken na elkaar leert: de gewichten die belangrijk waren voor taak A worden aangepast aan de doelen van taak B. Meng je de data van alle taken in één trainingsronde, dan gebeurt dat niet, omdat de gewichten dan voor alle taken tegelijk worden geoptimaliseerd. McCloskey en Cohen beschreven het probleem in 1989 als catastrophic interference, het probleem van leren in volgorde.
Gebeurt het ook bij grote taalmodellen?
Ja. Luo e.a. (2023) gaven modellen van 1 tot 7 miljard parameters een reeks instruction-tuning-taken en maten wat ze verloren aan vakkennis, redeneervermogen en begrijpend lezen. Er trad overal vergeten op, en binnen dat bereik was het sterker bij de grotere modellen. Modellen die eerst algemene instruction tuning hadden gehad, vergaten minder tijdens de latere fine-tuning.
Hoe beperk je het?
- Replay: meng oude trainingsdata door de nieuwe training. Kirkpatrick e.a. merken op dat alles bewaren en herhalen onpraktisch wordt naarmate er meer taken bij komen; Rolnick e.a. (2019) vonden dat een beperkte buffer die willekeurig data weggooit bijna even goed werkt als een onbeperkte.
- Belangrijke gewichten beschermen: EWC (elastic weight consolidation) remt het leren af op de gewichten die voor eerdere taken belangrijk waren. Een straf die alle gewichten even zwaar beschermt, beperkt het vergeten, maar laat te weinig ruimte om de nieuwe taak te leren.
- Een kleine uitbreiding trainen: LoRA bevriest het basismodel en traint kleine extra matrices. Biderman e.a. (Columbia en Databricks, 2024) vonden dat het binnen het doeldomein minder leert dan volledige fine-tuning, en daarbuiten minder vergeet.
- Capaciteit per taak toevoegen: progressive networks (Rusu e.a., 2016) voegen per taak een nieuwe netwerkkolom toe en zetten de oude vast.
- Feiten buiten de gewichten houden: met RAG gaat nieuwe kennis in documenten en blijft het model zoals het is.
Voorbeeld
Kirkpatrick e.a. lieten één agent tien Atari-spellen spelen, na elkaar en daarna weer om de beurt. Hun score telt de prestatie per spel op, met 1 punt voor menselijk niveau, dus het maximum is 10. Met gewone gradient descent leerde de agent nooit meer dan één spel tegelijk: elk nieuw spel verdrong het vorige, en het totaal bleef onder de 1. Met EWC leerde hetzelfde netwerk meerdere spellen spelen. Het onderzoeksveld dat leren zonder vergeten bestudeert, heet continual learning.
Bronnen
- Kirkpatrick et al. (DeepMind): Overcoming catastrophic forgetting in neural networks (PNAS, 2017)arXiv
- McCloskey and Cohen: Catastrophic Interference in Connectionist Networks: The Sequential Learning Problem (1989)Web
- Luo et al.: An Empirical Study of Catastrophic Forgetting in Large Language Models During Continual Fine-tuning (2023)arXiv
- Biderman et al.: LoRA Learns Less and Forgets Less (2024)arXiv
- Rolnick et al.: Experience Replay for Continual Learning (NeurIPS, 2019)arXiv
- Rusu et al.: Progressive Neural Networks (2016)arXiv