Wat is Catastrophic Forgetting?

Catastrophic forgetting is het fenomeen waarbij een neuraal netwerk eerder geleerde kennis verliest wanneer het wordt getraind op nieuwe data. Wanneer je een model dat getraind is op taak A vervolgens traint op taak B, "vergeet" het hoe taak A moet worden uitgevoerd — de nieuwe parameters overschrijven de oude kennis.

Waarom het ertoe doet

Catastrophic forgetting is een fundamenteel probleem bij het updaten en aanpassen van AI-modellen. Het verklaart waarom je niet eenvoudig een foundation model kunt bijtrainen met nieuwe kennis zonder het risico dat bestaande capaciteiten degraderen. Het is een kernuitdaging voor continual learning, fine-tuning en het up-to-date houden van AI-systemen.

Hoe het werkt

Het mechanisme:

Neurale netwerken slaan kennis op in weights (parameters)
Bij training op nieuwe data worden weights aangepast via gradient descent
De nieuwe weight-updates overschrijven de waarden die essentieel waren voor eerdere taken
Het resultaat: perfecte prestaties op de nieuwe taak, catastrofale prestaties op de oude

Waarom het gebeurt:

Neurale netwerken hebben geen expliciete geheugenstructuur
Alle kennis is gedistribueerd over gedeelde parameters
Er is geen mechanisme om "oude" kennis te beschermen tijdens training

Mitigatiestrategieën:

Regularisatie (EWC, SI) — straf wijzigingen aan parameters die belangrijk zijn voor eerdere taken
Replay — bewaar een subset van oude trainingsdata en train er periodiek op
LoRA / adapters — voeg kleine nieuwe modules toe zonder het basismodel te wijzigen
Progressieve netwerken — voeg nieuwe modules toe voor nieuwe taken
Multi-task training — train op alle taken tegelijk

In de context van LLM's:

Fine-tuning van GPT/Claude op specifieke data kan algemene vermogens degraderen
LoRA en adapters zijn populair omdat ze het basismodel intact laten
RLHF-training moet zorgvuldig worden gebalanceerd om pre-trainingkennis te behouden

Voorbeeld

Een vertaalmodel getraind op Engels→Frans wordt vervolgens getraind op Engels→Duits. Na de Duitse training kan het model uitstekend vertalen naar het Duits, maar is het "vergeten" hoe het naar het Frans moet vertalen — de weights die Frans codeerden zijn overschreven. Dit is catastrophic forgetting in actie.