Wat is Catastrophic Forgetting?
Catastrophic forgetting is het fenomeen waarbij een neuraal netwerk eerder geleerde kennis verliest wanneer het wordt getraind op nieuwe data. Wanneer je een model dat getraind is op taak A vervolgens traint op taak B, "vergeet" het hoe taak A moet worden uitgevoerd — de nieuwe parameters overschrijven de oude kennis.
Waarom het ertoe doet
Catastrophic forgetting is een fundamenteel probleem bij het updaten en aanpassen van AI-modellen. Het verklaart waarom je niet eenvoudig een foundation model kunt bijtrainen met nieuwe kennis zonder het risico dat bestaande capaciteiten degraderen. Het is een kernuitdaging voor continual learning, fine-tuning en het up-to-date houden van AI-systemen.
Hoe het werkt
Het mechanisme:
- Neurale netwerken slaan kennis op in weights (parameters)
- Bij training op nieuwe data worden weights aangepast via gradient descent
- De nieuwe weight-updates overschrijven de waarden die essentieel waren voor eerdere taken
- Het resultaat: perfecte prestaties op de nieuwe taak, catastrofale prestaties op de oude
Waarom het gebeurt:
- Neurale netwerken hebben geen expliciete geheugenstructuur
- Alle kennis is gedistribueerd over gedeelde parameters
- Er is geen mechanisme om "oude" kennis te beschermen tijdens training
Mitigatiestrategieën:
- Regularisatie (EWC, SI) — straf wijzigingen aan parameters die belangrijk zijn voor eerdere taken
- Replay — bewaar een subset van oude trainingsdata en train er periodiek op
- LoRA / adapters — voeg kleine nieuwe modules toe zonder het basismodel te wijzigen
- Progressieve netwerken — voeg nieuwe modules toe voor nieuwe taken
- Multi-task training — train op alle taken tegelijk
In de context van LLM's:
- Fine-tuning van GPT/Claude op specifieke data kan algemene vermogens degraderen
- LoRA en adapters zijn populair omdat ze het basismodel intact laten
- RLHF-training moet zorgvuldig worden gebalanceerd om pre-trainingkennis te behouden
Voorbeeld
Een vertaalmodel getraind op Engels→Frans wordt vervolgens getraind op Engels→Duits. Na de Duitse training kan het model uitstekend vertalen naar het Duits, maar is het "vergeten" hoe het naar het Frans moet vertalen — de weights die Frans codeerden zijn overschreven. Dit is catastrophic forgetting in actie.