Wat is Catastrophic Forgetting?
Catastrophic forgetting is het fenomeen waarbij een neuraal netwerk eerder geleerde kennis verliest wanneer het wordt getraind op nieuwe data. Wanneer je een model dat getraind is op taak A vervolgens traint op taak B, "vergeet" het hoe taak A moet worden uitgevoerd — de nieuwe parameters overschrijven de oude kennis.
Waarom het ertoe doet
Catastrophic forgetting is een fundamenteel probleem bij het updaten en aanpassen van AI-modellen. Het verklaart waarom je niet eenvoudig een foundation model kunt bijtrainen met nieuwe kennis zonder het risico dat bestaande capaciteiten degraderen. Het is een kernuitdaging voor continual learning, fine-tuning en het up-to-date houden van AI-systemen.
Hoe het werkt
Het mechanisme:
- Neurale netwerken slaan kennis op in weights (parameters)
- Bij training op nieuwe data worden weights aangepast via gradient descent
- De nieuwe weight-updates overschrijven de waarden die essentieel waren voor eerdere taken
- Het resultaat: perfecte prestaties op de nieuwe taak, catastrofale prestaties op de oude
Waarom het gebeurt:
- Neurale netwerken hebben geen expliciete geheugenstructuur
- Alle kennis is gedistribueerd over gedeelde parameters
- Er is geen mechanisme om "oude" kennis te beschermen tijdens training
Mitigatiestrategieën: