Wat is Continual Learning?
Continual learning (ook wel levenslang leren of incrementeel leren) is het AI-paradigma waarbij een model continu nieuwe kennis en taken leert over tijd, zonder eerder geleerde kennis te vergeten. Het is het streven naar systemen die — net als mensen — blijven leren zonder een volledige hertraining.
Waarom het ertoe doet
De wereld verandert constant — nieuwe woorden, concepten, producten en patronen verschijnen dagelijks. Huidige AI-modellen zijn statisch na training: ze weten niets over gebeurtenissen na hun trainingsdata. Continual learning is de sleutel tot AI-systemen die actueel blijven, zich aanpassen aan nieuwe domeinen en groeien zonder miljoenen euro's aan hertraining.
Hoe het werkt
De kernuitdaging: Nieuwe kennis leren zonder catastrophic forgetting — het verlies van oude kennis wanneer op nieuwe data wordt getraind.
Strategieën:
1. Regularisatiegebaseerd:
- EWC (Elastic Weight Consolidation) — bescherm parameters die belangrijk zijn voor eerdere taken
- SI (Synaptic Intelligence) — meet het belang van parameters online tijdens training
- L2-regularisatie — houd parameters dicht bij de oorspronkelijke waarden
2. Replay-gebaseerd:
- Experience Replay — sla voorbeelden van eerdere taken op en hertrrain periodiek
- Generative Replay — gebruik een generatief model om pseudo-voorbeelden van oude taken te produceren
3. Architectuurgebaseerd:
- LoRA / adapters — voeg nieuwe kleine modules toe per taak
- Progressieve netwerken — breid het netwerk uit voor nieuwe taken
- Mixture of Experts — routeer naar gespecialiseerde subnetwerken
In de praktijk (LLM's):
- RAG als alternatief: haal actuele kennis op in plaats van het in te trainen
- Periodieke hertraining op verse data (bijv. elk kwartaal)
- LoRA-adapters voor nieuwe domeinen zonder het basismodel te wijzigen
Voorbeeld
Een spamfilter moet continu leren — spammers veranderen voortdurend hun tactieken. Met continual learning leert het model nieuwe spampatronen herkennen (cryptocurrency-scams, AI-gegenereerde phishing) zonder te vergeten hoe het de oude patronen (Nigeriaanse prinsen, nep-loterijberichten) moest detecteren.