Wat is Backpropagation?
Backpropagation (kort voor "backward propagation of errors") is het algoritme dat wordt gebruikt om neurale netwerken te trainen. Het berekent hoeveel elke weight in het netwerk heeft bijgedragen aan de totale fout, en past vervolgens alle weights aan om die fout te verkleinen. Het is de kern van hoe AI leert.
Waarom het ertoe doet
Backpropagation is het trainingsalgoritme achter vrijwel alle deep learning — van GPT-4 tot beeldherkenning tot AlphaFold. Zonder backpropagation zouden neurale netwerken niet kunnen leren. Begrijpen hoe het werkt verklaart waarom training duur is, waarom bepaalde architecturen beter trainen, en waarom problemen als vanishing gradients optreden.
Hoe het werkt
Het proces in vier stappen:
- Forward pass — data gaat door het netwerk, laag voor laag, tot er een voorspelling uitkomt
- Fout berekenen — vergelijk de voorspelling met het correcte antwoord via de loss function
- Backward pass — bereken via de kettingregel (chain rule) hoeveel elke weight aan de fout bijdroeg, van de outputlaag terug naar de inputlaag
- Weights updaten — pas elke weight aan proportioneel aan zijn bijdrage aan de fout (via gradient descent)
Wiskundig: Backpropagation past de kettingregel uit de calculus toe: ∂Loss/∂w = ∂Loss/∂output × ∂output/∂w. Dit propageert de foutgradiënt terug door elke laag.