Wat is een Activatiefunctie?
Een activatiefunctie is een wiskundige functie die wordt toegepast op de output van een neuron in een neuraal netwerk om niet-lineariteit toe te voegen. Zonder activatiefuncties zou een neuraal netwerk — ongeacht het aantal lagen — slechts een lineaire transformatie zijn en alleen lineaire relaties kunnen modelleren.
Waarom het ertoe doet
Activatiefuncties zijn wat neurale netwerken krachtig maakt. Ze introduceren de niet-lineariteit die het netwerk in staat stelt om complexe patronen te leren — van beeldherkenning tot taalmodelering. De keuze van activatiefunctie beïnvloedt de trainingssnelheid, stabiliteit en prestaties van het model direct.
Hoe het werkt
Het neuron-proces:
- Input × weight + bias = gewogen som
- Activatiefunctie(gewogen som) = output
- Deze output wordt de input voor de volgende laag
Veelgebruikte activatiefuncties:
ReLU (Rectified Linear Unit):
- f(x) = max(0, x)
- De standaard voor verborgen lagen
- Snel te berekenen, voorkomt vanishing gradients
- Nadeel: "dode neuronen" (output altijd 0 voor negatieve input)
GELU (Gaussian Error Linear Unit):