Wat is Positional Encoding?
Positional encoding is het mechanisme waarmee transformer-modellen informatie over de positie en volgorde van tokens in een sequentie vastleggen. Transformers verwerken alle tokens tegelijkertijd (parallel), waardoor ze geen inherent besef hebben van volgorde — positional encoding voegt deze volgorde-informatie kunstmatig toe.
Waarom het ertoe doet
Zonder positional encoding zou een transformer de zinnen "de hond beet de man" en "de man beet de hond" als identiek behandelen — dezelfde tokens, dezelfde betekenis. Positional encoding is wat transformers sequentiebewust maakt en is een actief onderzoeksgebied: de keuze van encoding bepaalt het effectieve contextvenster van het model.
Hoe het werkt
Het probleem:
- Self-attention is permutatie-invariant (de volgorde van tokens maakt niet uit)
- Taal is sequentieel — volgorde bepaalt betekenis
- Er is een manier nodig om positie-informatie toe te voegen
Methoden:
1. Sinusvormige positional encoding (oorspronkelijke transformer):
- Gebruikt sinus- en cosinusfuncties met verschillende frequenties
- Elke positie krijgt een uniek patroon
- Voordeel: generaliseert theoretisch naar langere sequenties
2. Geleerde positional embeddings (BERT, GPT-2):