Wat is de Encoder-Decoder Architectuur?
De encoder-decoder architectuur is een neuraal netwerkontwerp waarbij twee componenten samenwerken: de encoder comprimeert input naar een interne representatie, en de decoder genereert output vanuit die representatie. Het is het fundament van machinevertaling, samenvatting en vele andere sequence-to-sequence-taken.
Waarom het ertoe doet
De encoder-decoder architectuur is het conceptuele raamwerk achter veel invloedrijke AI-systemen. De oorspronkelijke transformer (2017) was een encoder-decoder-model. BERT gebruikt alleen de encoder, GPT alleen de decoder, en T5/BART gebruiken beide. Begrijpen van deze architectuur onthult waarom verschillende modellen geschikt zijn voor verschillende taken.
Hoe het werkt
De encoder:
- Ontvangt de volledige input (bijv. een Engelse zin)
- Verwerkt alle tokens simultaan via self-attention
- Produceert een contextuele representatie van de input
- "Begrijpt" de input
De decoder:
- Ontvangt de encoderrepresentatie + eerder gegenereerde output
- Genereert output token voor token
- Gebruikt cross-attention om de encoderrepresentatie te raadplegen
- "Produceert" de output
Drie architectuurvarianten:
- Encoder-only (BERT) — alleen begrijpen, geen generatie. Ideaal voor classificatie, NER, sentimentanalyse.
- Decoder-only (GPT, Claude, LLaMA) — genereert autoregressief. De dominante architectuur voor LLM's.
- Encoder-decoder (T5, BART, het oorspronkelijke transformer-paper) — begrijpen + genereren. Ideaal voor vertaling, samenvatting.
Cross-attention: Het mechanisme waarmee de decoder de encoderoutput raadpleegt. Bij elk gegenereerd token "kijkt" de decoder terug naar de volledige input via attention-gewichten.
Voorbeeld
Bij het vertalen van "The cat sat on the mat" naar het Nederlands: de encoder verwerkt de hele Engelse zin en maakt een rijke representatie van de betekenis. De decoder genereert vervolgens token voor token "De kat zat op de mat," waarbij hij bij elk woord de encoderrepresentatie raadpleegt om de juiste vertaling te kiezen.