Wat is de Encoder-Decoder Architectuur?
De encoder-decoder architectuur is een neuraal netwerkontwerp waarbij twee componenten samenwerken: de encoder comprimeert input naar een interne representatie, en de decoder genereert output vanuit die representatie. Het is het fundament van machinevertaling, samenvatting en vele andere sequence-to-sequence-taken.
Waarom het ertoe doet
De encoder-decoder architectuur is het conceptuele raamwerk achter veel invloedrijke AI-systemen. De oorspronkelijke transformer (2017) was een encoder-decoder-model. BERT gebruikt alleen de encoder, GPT alleen de decoder, en T5/BART gebruiken beide. Begrijpen van deze architectuur onthult waarom verschillende modellen geschikt zijn voor verschillende taken.
Hoe het werkt
De encoder:
- Ontvangt de volledige input (bijv. een Engelse zin)
- Verwerkt alle tokens simultaan via self-attention
- Produceert een contextuele representatie van de input
- "Begrijpt" de input
De decoder:
- Ontvangt de encoderrepresentatie + eerder gegenereerde output
- Genereert output token voor token
- Gebruikt cross-attention om de encoderrepresentatie te raadplegen
- "Produceert" de output
Drie architectuurvarianten: