Wat is GPT?
GPT (Generative Pre-trained Transformer) is een familie van grote taalmodellen ontwikkeld door OpenAI die de transformer-architectuur gebruiken om mensachtige tekst te genereren. De GPT-lijn — GPT-1 (2018), GPT-2 (2019), GPT-3 (2020), GPT-4 (2023), GPT-4o (2024) — demonstreerde dat het opschalen van transformers naar meer data en parameters consistent betere resultaten oplevert.
Waarom het ertoe doet
GPT is het model dat AI naar het grote publiek bracht. ChatGPT (gebaseerd op GPT-3.5/4) werd de snelst geadopteerde consumentenapplicatie in de geschiedenis en lanceerde de generatieve AI-revolutie. De GPT-architectuur bewees dat één voorgetraind model kon worden aangepast voor vrijwel elke taaltaak — een paradigmaverschuiving ten opzichte van taakspecifieke modellen.
Hoe het werkt
Kernprincipes van GPT:
- Generatief — het model genereert tekst door het volgende token te voorspellen
- Pre-trained — getraind op grote hoeveelheden internettekst voordat het wordt gespecialiseerd
- Transformer — gebouwd op de transformer-architectuur met self-attention
De GPT-evolutie:
- GPT-1 (117M parameters) — bewees dat pre-training + fine-tuning werkt
- GPT-2 (1,5B) — zo overtuigend dat OpenAI aanvankelijk publicatie uitstelde
- GPT-3 (175B) — introduceerde few-shot learning via prompting
- GPT-4 (onbekende grootte) — multimodaal, sterk verbeterd redeneren
- GPT-4o — geoptimaliseerd voor snelheid en multimodale input/output
Hoe GPT tekst genereert:
- Ontvangt een tekstinput (prompt)
- Verwerkt de volledige input via self-attention
- Voorspelt het meest waarschijnlijke volgende token
- Voegt het gegenereerde token toe aan de input
- Herhaalt stap 2-4 totdat de output compleet is
GPT ≠ ChatGPT: GPT is het basismodel. ChatGPT is GPT na instruction tuning en RLHF — geoptimaliseerd om instructies op te volgen en veilig te reageren.
Voorbeeld
Wanneer je ChatGPT vraagt "Leg quantum computing uit in twee zinnen," verwerkt het GPT-4-model je volledige prompt via attention, en genereert vervolgens token voor token een antwoord — elk nieuw woord gekozen als het meest waarschijnlijke vervolg gegeven alles wat ervoor kwam.