Wat is GPT?
GPT (Generative Pre-trained Transformer) is een familie van grote taalmodellen ontwikkeld door OpenAI die de transformer-architectuur gebruiken om mensachtige tekst te genereren. De GPT-lijn — GPT-1 (2018), GPT-2 (2019), GPT-3 (2020), GPT-4 (2023), GPT-4o (2024) — demonstreerde dat het opschalen van transformers naar meer data en parameters consistent betere resultaten oplevert.
Waarom het ertoe doet
GPT is het model dat AI naar het grote publiek bracht. ChatGPT (gebaseerd op GPT-3.5/4) werd de snelst geadopteerde consumentenapplicatie in de geschiedenis en lanceerde de generatieve AI-revolutie. De GPT-architectuur bewees dat één voorgetraind model kon worden aangepast voor vrijwel elke taaltaak — een paradigmaverschuiving ten opzichte van taakspecifieke modellen.
Hoe het werkt
Kernprincipes van GPT:
- Generatief — het model genereert tekst door het volgende token te voorspellen
- Pre-trained — getraind op grote hoeveelheden internettekst voordat het wordt gespecialiseerd
- Transformer — gebouwd op de transformer-architectuur met self-attention
De GPT-evolutie:
- GPT-1 (117M parameters) — bewees dat pre-training + fine-tuning werkt
- GPT-2 (1,5B) — zo overtuigend dat OpenAI aanvankelijk publicatie uitstelde