Transformer

Een transformer is het type AI-model achter ChatGPT, Gemini en de meeste andere chatbots die tekst schrijven. Het leest je hele vraag in één keer en bepaalt welke woorden bij elkaar horen, bijvoorbeeld dat "hij" in "de brief kwam te laat omdat hij naar het verkeerde adres ging" de brief is. Daarna schrijft het zijn antwoord stukje voor stukje. De T in GPT, en dus in ChatGPT, staat voor transformer.

Waar komt het vandaan?

Acht onderzoekers die bij Google werkten, introduceerden de transformer in 2017 in het paper Attention Is All You Need (Vaswani e.a.). De taalmodellen daarvoor, recurrente netwerken zoals LSTM's, lazen een tekst woord voor woord, en volgens het paper maakt die opeenvolgende werkwijze parallel rekenen binnen één trainingsvoorbeeld onmogelijk. De transformer laat dat woord-voor-woord lezen los en steunt alleen op attention, zodat het alle woorden van een zin tegelijk kan verwerken. De eerste transformer was een vertaalmodel. De grote versie, 3,5 dag getraind op acht gpu's, haalde 28,4 BLEU (een maat voor hoe dicht een vertaling bij menselijke vertalingen komt) op de WMT 2014-test Engels-Duits, meer dan 2 punten boven de beste eerdere resultaten.

Hoe werkt het?

Een transformer voor tekst werkt in vier stappen:

1. De tekst wordt opgeknipt in tokens, woorden of delen van woorden, en elk token wordt een reeks getallen, een embedding. Omdat het model alle tokens tegelijk ziet, voegt een positional encoding toe waar elk token staat.
2. De embeddings gaan door een stapel identieke lagen. In elke laag laat self-attention elk token informatie opnemen van de tokens die ertoe doen, en daarna verwerkt een feed-forward-netwerk elk token afzonderlijk. Om beide delen zitten een residuele verbinding en laagnormalisatie.
3. Na de laatste laag zet het model de uitkomst om in een kans voor elk token uit zijn vocabulaire.
4. Om tekst te schrijven kiest het model een waarschijnlijk volgend token, voegt het toe aan de invoer en rekent opnieuw. Een masker zorgt ervoor dat elk token alleen naar de tokens ervoor kijkt (autoregressieve generatie).

Het origineel had 6 lagen in de encoder en 6 in de decoder, en 65 miljoen parameters in de basisversie. Llama 3 405B van Meta (2024) heeft 126 lagen en 405 miljard parameters.

Welke soorten zijn er?

De eerste transformer had twee helften: een encoder die de invoer leest en een decoder die de uitvoer schrijft (encoder-decoder). Latere modellen houden vaak één helft over:

• Alleen een encoder, zoals BERT (Google, 2018), dat een tekst in beide richtingen leest en past bij taken als classificatie.
• Alleen een decoder, zoals GPT en Llama, die tekst token voor token schrijven. Volgens hun technische rapporten zijn ook GPT-4 en Gemini op transformers gebouwd.
• Encoder en decoder, zoals het origineel, dat de ene tekst omzet in de andere, bijvoorbeeld een vertaling.

Waar schiet het tekort?

Attention vergelijkt elk token met elk ander token, dus dat werk groeit met het kwadraat van de tekstlengte: twee keer zoveel tokens betekent vier keer zoveel paren. Tijdens het schrijven bewaart het model bovendien informatie over alle eerdere tokens in zijn KV-cache, die met elk token groeit. Het Mamba-3-paper vat dat samen als "quadratic compute and linear memory": kwadratisch rekenwerk en lineair groeiend geheugen. Een transformer kan ook maar een beperkte hoeveelheid tekst tegelijk verwerken, zijn contextvenster: tot 128K tokens bij Llama 3. State space models zijn een alternatief met een geheugen van vaste grootte, en sommige nieuwere modellen combineren beide.

Voorbeeld

Stel: een klant typt "Kan ik mijn bestelling nog terugsturen?" in de chatbot van een webshop. De transformer knipt de vraag op in tokens en maakt van elk token een embedding. In elke laag neemt elk token informatie op van de andere, zodat "terugsturen" wordt gelezen in samenhang met "bestelling". Na de laatste laag berekent het model welk token het antwoord het waarschijnlijkst begint, voegt dat toe en herhaalt dat tot het antwoord af is. Staat het retourbeleid van de webshop niet in de prompt, bijvoorbeeld via RAG, dan kan het model alleen een aannemelijk algemeen antwoord schrijven.