Zero-shot prompting

Zero-shot prompting betekent dat je een AI-model een taak geeft met alleen een instructie, zonder voorbeelden. "Sorteer deze klantmail in klacht, vraag of bestelling" is een zero-shot prompt: het model leidt uit de instructie alleen af wat je wilt. Het is de snelste start: je hoeft geen voorbeelden te verzamelen, en een kortere prompt kost minder. Missen de antwoorden het doel, voeg dan een paar voorbeelden toe.

Waar komt de term vandaan?

De term komt uit machine learning. Bij zero-shot learning moet een model klassen herkennen die het tijdens de training nooit zag, zoals een zebra die wordt beschreven als een gestreept paard. Voor taalmodellen onderscheidde het GPT-3-paper van Brown e.a. (OpenAI, 2020) drie situaties: bij zero-shot krijgt het model alleen een beschrijving van de taak in gewone taal, bij one-shot één voorbeeld en bij few-shot meerdere. Het vermogen achter alle drie heet in-context learning.

De auteurs noemden zero-shot de handigste situatie, maar ook de moeilijkste. Zonder voorbeeld kan zelfs een mens een opdracht verkeerd begrijpen, zoals het verzoek om een tabel met wereldrecords op de 200 meter: welke kolommen, welke records? Op de quizvragen van TriviaQA scoorde GPT-3 64,3% zero-shot en 71,2% few-shot, en over 42 benchmarks werd zero-shot gestaag beter naarmate het model groter was, terwijl few-shot sneller beter werd.

Waarom volgen modellen een kale instructie?

Eén reden is instruction tuning: een model trainen op veel taken die als instructie zijn opgeschreven. Wei e.a. (Google, 2021) deden dat met een model van 137 miljard parameters en meer dan 60 taken. Het resultaat, FLAN, versloeg zero-shot GPT-3 op 20 van 25 taken waarop het niet was getraind. De winst hing af van de grootte: bij modellen van 8 miljard parameters en kleiner maakte instruction tuning de resultaten op nieuwe taken juist slechter.

Hoe haal je er meer uit?

• Wees precies over de taak, de labels en de vorm van het antwoord (zie prompt).
• Vraag bij problemen met meerdere stappen om de redenering. Kojima e.a. (2022) voegden "Let's think step by step" toe en verhoogden zo de nauwkeurigheid van text-davinci-002 van OpenAI op de MultiArith-sommen van 17,7% naar 78,7% en op GSM8K van 10,4% naar 40,7%, zonder voorbeelden (chain of thought).
• Bij redeneermodellen zit die stap al ingebouwd. In september 2026 raadt OpenAI aan het bij die modellen eerst zero-shot te proberen, en schrijft het dat een instructie om stap voor stap te denken niet hoeft te helpen en soms zelfs averechts werkt. De makers van DeepSeek-R1 (januari 2025) merkten dat few-shot prompting hun model steeds slechter maakte, en raden aan het probleem en de gewenste vorm van de uitvoer zero-shot te beschrijven.

Waar gaat het mis?

• De taak is dubbelzinnig. Zonder voorbeelden raadt het model naar de vorm, de lengte en de plek van twijfelgevallen. Voorbeelden of een vaste vorm (structured output) nemen dat giswerk weg.
• Geen van beide wint altijd. Bij GPT-3 zagen Reynolds en McDonell (2021) dat goed geschreven zero-shot prompts few-shot prompts duidelijk konden verslaan; volgens hen helpen de voorbeelden het model vooral een taak te vinden die het al kent.
• Resultaten verschillen per model, zelfs tussen versies van één model, merkt OpenAI op. Test de prompt met echte gevallen zodra het model verandert.

Voorbeeld

Dezelfde mailtaak als bij few-shot prompting, nu zonder voorbeelden:

1
Geef de klantmail hieronder het label klacht, vraag of bestelling.
2
Antwoord met één woord.
3
 
4
Mail: Op de factuur staat het verkeerde adres, kunnen jullie dat aanpassen?

Het model antwoordt met een van de drie labels. Of het deze mail een vraag of een klacht noemt, is precies het soort twijfel dat één zin met je eigen regel, of een paar voorbeelden, beslecht.