VLM (vision-language model)

Een vision-language model (VLM) is een AI-model dat naast tekst ook afbeeldingen leest en in tekst antwoordt. Je geeft het een foto, een gescande factuur of een grafiek en vraagt wat erop staat, of laat het de cijfers in een tabel overnemen. Voor een bedrijf kan het documenten lezen die alleen als afbeelding bestaan. De antwoorden moet je wel controleren, want het model kan details verkeerd lezen of verzinnen.

Hoe werkt het?

De meeste VLM's koppelen twee onderdelen die eerst los van elkaar zijn getraind. Een vision encoder, vaak een Vision Transformer (ViT), knipt een afbeelding in kleine stukjes en maakt van elk stukje een reeks getallen, zoals een transformer dat met woorden doet. Een verbindingsstuk zet die getallen om in visuele tokens die een groot taalmodel samen met de tekst van de vraag leest.

LLaVA (Liu e.a., 2023) laat het recept zien. Het gebruikte de beeldencoder van OpenAI's CLIP, die aan de hand van 400 miljoen paren van afbeelding en tekst had geleerd welk bijschrift bij welke afbeelding hoort, één projectiematrix als verbindingsstuk, en het taalmodel Vicuna. De training ging in twee stappen: eerst alleen het verbindingsstuk, op 595.000 paren van afbeelding en bijschrift, daarna het verbindingsstuk en het taalmodel samen, op 158.000 instructievoorbeelden die GPT-4 had geschreven.

Volgens IBM voeren de meeste VLM's de visuele informatie op één punt in het taalmodel in. Granite 4.0 3B Vision van IBM voert die juist op meerdere lagen in, een techniek die DeepStack injection heet.

Welke VLM's kun je gebruiken?

Grote commerciële modellen accepteren ook afbeeldingen: OpenAI beschrijft GPT-4 (maart 2023) als een model dat afbeeldingen en tekst als invoer neemt. Open modellen kun je op je eigen hardware draaien. De modellen van Googles Gemma 4 (april 2026) verwerken volgens Google allemaal afbeeldingen en video, en IBM bouwde Granite 4.0 3B Vision (maart 2026) speciaal om tabellen, grafiekgegevens en formuliervelden uit documenten te halen. Op VAREX, een set van 1.777 Amerikaanse overheidsformulieren, mat IBM dat het model 85,5% van de sleutel-waardeparen exact overnam.

Waar gaat het mis?

• Het ziet dingen die er niet zijn. In een studie van Li e.a. (2023) hadden VLM's vrijwel allemaal ernstig last van objecthallucinatie: hun beschrijvingen noemden objecten die niet op de afbeelding stonden, vooral objecten die vaak samen voorkomen met wat er wel op stond.
• Het mist fijne visuele details. In Vision language models are blind (2024) haalden vier toonaangevende VLM's, onder meer GPT-4o en Gemini 1.5 Pro, gemiddeld 58,07% op zeven taken die voor mensen makkelijk zijn, zoals tellen hoe vaak twee lijnen elkaar kruisen. Claude 3.5 Sonnet deed het het best met 77,84%. De informatie zat wel in de vision encoder, maar het taalmodel slaagde er niet in die onder woorden te brengen.

Voorbeeld

Stel: een administratiekantoor krijgt facturen van leveranciers als scan binnen. Een VLM krijgt elke scan met de opdracht om leverancier, factuurnummer, datum en totaalbedrag terug te geven als structured output, bijvoorbeeld JSON. IBM beschrijft dit gebruik voor Granite 4.0 3B Vision, samen met zijn tool Docling, die pdf's van meerdere pagina's opsplitst en tabellen en figuren uitsnijdt voor het model. Omdat een VLM een cijfer verkeerd kan lezen, markeert een eenvoudige controle, bijvoorbeeld of de regels optellen tot het totaal, de facturen waar iemand naar moet kijken.