Multimodale AI

Multimodale AI is AI die met meer dan één soort informatie werkt: naast tekst ook foto's, spraak, geluid of video. Je kunt zo'n systeem een foto van een kapot onderdeel laten zien en vragen welk onderdeel je moet bestellen, of ertegen praten in plaats van typen. Voor een bedrijf betekent dat: een assistent kan een gescande factuur lezen, een foto van een klant bekijken of een gesproken vraag beantwoorden.

Wat betekent multimodaal?

Elke soort informatie heet een modaliteit: tekst, beeld, audio en video. Een model is multimodaal als het meer dan één daarvan kan verwerken of maken. Veel chatassistenten nemen tekst en afbeeldingen aan en antwoorden in tekst; zo'n model is een vision-language model. Andere luisteren en spreken ook (spraak-AI), of maken afbeeldingen en video. Gemini Omni van Google maakt bijvoorbeeld video uit elke mix van tekst, afbeeldingen, video en stem (mei 2026).

Hoe werkt het?

Er zijn drie gangbare ontwerpen, van losjes tot strak verbonden:

1. Een keten van losse modellen. Vóór mei 2024 was de spraakmodus van ChatGPT een pijplijn van drie modellen: het eerste zette spraak om in tekst, GPT-3.5 of GPT-4 schreef een antwoord in tekst, en een derde las dat voor. Een antwoord duurde gemiddeld 2,8 seconden (GPT-3.5) of 5,4 seconden (GPT-4), en het taalmodel hoorde geen toon, meerdere sprekers of achtergrondgeluid (OpenAI).
2. Een encoder per modaliteit, gekoppeld aan een taalmodel. Een vision-encoder zet een afbeelding om in tokens die het taalmodel samen met de tekst leest. Flamingo van DeepMind (2022) koppelde zo een getraind beeldmodel aan een getraind taalmodel.
3. Eén model dat op alle modaliteiten tegelijk is getraind. Google noemt zijn Gemini-modellen (december 2023) van nature multimodaal: samen getraind op tekst, beeld, audio en video, waarbij video als een reeks beelden wordt gelezen en audio direct binnenkomt, zodat nuances bewaard blijven die verloren gaan als spraak eerst tekst wordt. GPT-4o van OpenAI (mei 2024) is één netwerk dat van begin tot eind op tekst, beeld en audio is getraind, en reageert op spraak in slechts 232 milliseconden, gemiddeld 320.

Ook een afbeelding kost tokens. In september 2026 telt de documentatie van Anthropic afbeeldingen in blokjes van 28 bij 28 pixels, dus een foto van 1.000 bij 1.000 pixels telt als 1.296 tokens, met dezelfde prijs als tekst.

Waar gaat het mis?

• Het ziet dingen die er niet zijn, of mist kleine details. De metingen staan bij vision-language models.
• Instructies kunnen in een afbeelding verstopt zitten. De system card van GPT-4V van OpenAI (september 2023) beschrijft jailbreaks die in afbeeldingen zijn gezet, zoals een screenshot van geschreven instructies, die filters die alleen tekst lezen niet opvangen. OWASP noemt dezelfde truc bij promptinjectie: een aanvaller verstopt instructies in een afbeelding die bij onschuldige tekst hoort.

Voorbeeld

Vanaf maart 2023 bouwden Be My Eyes en OpenAI Be My AI, dat met GPT-4V foto's beschrijft die blinde en slechtziende mensen met hun telefoon maken. In september 2023 vroegen 16.000 bètatesters gemiddeld 25.000 beschrijvingen per dag aan, volgens de system card. Testers meldden ook zelfverzekerde fouten: een van hen zei dat het heel stellig iets op een menukaart noemde dat er niet op stond. Be My Eyes raadt gebruikers af erop te vertrouwen voor zaken als medicijnrecepten of allergenen, en laat ze de AI verlaten om meteen een menselijke vrijwilliger te spreken.