AI-observability

AI-observability betekent dat je vastlegt wat een AI-systeem doet zodra echte klanten het gebruiken: elke vraag, het antwoord, de kosten en de wachttijd. Een AI-chatbot kan een fout antwoord geven zonder enige foutmelding, dus een controle of je website bereikbaar is, merkt dat niet op. Met die gegevens zie je wanneer antwoorden slechter worden, kosten stijgen of een stap trager wordt.

Waar komt de term vandaan?

Observability is een ouder begrip uit de software-engineering: hoe goed je kunt begrijpen wat er in een systeem gebeurt aan de hand van de gegevens die het oplevert. De term is ontleend aan de regeltechniek (Wikipedia). De inleiding tot observability van OpenTelemetry noemt drie soorten signalen: metrics (getallen die over een periode worden samengevat, zoals het foutpercentage), logs (berichten met een tijdstempel) en traces (de route van één verzoek langs alle diensten die het raakt). Diezelfde inleiding merkt op dat een systeem 100% van de tijd bereikbaar kan zijn en toch onbetrouwbaar, bijvoorbeeld als een klik op "Add to Cart" voor een paar zwarte schoenen niet altijd zwarte schoenen in het winkelmandje legt.

Wat is er anders bij AI?

Een verzoek aan een taalmodel kan slagen terwijl het antwoord fout is: de server stuurt een normaal antwoord terug, met een hallucinatie erin. Het model kan ook onder je handen veranderen. Chen, Zaharia en Zou vergeleken de versies van GPT-4 uit maart en juni 2023: bij het onderscheiden van priemgetallen en samengestelde getallen daalde de nauwkeurigheid van 84% naar 51%. Hun conclusie: dezelfde LLM-dienst kan in korte tijd flink veranderen, en daarom moet je hem voortdurend in de gaten houden. De kosten volgen ten slotte het aantal tokens: Anthropic prijst zijn modellen bijvoorbeeld per miljoen invoer- en uitvoertokens, dus een langere prompt zie je direct terug op de rekening.

Hoe werkt het?

• Tracing. Elk verzoek wordt een trace, met een span voor elke stap: documenten ophalen, de aanroep van het model, een aanroep van een tool. Langfuse beschrijft zo'n trace als een gestructureerde log van de exacte prompt, het antwoord van het model, het tokengebruik, de wachttijd en de stappen daartussen.
• Vaste veldnamen. De conventies voor generatieve AI van OpenTelemetry leggen standaardattributen vast, zoals het gevraagde model en het aantal invoer- en uitvoertokens. Prompts en antwoorden worden alleen vastgelegd als je dat zelf aanzet, omdat ze waarschijnlijk persoonsgegevens bevatten. In september 2026 hebben deze conventies nog de status "Development".
• Beoordeling. Omdat een geslaagd verzoek toch een slecht antwoord kan opleveren, worden antwoorden ook gescoord, vaak door een tweede model als beoordelaar ("LLM-as-a-judge"). Zheng e.a. (2023) vonden dat GPT-4 als beoordelaar in meer dan 80% van de gevallen met menselijke voorkeuren overeenkwam, even vaak als mensen het onderling eens zijn. Platforms als LangSmith combineren traces met dashboards, waarschuwingen en zulke beoordelingen op live verkeer.

Waar guardrails een slecht antwoord tijdens een verzoek tegenhouden, laat observability achteraf zien wat er gebeurde en hoe vaak.

Waar gaat het mis?

Een automatische beoordelaar is ook een taalmodel. Zheng e.a. vonden bij hun beoordelaars een voorkeur voor de positie van een antwoord, voor lange antwoorden en voor eigen antwoorden. Shankar e.a. (2024) schrijven dat beoordelaars die door een LLM zijn gemaakt alle problemen erven van de LLM's die ze beoordelen, en dat mensen ze moeten controleren. In hun onderzoek bepaalden gebruikers hun criteria pas tijdens het beoordelen van uitvoer, een effect dat ze criteria drift noemen. Loggen schept bovendien een nieuwe verzameling gevoelige gegevens: volledige prompts en antwoorden kunnen klantgegevens bevatten, en daarom laten de conventies van OpenTelemetry ze standaard weg.

Voorbeeld

Stel: een webshop heeft een supportchatbot die antwoorden opzoekt in het helpcentrum (RAG). Elke vraag wordt een trace met de zoekstap, de aanroep van het model en het antwoord, elk met zijn duur, en bij de modelaanroep ook de modelversie en het aantal tokens. Elke week beoordeelt een tweede model een steekproef van de antwoorden aan de hand van de helpartikelen. Als de scores voor vragen over retourneren dalen, opent het team die traces en ziet dat de zoekstap steeds de retourpagina van vorig jaar ophaalt. De bereikbaarheidscontrole stond al die tijd op groen.