DeepStack-injectie

DeepStack-injectie is een techniek voor AI-modellen die afbeeldingen lezen, zoals facturen of grafieken. In plaats van de hele afbeelding aan het begin aan het model te geven, voert de techniek delen ervan op meerdere punten in het model in. Dat helpt bij fijne details, zoals kleine tekst in een tabel. IBM gebruikt het in Granite 4.0 3B Vision, een klein model dat gegevens uit zakelijke documenten haalt.

Hoe neemt een model normaal een afbeelding op?

Een vision-language model heeft een vision-encoder die een afbeelding omzet in visuele tokens, en een taalmodel dat ze leest. Meestal staan de visuele tokens als één lange reeks vóór de tekst en gaan ze de eerste laag van het taalmodel in. Een scherpere afbeelding betekent meer tokens, een langere invoer en meer rekenwerk en geheugen.

Hoe werkt DeepStack?

DeepStack komt uit een paper van onderzoekers van de Fudan-universiteit en Microsoft (Meng e.a., juni 2024). Het stapelt de visuele tokens in groepen en telt elke groep op bij de hidden state van een andere laag van de transformer, van onder naar boven, via een residuele verbinding. De invoer blijft even lang, dus het model kan meerdere keren zoveel visuele tokens opnemen. In het paper scoorden modellen van 7B en 13B met DeepStack gemiddeld 2,7 en 2,9 punt hoger op negen benchmarks dan vergelijkbare modellen zonder. De grootste winst zat bij taken met hoge resolutie, zoals 11,0 punt op DocVQA, een benchmark met vragen over afbeeldingen van documenten.

Qwen3-VL van Alibaba (november 2025) gebruikt DeepStack om kenmerken uit meerdere lagen van de vision-encoder naar de bijbehorende lagen van het taalmodel te sturen. In een vergelijking met en zonder DeepStack op een intern model steeg de gemiddelde score van 74,7 naar 76,0, met winst op documentbenchmarks zoals InfoVQA en DocVQA.

Hoe werkt de variant van IBM?

IBM bracht Granite 4.0 3B Vision uit op 27 maart 2026 en noemt zijn versie DeepStack Injection. Volgens de modelkaart heeft het acht injectiepunten van twee soorten:

• LayerDeepstack: kenmerken uit vier diepten van de vision-encoder gaan elk naar een andere laag van het taalmodel, in omgekeerde volgorde. De diepste, meest abstracte kenmerken voeden de vroegste lagen.
• SpatialDeepstack: de diepste kenmerken op volle resolutie worden verdeeld in vier ruimtelijke groepen, die elk op een aparte latere laag worden ingevoerd, voor fijne ruimtelijke details.

Het taalmodel is Granite 4.0 Micro, met het visuele deel als LoRA-adapter, zodat dezelfde installatie ook verzoeken met alleen tekst kan afhandelen. IBM hield dit ontwerp aan in Granite Vision 4.1 (april 2026).

Wat levert het op?

In de aankondiging van 31 maart 2026 meldt IBM 86,4% op Chart2Summary, de hoogste score van alle geteste modellen, ook grotere, en 62,1% op Chart2CSV, tweede achter Qwen3.5-9B met 63,4%. Beide zijn gemeten op IBM's eigen ChartNet-benchmark, met een AI-model als beoordelaar. Op VAREX, een set van 1.777 Amerikaanse overheidsformulieren, haalde het 85,5% van de sleutel-waardeparen exact goed uit de formulieren, zonder voorbeelden.

Dit zijn IBM's eigen cijfers voor het hele model. IBM schrijft ze toe aan drie dingen samen: de eigen grafiekdataset ChartNet, de DeepStack-variant en het modulaire ontwerp. De cijfers laten dus niet zien hoeveel de injectie alleen bijdraagt; de vergelijkingen met en zonder DeepStack in de twee papers doen dat wel. IBM waarschuwt ook dat het model gebouwd is voor gestructureerde extractie en mogelijk slecht generaliseert naar open taken met afbeeldingen.

Voorbeeld

Stel: een groothandel krijgt elke week honderden leveranciersfacturen als pdf en wil de factuurregels in de boekhouding hebben. Een documenttool zoals Docling van IBM splitst elke pdf en knipt de tabellen uit, en een klein visueel model als Granite 4.0 3B Vision zet elk uitgeknipt stuk om in gestructureerde gegevens. Volgens IBM helpt de injectie op meerdere lagen het model om zowel te begrijpen wat er op de pagina staat als waar, en dat is belangrijk bij tabellen.