ActTail is een onderzoeksmethode uit februari 2026 om een groot taalmodel met minder rekenwerk te laten draaien. Voor elk woord dat een model schrijft, vermenigvuldigt het zijn invoer met grote tabellen getallen. Activatiesparsity slaat de kleinste invoerwaarden over; dat scheelt werk maar kost kwaliteit. ActTail bepaalt per modelonderdeel hoeveel het overslaat, en in de tests van de auteurs leed de kwaliteit minder dan wanneer elk onderdeel evenveel oversloeg.
Wat is activatiesparsity?
In een transformer vermenigvuldigt elke laag zijn invoer, een vector van activaties, met gewichtsmatrices die projecties heten: Q, K, V en O in het attention-blok, gate, up en down in het feedforwardblok. Activatiesparsity zet de kleinste activaties op nul, zodat de bijbehorende gewichten tijdens inferentie niet geladen of vermenigvuldigd hoeven te worden. TEAL (Liu e.a., 2024) doet dat zonder hertraining: het houdt de waarden met de grootste absolute waarde over. Het haalde 40 tot 50% sparsity over het hele model met minimaal kwaliteitsverlies, en de kernels decodeerden tot 1,53 keer sneller bij 40% sparsity en 1,8 keer sneller bij 50%. TEAL stemt de sparsity van elke matrix binnen een transformerblok ook af met een greedy zoekmethode, op hetzelfde niveau voor elk blok.
Wat verandert ActTail?
ActTail, van Wenwen Hou, Xinyuan Song en Shiwei Liu (arXiv, februari 2026), bepaalt voor elke projectie in het hele model een budget op basis van een eigenschap van de gewichten. Voor elke gewichtsmatrix berekent het de heavy-tail-exponent α van de empirische spectrale dichtheid (de verdeling van de eigenwaarden van de correlatiematrix). Volgens de Heavy-Tailed Self-Regularization-theorie (HT-SR) wijst een zwaardere staart op een beter getrainde laag. Een lineaire formule zet de α-waarden om in sparsityratio's, geschaald zodat het model als geheel het doel haalt, bijvoorbeeld 80%. De verdeling hangt alleen van de gewichten af en wordt dus één keer berekend. Tijdens inferentie houdt elke projectie daarna haar grootste invoerwaarden over, tot aan haar eigen budget. In de analyse van het resultaat in het paper krijgen de attention-projecties, vooral Q en O, een lagere sparsity en de feedforwardprojecties een hogere.
Hoeveel helpt het?
De auteurs vergeleken ActTail met de TopK-versie van TEAL bij één uniforme sparsity voor alle projecties, en ze maten alleen de kwaliteit. Bij 80% sparsity was de perplexity op WikiText2 (lager is beter) 17,76 voor LLaMA-2-13B met ActTail tegen 29,66 met de uniforme verdeling van TEAL: 40,1% lager. De winst was 21,8% voor LLaMA-2-7B (28,43 tegen 36,37), 9,4% voor Mistral-7B en 1,8% voor Qwen1.5-7B. Bij 60% sparsity lagen de twee methoden dicht bij elkaar: 5,86 tegen 5,94 op LLaMA-2-7B. Beide blijven ver van het volledige model, dat zonder sparsity 4,57 scoort op LLaMA-2-13B. Op zes vervolgtaken, waaronder MMLU en ARC, verbeterde ActTail bij 80% sparsity de gemiddelde score op LLaMA-2-13B met 8,0% ten opzichte van uniforme sparsity.
Waar liggen de grenzen?
- Het paper bevat geen snelheidsmetingen, dus het laat niet zien of ongelijke budgetten even snel draaien als uniforme.
- De vergelijking is met uniforme TopK-sparsity. Het paper vergelijkt ActTail niet met de eigen greedy verdeling per blok van TEAL.
- De tests gaan over vier modellen van 7 en 13 miljard parameters, uitgebracht in 2023 en 2024.
- Het paper is niet consistent over de richting. De theorie en de conclusie zeggen dat projecties met een zwaardere staart agressiever kunnen worden uitgedund, terwijl de analyse van de verdeling juist die projecties een lagere sparsity laat krijgen.
- Bij de hoge sparsity waar ActTail het meest helpt, blijft de kwaliteit veel lager dan zonder sparsity.
Voorbeeld
Stel: een bedrijf draait Mistral-7B op een eigen server en wil snellere antwoorden. Bij uniforme sparsity van 70% laat elke projectie 70% van haar invoer vallen. Met ActTail laten sommige projecties meer vallen en andere minder, met gemiddeld dezelfde 70%. In de test van het paper op Mistral-7B verlaagde dat de perplexity met 1,8% bij 70% sparsity en met 9,4% bij 80%, vergeleken met uniforme TopK.