Scaling laws voor LLM's

Scaling laws (schaalwetten) zijn formules uit experimenten die voorspellen hoeveel beter een AI-taalmodel wordt naarmate het groeit: meer parameters, meer trainingstekst en meer rekenkracht. Daarmee schatten AI-labs de kwaliteit van een groot model in op basis van kleine testruns, voordat ze voor de volledige training betalen. Ze verklaren ook waarom makers kleinere modellen nu op veel meer data trainen: een kleiner model is goedkoper in gebruik.

Hoe werkt het?

Kaplan e.a. (OpenAI, 2020) trainden transformer-taalmodellen van veel verschillende groottes en maten hun loss: de cross-entropy op het volgende token, een score voor hoe slecht het model tekst voorspelt (zie loss function). De loss daalde volgens een machtswet in drie factoren: het aantal parameters, het aantal trainingstokens en de rekenkracht voor de training, zolang de andere twee niet de beperking vormden. Sommige trends hielden stand over meer dan zeven ordes van grootte, terwijl de vorm van het model, zoals de diepte of breedte, weinig uitmaakte.

Een machtswet betekent dat elke vertienvoudiging de loss met hetzelfde percentage verlaagt. Voor parameters vonden Kaplan e.a. L(N) = (Nc / N) ^ 0.076, dus tien keer zoveel parameters geeft ongeveer 16% minder loss; voor data was de exponent 0,095, ongeveer 20% per vertienvoudiging. Ze zagen geen teken dat de trends afvlakten, maar merkten op dat dat uiteindelijk moet gebeuren, omdat natuurlijke taal nooit volledig voorspelbaar is.

Wat veranderde Chinchilla?

Kaplan e.a. concludeerden dat extra rekenkracht vooral naar een groter model moest gaan. Hoffmann e.a. (DeepMind, 2022) trainden meer dan 400 modellen en vonden dat modelgrootte en trainingsdata even snel moeten groeien: een twee keer zo groot model hoort twee keer zoveel tokens te krijgen. De meeste grote modellen uit die tijd, waaronder GPT-3 en Gopher, waren op ongeveer 300 miljard tokens getraind, te weinig voor hun omvang. DeepMind testte dit met Chinchilla: het rekenbudget van Gopher, met 280 miljard parameters, besteed aan een model met 70 miljard parameters en 1,4 biljoen tokens. Chinchilla presteerde op een groot aantal taken beter dan Gopher en GPT-3 en was, omdat het kleiner was, goedkoper in gebruik. De projecties in het paper komen neer op ongeveer 20 tokens per parameter. De auteurs verklaren een deel van het verschil met Kaplan e.a. uit één keuze: het team van OpenAI gebruikte voor elk model hetzelfde aantal trainingstokens en hetzelfde learning-rate-schema.

Wat kun je ermee voorspellen?

Voor GPT-4 voorspelde OpenAI de uiteindelijke loss nauwkeurig op basis van modellen die met hoogstens 10.000 keer minder rekenkracht waren getraind, en de slagingsscore op een deel van de programmeertest HumanEval op basis van modellen met hoogstens 1.000 keer minder (technisch rapport over GPT-4, maart 2023). Hetzelfde rapport zegt dat sommige vaardigheden moeilijk te voorspellen blijven. Het Llama 3-paper van Meta (juli 2024) voegt eraan toe dat scaling laws meestal de loss voorspellen en niet de scores op specifieke tests. Wei e.a. (2022) noemen een vaardigheid emergent als grotere modellen haar hebben en kleinere niet, zodat extrapolatie haar niet kan voorspellen; Schaeffer e.a. (2023) stellen dat veel van die sprongen voortkomen uit de maatstaf die onderzoekers kozen.

Voorbeeld

Volgens de verhouding van Chinchilla zou een model met 8 miljard parameters op ongeveer 160 miljard tokens worden getraind. Meta trainde Llama 3 8B in de pre-training op meer dan 15 biljoen tokens (modelkaart, april 2024), meer dan 1.800 tokens per parameter. Het Llama 3-paper geeft de reden: Meta traint zijn kleinere modellen veel langer dan compute-optimaal is, en die presteren beter dan compute-optimale modellen bij hetzelfde budget voor inferentie. Sardana e.a. (2023) komen tot dezelfde conclusie voor elk model dat veel verzoeken verwacht, rond een miljard, en zagen de kwaliteit blijven stijgen tot 10.000 tokens per parameter.