PEFT (parameter-efficient fine-tuning)

PEFT (parameter-efficient fine-tuning) is een groep methoden om een bestaand AI-model verder te trainen op je eigen voorbeelden met veel minder rekenkracht. Je traint alleen een kleine toevoeging of een klein deel van het model, en de rest blijft bevroren. Elk resultaat is een klein bestand, dus een bedrijf kan één model houden met een aparte toevoeging per taak, zoals e-mails sorteren of antwoorden opstellen.

Hoe werkt het?

Volledige fine-tuning past elk gewicht van een model aan, en training vraagt veel meer geheugen dan de gewichten alleen: voor elk getraind gewicht wordt ook een gradiënt bewaard en, met de optimizer Adam, twee lopende gemiddelden. Volgens Lialin e.a. (2023) kost training in de praktijk 12 tot 20 keer zoveel GPU-geheugen als de gewichten van het model. PEFT-methoden bevriezen de meeste gewichten en trainen maar een klein aantal parameters, zodat de gradiënten en de toestand van de optimizer mee krimpen. De PEFT-bibliotheek van Hugging Face stelt dat deze methoden vergelijkbaar presteren met volledige fine-tuning, tegen veel lagere reken- en opslagkosten.

Welke methoden zijn er?

Lialin e.a. delen de methoden in drie groepen in, plus hybride methoden die ze combineren:

• Parameters toevoegen. Adapters (Houlsby e.a., 2019) voegen kleine trainbare lagen toe aan elk Transformer-blok. Op de GLUE-benchmark kwamen ze tot op 0,4% van volledige fine-tuning, met 3,6% extra parameters per taak. Soft prompts trainen in plaats daarvan een paar extra vectoren die het model leest als virtuele tokens vóór de invoer: prefix tuning (Li en Liang, 2021) met 0,1% van de parameters, en prompt tuning (Lester e.a., 2021), dat volledige fine-tuning evenaarde zodra modellen miljarden parameters groot werden.
• Parameters selecteren. BitFit (Ben-Zaken e.a., 2021) traint alleen de biastermen en kon op kleine tot middelgrote datasets concurreren met volledige fine-tuning van BERT.
• Herparametriseren. LoRA (Hu e.a., 2021) schrijft de wijziging van een gewichtsmatrix als het product van twee smalle matrices; voor GPT-3 175B trainde het 10.000 keer minder parameters dan volledige fine-tuning. QLoRA (Dettmers e.a., 2023) traint LoRA op een model dat met kwantisatie tot 4 bits is gecomprimeerd: fine-tuning van een model met 65 miljard parameters vraagt dan minder dan 48 GB GPU-geheugen in plaats van meer dan 780 GB.

Lialin e.a. merken op dat herparametriseringsmethoden zoals LoRA erg populair zijn geworden. In een vergelijking van negen bibliotheken voor post-training in de aankondiging van TRL v1.0 van Hugging Face (maart 2026) ondersteunden er acht LoRA en vijf ook QLoRA.

Waar gaat het mis?

• Het model leert minder. Biderman e.a. (2024) zagen dat LoRA bij programmeren en wiskunde duidelijk minder leerde dan volledige fine-tuning, en minder vergat van wat het basismodel al kon.
• Sommige methoden maken het model trager. Adapters voegen lagen toe die na elkaar draaien: op GPT-2 medium met één verzoek tegelijk maakten ze een doorgang door het model 21 tot 30% trager (Hu e.a.). De matrices van LoRA kun je na de training bij de oorspronkelijke gewichten optellen, zodat LoRA geen vertraging toevoegt.
• Soft prompts nemen ruimte in. Een prefix gebruikt een deel van de invoerlengte die de taak anders had kunnen gebruiken, en Hu e.a. vonden prefix tuning lastig te optimaliseren.
• Gemelde besparingen kunnen misleiden. Lialin e.a. vonden duidelijke verschillen tussen het gemelde en het werkelijke aantal trainbare parameters, en methoden die in eerdere papers beter scoorden dan LoRA, hadden daar moeite mee bij weinig afstemming van hyperparameters en weinig trainingsrondes.

Voorbeeld

Stel: een klantenservice wil één model dat binnenkomende e-mails sorteert en één dat antwoorden opstelt in de toon van het bedrijf. Met volledige fine-tuning moet je twee complete kopieën van het model bewaren. Met LoRA train je twee kleine adapters op hetzelfde basismodel, laad je per taak de juiste en test je beide op e-mails die de adapters nog niet hebben gezien.