Supervised learning

Supervised learning is een manier om een AI-model te leren met voorbeelden waar het goede antwoord bij staat. Geef het duizenden e-mails met het label spam of geen spam, of eerdere bestellingen met het label teruggestuurd of gehouden, en het leert dat antwoord zelf te geven voor nieuwe gevallen. Google vergelijkt het met een student die zich op een tentamen voorbereidt met oude tentamens en de antwoorden erbij.

Hoe werkt het?

In de introductie tot machine learning van Google heeft elk trainingsvoorbeeld features, de invoer, en een label, het antwoord dat het model moet voorspellen. Het leren heet supervised (onder toezicht) omdat een mens data aanlevert met de bekende juiste uitkomsten. Tijdens de training doet het model een voorspelling voor een voorbeeld, vergelijkt die met het label en past zichzelf aan om het verschil, de loss, kleiner te maken, meestal met gradient descent. Daarna wordt het getest op gelabelde voorbeelden die het nog niet heeft gezien, en pas dan doet het voorspellingen voor nieuwe data zonder label (inferentie).

Twee van de meest voorkomende toepassingen zijn classificatie, die een categorie voorspelt zoals spam of geen spam, en regressie, die een getal voorspelt zoals een verkoopprijs (regressie en classificatie). De Python-bibliotheek scikit-learn somt de gangbare algoritmen op, van lineaire modellen en beslisbomen tot neurale netwerken.

Gebruiken taalmodellen het?

Ja, na de pre-training. Die eerste fase leert van tekst zonder labels (self-supervised learning). Voor InstructGPT liet OpenAI daarna mensen de gewenste antwoorden op prompts schrijven en trainde het GPT-3 daarop verder met supervised learning, vóór de stap met RLHF (Ouyang e.a., 2022). Die stap heet supervised fine-tuning.

Waar gaat het mis?

• Labels kosten tijd en geld. IBM wijst erop dat gelabelde datasets tijdrovend annotatiewerk door menselijke experts vragen.
• Labels bevatten fouten. Northcutt e.a. (2021) schatten dat gemiddeld minstens 3,3% van de labels in de testsets van tien veelgebruikte datasets fout is, waaronder minstens 6% van de validatieset van ImageNet.
• De voorbeelden moeten de gevallen dekken die het model tegenkomt. Het voorbeeld van Google: honderd jaar weerdata uit alleen juli geeft slechte voorspellingen van de regenval in januari.
• Een model neemt de patronen in zijn labels over, ook menselijke vooroordelen. Google raadt aan de trainingsdata en de voorspellingen op bias te controleren voordat een model live gaat.

Voorbeeld

Esteva e.a. (Nature, januari 2017) trainden een neuraal netwerk op 129.450 klinische foto's van 2.032 huidziekten, met alleen de pixels en de diagnoselabels als invoer. Op foto's die met een biopsie waren bevestigd, vergeleken ze het met 21 gecertificeerde dermatologen op twee ja-neevragen, waaronder melanoom tegenover een onschuldige moedervlek. Het netwerk presteerde bij beide op het niveau van alle dermatologen. Dat kon alleen doordat elke trainingsfoto een diagnose had.