Deep learning

Deep learning is een manier om AI te bouwen waarbij een computer een taak leert uit veel voorbeelden, met een neuraal netwerk van vele lagen eenvoudige berekeningen. Het past bij taken die mensen zonder nadenken doen maar niet in regels kunnen vangen, zoals handschrift lezen of een product op een foto herkennen. Spraakherkenning, zoeken in foto's en chatbots als ChatGPT maken er gebruik van.

Waar komt de naam vandaan?

Het leerboek Deep Learning van Goodfellow, Bengio en Courville (2016) beschrijft computers die een hiërarchie van begrippen leren, waarin elk begrip is opgebouwd uit eenvoudigere. Teken je die hiërarchie als graaf, dan is die diep, met veel lagen: vandaar de naam. In hun overzichtsartikel in Nature (2015) omschrijven LeCun, Bengio en Hinton deep learning als modellen die uit meerdere verwerkingslagen bestaan en representaties van data op meerdere abstractieniveaus leren. Het is een tak van machine learning.

Hoe werkt het?

De invoerlaag krijgt ruwe data binnen, zoals de pixels van een afbeelding. Elke verborgen laag zet de uitvoer van de vorige om in een iets abstractere representatie, en de uitvoerlaag geeft het antwoord. LeCun e.a. beschrijven wat een beeldmodel doorgaans leert: randen in de eerste laag, patronen van randen in de tweede, delen van bekende voorwerpen in de derde en hele voorwerpen daarna. Het belangrijkste is volgens hen dat mensen die lagen van kenmerken niet ontwerpen: het model leert ze uit de data. Vóór deep learning vroeg zo'n systeem zorgvuldige feature engineering door experts.

Trainen gaat met proberen en bijsturen. Het netwerk doet een voorspelling, een loss function meet de fout, backpropagation berekent voor elk gewicht hoe de fout verandert als dat gewicht een klein beetje verandert, en gradient descent past de gewichten aan zodat de fout kleiner wordt. Een typisch systeem had in 2015 al honderden miljoenen van zulke gewichten, volgens hetzelfde artikel.

Welke soorten zijn gangbaar?

• Convolutionele neurale netwerken (CNN's) voor beelden. Bij de ImageNet-competitie van 2012 had het CNN van Krizhevsky, Sutskever en Hinton een top-5-foutpercentage van 15,3%, tegenover 26,2% voor de nummer twee: het juiste label ontbrak veel minder vaak tussen zijn vijf beste gokken. Drie jaar later noemden LeCun e.a. CNN's de dominante aanpak voor bijna alle herkennings- en detectietaken.
• Recurrente neurale netwerken (RNN's) voor reeksen zoals spraak en tekst. Ze verwerken een reeks element voor element.
• Transformers, in 2017 geïntroduceerd door Vaswani e.a., laten die stapsgewijze verwerking los en steunen op attention, waardoor training beter te parallelliseren is. Ze vormen de basis van grote taalmodellen zoals GPT.

Waar gaat het mis?

• Het vraagt veel data en rekenkracht. Het ImageNet-netwerk van 2012 leerde van 1,2 miljoen gelabelde afbeeldingen en trainde vijf tot zes dagen op twee grafische kaarten (GPU's). Je kunt dit omzeilen door te beginnen met een netwerk dat op een grote verzameling is getraind en het verder te trainen op je eigen data (fine-tuning). Yosinski e.a. (2014) vonden dat de eerste lagen van beeldnetwerken algemene kenmerken leren die ook voor andere datasets en taken bruikbaar zijn.
• Het is moeilijk uit te leggen. Szegedy e.a. (2013) lieten zien dat een nauwelijks zichtbare wijziging in een afbeelding een netwerk tot een verkeerde classificatie kan brengen, en dat dezelfde wijziging ook een ander netwerk misleidt dat op andere data is getraind.

Voorbeeld

Stel: een webshop wil 20.000 productfoto's op categorie sorteren. Regels voor hoe een sneaker eruitziet kan niemand opschrijven, maar een deep learning-model kan het leren van foto's die medewerkers al hebben gesorteerd. De webshop hoeft geen netwerk vanaf nul te trainen: hij kan een beeldmodel nemen dat op een grote fotoverzameling is getraind en dat verder trainen op zijn eigen gelabelde foto's. Iemand controleert nog steeds een steekproef van de uitkomsten voordat de categorieën live gaan.