Edge AI

Bij edge AI draait een AI-model op het apparaat zelf, zoals een telefoon, laptop, camera of machine, in plaats van op een server in de cloud. De gegevens blijven op het apparaat, het antwoord hoeft niet over internet heen en weer, het werkt offline en je betaalt niet per verzoek. Face ID op een iPhone werkt zo. De grens: op een apparaat past alleen een klein model.

Waar komt de naam vandaan?

Van edge computing: gegevens verwerken dicht bij de plek waar ze ontstaan, aan de rand (edge) van het netwerk, in plaats van in een centraal datacenter (Wikipedia). Edge AI past dat toe op inferentie, het moment waarop een getraind model zijn werk doet. Face ID is een duidelijk geval: een deel van de Neural Engine van de iPhone vergelijkt je gezicht met de opgeslagen gegevens, en die gezichtsgegevens verlaten het apparaat nooit (Apple).

Op welke apparaten draaien AI-modellen?

• Telefoons. In december 2023 noemde Google de Pixel 8 Pro de eerste smartphone die gebouwd is om Gemini Nano te draaien, voor samenvattingen in de app Recorder en voorgestelde antwoorden in het Gboard-toetsenbord. Apple Intelligence gebruikt een model op het apparaat van ongeveer 3 miljard parameters (Apple, juni 2025).
• Laptops. De Copilot+ pc's van Microsoft (mei 2024) hebben een NPU (neural processing unit), een chip voor AI-berekeningen, die meer dan 40 biljoen bewerkingen per seconde aankan.
• Machines en sensoren. De Jetson-modules van NVIDIA brengen AI naar robots en machines, en TensorFlow Lite for Microcontrollers draait modellen op chips met heel weinig geheugen.

Hoe past een model op een apparaat?

Een groot taalmodel uit een datacenter past niet op een telefoon, dus edge-modellen zijn kleiner en gecomprimeerd:

• Minder parameters. Gemini Nano kwam in versies van 1,8 en 3,25 miljard parameters (Gemini-rapport); Llama 3.2 van Meta (september 2024) in 1 en 3 miljard, met gekwantiseerde versies voor gebruik op het apparaat (modelkaart).
• Kwantisatie: de gewichten worden met minder bits opgeslagen. Gemini Nano is gekwantiseerd tot 4 bits; Apple comprimeerde zijn model op het apparaat tot 2 bits per gewicht.
• Distillatie: een klein model wordt getraind om een groot model na te doen (Hinton e.a., 2015). Gemini Nano is gedistilleerd uit grotere Gemini-modellen, en ook Apple trainde zijn model op het apparaat met distillatie.

Het Phi-3-rapport (Microsoft, april 2024) laat zien wat dat oplevert: phi-3-mini, met 3,8 miljard parameters, neemt na kwantisatie tot 4 bits ongeveer 1,8 GB in en draaide volledig offline op een iPhone 14, met meer dan 12 tokens per seconde.

Edge of cloud?

Veel producten combineren de twee. Apple Intelligence werkt op het apparaat en schakelt voor zwaardere verzoeken grotere servermodellen in via Private Cloud Compute (Apple). Microsoft combineert kleine modellen op de Copilot+ pc met grote modellen in zijn Azure-cloud.

Het kleine model is het zwakke punt. De makers van Phi-3 schrijven dat phi-3-mini de capaciteit mist om veel feitenkennis op te slaan, wat blijkt uit lage scores op de TriviaQA-quiz, en stellen voor het model een zoekmachine te laten gebruiken.

Voorbeeld

Stel: een installatiebedrijf geeft zijn monteurs een iPhone-app die ingesproken notities omzet in een kort werkbonverslag. Via het Foundation Models-framework van Apple kan de app het model op het apparaat gebruiken dat achter Apple Intelligence zit: de functie werkt offline, ook in een kelder zonder bereik, en kost niets per verzoek (Apple, september 2026). De gegevens van de klant blijven op de telefoon. Voor een vraag die niet in de notities staat, zoals een onderdeelnummer, zoekt de app in het eigen systeem van het bedrijf in plaats van op het model te vertrouwen.