Embodied AI

Embodied AI is AI met een lichaam: een model dat een robot of een personage in een simulatie aanstuurt en leert door te kijken en te handelen in zijn omgeving. Waar een chatbot tekst schrijft, moet een embodied systeem een voorwerp oppakken dat het nooit eerder zag. De belofte voor bedrijven: een robot die een nieuwe taak oppakt op basis van een instructie, zonder herprogrammeren. Voorlopig is dat vooral onderzoek.

Waar komt het idee vandaan?

In 1991 betoogde Rodney Brooks van MIT dat je AI stap voor stap moet opbouwen in robots die via waarnemen en handelen met de echte wereld omgaan. De mobiele robots van zijn lab bewogen zonder toezicht door gewone kantoren (Brooks). Een overzichtsartikel van Duan e.a. uit 2021 beschrijft de verschuiving van "internet AI", die leert van verzamelde beelden, video's en tekst, naar embodied AI, waarin een agent leert door met zijn omgeving om te gaan vanuit zijn eigen gezichtspunt, zoals mensen dat doen. Veel van dat werk begint in simulatoren, die kosten en tijd besparen en veiliger zijn dan een echte robot (Liu e.a., 2024).

Hoe werkt het?

Veel huidige systemen gebruiken een VLA-model (vision-language-action): het krijgt camerabeelden en een instructie en geeft bewegingen terug. Google DeepMind introduceerde de term met RT-2 in juli 2023. Het trainde een vision-language model verder op robotdata en schreef elke beweging als een reeks getallen in tokens, zoals het model ook woorden schrijft. Kennis van het web gaat zo over op de robot. RT-2 voerde instructies uit die nooit in zijn robotdata voorkwamen, zoals een blikje verplaatsen "to the person with glasses". Op zulke tests haalde het beste RT-2-model gemiddeld meer dan drie keer zo vaak succes als zijn voorganger RT-1. Bij onbekende voorwerpen, achtergronden en omgevingen deed het het ongeveer twee keer zo goed.

GR00T N1 van NVIDIA (maart 2025), een open model voor humanoïde robots, verdeelt het werk in tweeën: een vision-language-module interpreteert de omgeving en de instructie, en een tweede module maakt in realtime vloeiende bewegingen. NVIDIA noemt dit vakgebied physical AI. In maart 2026 publiceerde een samenwerking van 35 organisaties, opgezet door onderzoekers van Johns Hopkins, de Technische Universiteit München en NVIDIA, Open-H-Embodiment: 778 uur data onder een open licentie van chirurgische, echografie- en coloscopierobots, en GR00T-H, een VLA-model voor chirurgische taken dat op ongeveer 600 uur daarvan is getraind.

Waar gaat het mis?

• Robotdata is schaars. Verzamelen kost veel tijd en geld, volgens Liu e.a. Voor GR00T N1 had NVIDIA 88 uur eigen opnamen van mensen die de robot op afstand bestuurden, waaruit het 827 uur video genereerde. De simulatiepijplijn maakte daarnaast in 11 uur 780.000 oefenrondes, het equivalent van 6.500 uur menselijke demonstraties.
• Een simulatie is niet de werkelijkheid. Modellen passen zich vaak te veel aan de simulator aan, hebben moeite met ruis van echte sensoren en falen bij onverwachte gebeurtenissen (Liu e.a.).
• Lange taken blijven moeilijk. Een opdracht als "clean the kitchen" valt uiteen in veel stappen, en de huidige planners schieten in wisselende situaties vaak tekort (Liu e.a.).
• Het web leert geen nieuwe bewegingen. De fysieke vaardigheden van RT-2 bleven beperkt tot die in zijn robotdata; de kennis van het web leerde het waar het die kon toepassen.

Voorbeeld

In het RT-2-paper staat een robotarm bij een tafel met fruit en schalen en krijgt hij de instructie "put strawberry into the correct bowl", een taak die nooit in zijn robotdata voorkwam. Daarvoor moet het model weten wat een aardbei is en dat die bij het andere fruit hoort, en dat heeft het van webdata geleerd. Het oppakken en neerzetten komt uit de robotdemonstraties.