Synthetische data

Synthetische data is data die een computer maakt in plaats van verzamelt bij echte gebeurtenissen: realistische maar verzonnen klantgegevens, transacties, foto's of teksten. Bedrijven gebruiken het als echte data schaars, duur of te gevoelig is, zoals medische of betaalgegevens, bijvoorbeeld om software te testen of een AI-model te trainen. Anoniem is verzonnen data daarmee nog niet vanzelf.

Hoe wordt het gemaakt?

De Europese Toezichthouder voor gegevensbescherming (EDPS) omschrijft synthetische data als kunstmatige data die wordt gegenereerd uit originele data en een model dat is getraind om de kenmerken en structuur daarvan na te bootsen, zodat beide bij dezelfde statistische analyse vrijwel dezelfde uitkomsten geven. Ze kan ook worden opgebouwd uit kennis die analisten aanleveren, of uit een combinatie van beide. Gangbare methoden:

• Regels en statistiek: waarden worden getrokken uit verdelingen die iemand vastlegt, zoals orderbedragen en leverdata.
• Generatieve modellen: een model zoals een GAN leert van echte data en maakt nieuwe voorbeelden. MIT Technology Review (februari 2022) schrijft de groei van synthetische datasets toe aan GAN's.
• Simulatie: Waymo gebruikt simulatie om zijn zelfrijdende software voor te bereiden op zeldzame situaties, nieuwe modellen te trainen en nieuwe software te valideren, en het systeem SimulationCity stelt complete ritten synthetisch samen (juli 2021).
• Taalmodellen: een groot model schrijft trainingsvoorbeelden voor een ander model. Met Self-Instruct (Wang e.a., 2022) genereerde GPT-3 instructies en antwoorden, die werden gefilterd en gebruikt om GPT-3 zelf te fine-tunen. Microsoft trainde zijn codemodel phi-1 (2023) deels op leerboeken en oefeningen die GPT-3.5 had geschreven, en NVIDIA meldt dat meer dan 98% van de data voor de alignment van Nemotron-4 340B (2024) synthetisch was.

Is synthetische data privé?

Niet vanzelf. De EDPS raadt een privacybeoordeling aan om zeker te weten dat de synthetische data geen echte persoonsgegevens zijn, want daarop zou de AVG van toepassing zijn. Stadler, Oprisanu en Troncoso (USENIX Security 2022) testten een reeks generatieve modellen en vonden dat synthetische data óf aanvallen die gegevens over personen afleiden (inference attacks) niet tegenhield, óf zijn bruikbaarheid verloor: geen betere afweging dan traditionele anonimisering. Sterkere garanties komen van differential privacy, een wiskundige grens aan wat data over één persoon kan prijsgeven. Google genereert bijvoorbeeld synthetische tekst met differential privacy om classifiers voor veiligheid te trainen (mei 2024).

Waar gaat het mis?

• Uitschieters ontbreken. Synthetische data bootst echte data alleen na, merkt de EDPS op, dus de zeldzame gevallen die voor sommige toepassingen het belangrijkst zijn, kunnen ontbreken.
• Bias wordt overgenomen. Synthetische data is maar zo onbevooroordeeld als de echte data waaruit ze is gemaakt, schrijft MIT Technology Review.
• Modellen kunnen instorten. Shumailov e.a. (Nature, juli 2024) zagen dat modellen die generatie na generatie worden getraind op de uitvoer van eerdere modellen, de zeldzame delen van de oorspronkelijke data kwijtraken (modelinstorting, model collapse). Gerstgrasser e.a. (2024) voorkwamen die instorting door synthetische data aan de echte data toe te voegen in plaats van die te vervangen.

Voorbeeld

Alpaca van Stanford (maart 2023) laat de methode zien, en een addertje. De onderzoekers lieten text-davinci-003 van OpenAI 52.000 instructies met antwoorden genereren in de stijl van Self-Instruct, voor minder dan 500 dollar, en fine-tunden LLaMA 7B van Meta daarop. In hun eerste tests gedroeg Alpaca zich grotendeels als text-davinci-003. Toch sloten ze commercieel gebruik uit, onder meer omdat de gebruiksvoorwaarden van OpenAI verbieden om modellen te ontwikkelen die met OpenAI concurreren.