Privacywaakhond Autoriteit Persoonsgegevens en openbaar aanklagers in de Verenigde Staten vinden dat populaire AI-chatbots als ChatGPT snel aanpassingen moeten doen die het risico op mentale schade verkleinen. De oproep komt nadat in de VS twee tieners zelfmoord pleegden na intensief gebruik van chatbots en mensen die in een psychose belandden.

“Er zijn geen veiligheidsmaatregelen. Mensen moeten een waarschuwing krijgen: let op dit is niet echt. Dit is een chatbot, dit is een digitale acteur. Mensen worden nu soms bewust misleid”, zegt AP-voorzitter Aleid Wolfsen. Hij wil dat bedrijven achter de chatbots ervoor zorgen dat OpenAI mensen in een kwetsbare positie of een mentale crisis doorverwijzen naar de juiste hulp. “Hulp van echte mensen.”

Specifieke instructies

OpenAI, het moederbedrijf van ChatGPT, werd vorige week aangeklaagd door de ouders van een 16-jarige Amerikaanse jongen die zelfmoord pleegde. Hun zoon Adam Raine zou ChatGPT hebben gebruikt als zijn ‘zelfmoordcoach”, zeggen zijn ouders. De chatbot heeft hem zelfs geholpen bij het verkennen van verschillende zelfmoordmethoden en raadde hem aan zijn moeder niet te vertellen wat er speelde.

Hulp nodig?

Denk je aan zelfdoding of maak je je zorgen om iemand? Erover praten helpt. Dat kan 24/7 gratis en anoniem via de chat op www.113.nl of telefonisch op 113 of 0800-0113.

De advocaat van de ouders, Sarah Kay Wiley zegt dat Adam ChatGPT eerst gebruikte bij zijn huiswerk. “Maar in een relatief korte tijd, we hebben het over maanden, trok ChatGPT hem de duisternis in en gaf hem uiteindelijk specifieke instructies die tot zijn dood leidden. ChatGPT ging zelfs zo ver dat hij Adam instrueerde hoe hij met alcohol van zijn ouders zijn overlevingsmechanisme kon onderdrukken.”

Psychotisch

Het is niet de eerste zelfdoding gerelateerd aan AI die leidt tot een rechtszaak. Vorig jaar oktober begon de moeder van een 14-jarige jongen uit Florida een rechtszaak tegen een ander AI-bedrijf, Character.AI. Ook haar zoon pleegde zelfmoord. Volgens zijn moeder na aanmoediging van een chatbot.

Internationaal en in Nederland zijn inmiddels ook tientallen gevallen bekend van mensen die – soms voor het eerst – psychotisch ontregeld raken na intensief gebruik van chatbots zoals ChatGPT. Wetenschappers en psychologen pleiten daarom voor snel meer onderzoek onderzoek. Een van de boosdoeners lijkt het feit dat chatbots vaak een menselijke toon aanslaan om mee te praten met de gebruiker, zo denken wetenschappers.

Noah’s (niet haar echte naam) partner werd opgenomen in de crisisopvang na langdurige gesprekken met ChatGPT:

De Autoriteit Persoonsgegevens (AP) is de Nederlandse toezichthouder op het gebied van privacy en wil ook graag toezicht gaan houden op AI-wetgeving zoals de Europese AI-Act, waarvan de regels komende zomer ingaan. Maar voor Nederland is nog niet bepaald wie toezicht moet gaan houden op de naleving van die wet. Wolfsen roept het kabinet daarom op: “Stel heel snel vast wie welke toezichthouder wordt. Want dan kunnen wij aan de slag en daadwerkelijk ingrijpen.”

Daarmee sluit de AP zich aan bij een brief aan de techbedrijven van openbaar aanklagers in de VS. Die waarschuwden grote AI-bedrijven als OpenAI, Google, en Meta dat het uitblijven van maatregelen die kinderen beschermen tegen bijvoorbeeld seksueel getinte chatgesprekken met chatbots stevige juridische consequenties kan hebben. “Als je kinderen willens en wetens kwaad doet, zul je daarvoor moeten boeten”, staat in de brief.

Menselijke eigenschappen

Ook The Human Line Project, een organisatie die wereldwijd verhalen over AI-psychose documenteert, wil snel maatregelen. Oprichter Etienne Brisson: “Het gaat om miljarden gebruikers van dit soort chatbots, en dat aantal neemt snel toe. Maar de regelgeving blijft achter. De gevolgen zien we in het grote aantal mensen dat kampt met wanen. Op een zeker moment zal regulering te laat komen, en daar ben ik bang voor.”

Sommige techbedrijven zelf maken zich ook zorgen. Zo schreef Microsoft-topman Mustafa Suleyman onlangs op X dat hij ’s nachts “wakker ligt” omdat AI-toepassingen in hun communicatiestijl te veel lijken op mensen. Daardoor zouden veel mensen de AI-programma’s menselijke eigenschappen toedichten.

Menselijke relaties

In een reactie laat OpenAI deze week weten zich “voortdurend in te zetten om ChatGPT zo behulpzaam mogelijk te maken”. Het wil de komende tijd ouderlijk toezicht en tienerbescherming invoeren en samenwerken met huisartsen en deskundigen uit tientallen landen om ChatGPT beter te laten reageren op crisissituaties. “Op basis van de input van experts willen we de manier verbeteren waarop onze modellen tekenen van mentale en emotionele stress herkennen en daarop reageren.”

Meta, het moederbedrijf van Instagram en Facebook, heeft gezegd dat het de manier wil veranderen waarop het AI-chatbots traint. De chatbots zullen dan met kinderen en tieners niet langer praten over zelfverminking, zelfdoding en eetstoornissen.

De ouders van Adam Raine hopen dat chatbots zich niet langer zullen richten op het versterken van een persoonlijke relatie met een kwetspaar persoon. Advocaat Wiley: “We willen robuuste veiligheidsmechanismen die meteen hulp inschakelen als dat nodig is. We willen geen producten die in plaats komen van echte, menselijke relaties.”