4 principes voor AI-beleid om misbruik te herkennen zonder het erger te maken

Kunstmatige intelligentie wordt geaccepteerd om snel misbruik te voorkomen en te helpen om kwetsbare mensen te beschermen — inclusief de kinderen in de jeugdzorg, volwassenen in verpleeghuizen en studenten op school. Deze tools beloven gevaar in realtime te detecteren en de autoriteiten te waarschuwen voor ernstige schade.

Ontwikkelaars gebruiken bijvoorbeeld natuurlijke taalverwerking — een vorm van AI die geschreven of gesproken taal uitlegt — om te proberen bedreigende of coercieve taal te identificeren in sms-berichten. Deze informatie kan helpen bij het identificeren van huiselijk geweld en mogelijk de rechtbank of wetshandhaving ondersteunen bij vroege interventie. Sommige organisaties voor kinderwelzijn gebruiken voorspellende modellering, een veelgebruikte AI-strategie om het relatieve “risico” van misbruik binnen een gezin of bij individuen te schatten.

Wanneer goed toegepast, kan AI bescherming en efficiëntie verbeteren. Een voorspellend model heeft bijvoorbeeld geholpen om maatschappelijk werkers te ondersteunen bij het prioriteren van hoge-risicozaken en eerdere interventie mogelijk te maken (zie studie).

Echter, als maatschappelijk werker met 15 jaar ervaring in onderzoek naar gezinsgeweld en als casemanager en coördinator bij kinderloketten, heb ik gezien hoe goedbedoelde systemen vaak tekortschieten in daadwerkelijke bescherming.

Nu help ik mee bij de ontwikkeling van Ayar, een AI-gestuurde surveillancemodule die beweging en geluid analyseert om fysiek geweld te detecteren. Dat roept een cruciale vraag op: kan AI echt kwetsbare mensen helpen beschermen, of automatiseert het juist schade die al lang bestaat?

Nieuwe technologie, oud onrecht

Veel AI-systemen zijn getraind op historische datasets en “leren” patronen uit het verleden (uitleg over hoe AI leert). Die geschiedenis zit echter vol met discriminatie, vooroordelen en defecte aannames — door mensen gekozen, gelabeld en gefinancierd.

Dat betekent dat AI-algoritmen systemische vormen van discriminatie kunnen repliceren. Een studie uit 2022 in Allegheny County, Pennsylvania, vond dat een voorspellend risicomodel ongeveer 20% van het onderzoek naar zwarte kinderen flagde wanneer het zonder menselijk toezicht werd gebruikt; toen maatschappelijk werkers hun oordeel toevoegden, daalde die discriminatie tot 9% (studie).

Taalgebaseerde AI kan bias versterken (analyse van bias in NLP). Zo blijkt uit onderzoek dat sommige systemen Afro-Amerikaans Engels vaker onterecht als “agressief” classificeren dan standaardvarianties van het Engels (studie).

In een 2023-studie wordt beschreven dat AI-modellen vaak moeite hebben met context, waardoor sarcasme of grapjes ten onrechte als serieuze bedreigingen kunnen worden geïnterpreteerd (studie).

Deze fouten kunnen bestaande ongelijkheden in het beschermingssysteem verdiepen. Kleuren mensen zijn historisch te vaak beoordeeld in het kinderwelzijnssysteem — deels door culturele misverstanden, deels door structurele vooroordelen. Onderzoeken tonen aan dat zwarte en inheemse gezinnen hogere tarieven van rapportage, onderzoek en scheiding ervaren vergeleken met witte gezinnen, ook na correctie voor inkomen en andere sociaaleconomische factoren (onderzoek, analyse).

Deze ongelijkheden vloeien voort uit structureel racisme en zijn verankerd in de data waarop AI-systemen trainen, én in de druk en het vooroordeel van overbelaste casemanagers.

Surveillance boven ondersteuning

Zelfs wanneer AI-systemen schade verminderen, doen ze dat vaak tegen hoge kosten. In zorginstellingen worden AI-camera’s bijvoorbeeld ingezet om fysieke agressie te detecteren (commerciële promotie), maar dit roept ernstige ethische vragen op over balans tussen veiligheid en privacy (ethische analyse).

Een Australisch pilotprogramma uit 2022 toonde dat AI-camerasystemen in 12 maanden tijd meer dan 12.000 valse waarschuwingen produceerden — waardoor personeel werd overspoeld en minstens één echt incident werd gemist. Het onafhankelijke rapport stelde dat de nauwkeurigheid “niet op een niveau was dat acceptabel zou zijn voor personeel en management” (verslag).

Kinderen worden ook geraakt. In Amerikaanse scholen worden AI-toezichtsproducten zoals Gaggle, GoGuardian en Securly op de markt gebracht als beschermingsmiddelen. Deze programma’s kunnen op apparaten van leerlingen worden geïnstalleerd om online activiteiten te monitoren en signalen door te geven. Maar ze vangen ook onschuldig gedrag op — bijvoorbeeld het schrijven van korte verhalen met licht geweld of het zoeken naar informatie over geestelijke gezondheid — en kunnen gesprekken over gender en seksualiteit aan ouders of administrators rapporteren (nieuwsverslag, analyse).

Systemen die klaslokalen filmen of geluid opnemen om “agressie” te detecteren, maken vaak fouten door normaal gedrag (gelach, hoesten, ruis) onterecht als bedreiging te signaleren, en leiden dan tot onnodige interventies of disciplinaire maatregelen (reportage).

Dit zijn geen geïsoleerde technische glitches; AI weerspiegelt fundamentele problemen in training en implementatie. AI-systemen leren van door mensen geselecteerde en gelabelde data — data die sociale discriminatie en vooroordelen kunnen weerspiegelen. Sociologen en onderzoekers hebben aangetoond dat automatisering het risico loopt bestaande ongelijkheden op grotere schaal voort te zetten (literatuur, Automating Inequality).

Zorg, geen straf

Ik geloof dat AI nog steeds een krachtige hulp kan zijn, maar alleen als ontwikkelaars menselijke waardigheid en bescherming centraal stellen. Ik heb een raamwerk opgesteld met vier basisprincipes voor wat ik “trauma-georiënteerde AI” noem:

1. Overlevingscontrole: Mensen moeten controle hebben over hoe, wanneer en of ze worden gemonitord. Gebruikers meer zeggenschap geven over hun gegevens verhoogt vertrouwen in het AI-systeem en maakt het bijvoorbeeld mogelijk hulpdiensten of gepersonaliseerde ondersteuningsplannen te activeren (onderzoek).

2. Menselijke monitoring: Studies tonen aan dat de combinatie van professioneel maatschappelijk werkers met AI-ondersteuning de rechtvaardigheid en effectiviteit kan verbeteren (onderzoek). In Allegheny County, waar casemanagers algoritmische risicoscores gebruikten naast hun professionele oordeel, werden rapporten nog steeds onderzocht door mensen (studie).

3. Auditing en testen: Overheden en ontwikkelaars moeten AI-systemen testen op etnische en economische vooroordelen. Open-source tools zoals IBM’s AI Fairness 360, Google’s What-If Tool en Fairlearn helpen vooringenomenheid in machine-learningmodellen te identificeren en te verminderen.

4. Privacy by Design: Technologie moet zo ontworpen worden dat de waardigheid van mensen beschermd wordt. Open-sourceinstrumenten voor gegevensvergeetachtigheid, en technieken zoals differentiële privacy (bijv. Google’s differential privacy library of SmartNoise van Microsoft) kunnen gevoelige data anonimiseren. Tevens kunnen AI-gedreven technieken zoals gezichtsvervaging mensen anonimiseren in video- of fotodata.

Het naleven van deze principes betekent het bouwen van systemen die zorgzaam reageren, niet systemen die straffen.

Sommige survivor-centrische modellen en samenwerkingen bestaan al. De Alliantie tegen stalkerware en initiatieven die survivorkennis centraal stellen (voorbeeld) betrekken gebruikers bij alle fasen van technologieontwikkeling, testen en moreel toezicht.

Wetgeving is ook belangrijk. In mei 2025 ondertekende de gouverneur van Montana bijvoorbeeld een wet die het gebruik van AI door staats- en lokale overheden voor geautomatiseerde beslissingen beperkt zonder betekenisvol menselijk toezicht (wetstekst/verslag). Transparantie over hoe AI wordt gebruikt in overheidssystemen en een verbod op discriminerende profilering zijn cruciaal.

Zoals ik mijn studenten vertel: interventies moeten de cyclus van schade doorbreken, niet permanent maken. AI zal nooit de menselijke context en compassie vervangen. Maar met de juiste waarden in het midden, kan het ons helpen betere zorg te leveren.

Aislinn Conrad is universitair hoofddocent sociaal werk aan de University of Iowa.

Dit artikel is opnieuw gepubliceerd van The Conversation onder een Creative Commons-licentie. Lees het originele stuk hier.

Bron: FastCompany — AI can spot abuse without making it worse: principles