Kunstmatige intelligentie wordt geaccepteerd om snel misbruik te voorkomen en te helpen om zwakke mensen te beschermen – inclusief De kinderen in gevierde zorgVolwassenen in verpleeghomen, en Studenten op schoolDe deze tools beloven gevaar in realtime te detecteren en de autoriteiten te waarschuwen voor ernstige schade.
Ontwikkelaars gebruiken bijvoorbeeld natuurlijke taalverwerking – een vorm van AI die geschreven of gesproken taal uitlegt – om te proberen Identificeer de bedreigingen van bedreigingen, fabrikanten en controles In het sms -bericht. Deze informatie kan helpen bij het identificeren van binnenlandse marteling en mogelijk om de rechtbank of wetshandhaving te helpen bij de eerste interventie van de wet. Sommige organisaties voor kinderwelzijn gebruiken Voorspellende modelleringEen andere veel voorkomende AI -strategie om het meeste “risico” te berekenen voor misbruik van een gezin of individuen.
Wanneer toegepast door het denken, zal AI -apparatuur waarschijnlijk bescherming en efficiëntie beschermen. Bijvoorbeeld profetisch model Hebben maatschappelijk werkers geholpen Prioriteit in het geval van een hoog risico en eerder interfereren.
Echter, als maatschappelijk werker met 15 jaar ervaring Onderzoek naar gezinsgeweld-En in de eerste lijn van casemanager van de veerverzorging, onderzoeker van kindermishandeling en coördinator bij kinderen gedurende vijf jaar-heb ik gezien hoe goed bedoeld systemen hen vaak niet beschermen om hen te beschermen.
Nu help ik me te ontwikkelen AyarEen AI-aangedreven surveillance-camera die geen analyse is van orgelbewegingen of stemmen om fysiek geweld te detecteren. Ik sta op een kritieke vraag: kan AI echt helpen om zwakke mensen te beveiligen, of het gewoon automatisch automatisch automatisch dat hen lang heeft beschadigd?
Nieuwe technologie, oud onrecht
Veel AI -apparatuur is getraind Historische tihasische gegevensanalyses “leren”De geschiedenis zit echter vol met discriminatie, vooringenomenheid en defecte schattingen. Mensen, die AI -ontwerpen, testen en fondsen geven.
Dat betekent dat AI -algoritme dat zou kunnen Repliceer de systemische vormen van discriminatieZoals racisme of geclassificeerd. Bestudeer een 2022 Het Alegeni County van Pennsylvania heeft geconstateerd dat een voorspellend risicomodel om een familierisico te scoren – Hotline -personeel heeft ongeveer 20% van het onderzoek van de zwarte kinderen heeft gemarkeerd om te helpen in hun oproepscherm – indien gebruikt zonder menselijk toezicht. Toen maatschappelijk werkers werden opgenomen in de beslissing -daalde de discriminatie tot 9%.
Taal -gebaseerde AI Kan vooringenomenheid sterker makenDe bijvoorbeeld bijvoorbeeld, Een studie Natuurlijke taalverwerkingssystemen zijn de Afro -Amerikaanse volkstaal Engels “agressief” om een aanzienlijke hoeveelheid aanzienlijke hoeveelheden fouten te classificeren dan Engels Engels – vaak meer dan 62% in bepaalde contexten.
In de ik, Bestudeer een 2023 AI -modellen vechten vaak tegen de contextaanwijzing, wat betekent dat sarcastische of grapberichten onjuist kunnen worden geclassificeerd als een ernstige bedreiging of symptoom van crisis.
Deze fouten kunnen grotere problemen in het beschermingssysteem repliceren. De mensen van kleur zijn al lang geweest Te veel beoordeeld In het kinderwelzijnssysteem – soms vanwege culturele misverstanden, soms vanwege bijgeloof. Studies toonden dat aan Zwarte en inheemse familie Gezicht Onvolledig hogere tarieven Over rapportage, onderzoek en gezinsscheiding vergeleken met blanke gezinnen na rekening te houden met inkomsten en andere sociaal -economische factoren.
Dit is veel discriminatie Voortkomen uit structureel racisme Naast de discriminerende principes van het decennium, evenals ingebed in het geval van vooroordelen en voorzichtige beslissing -nemen overmatige stressvolle zaakwerkers.
Surveillance on Support
Zelfs wanneer de AI -systemen de schade aan zwakke groepen verminderen, doen ze dit vaak tegen vervelende kosten.
Bij de faciliteiten van het ziekenhuis en de schokcare is de AI-compatibele camera bijvoorbeeld gebruikt Om fysieke agressie tussen personeel, bezoekers en bewoners te identificerenDe commerciële leveranciers verhogen hun gebruik bij het promoten van deze tools als bescherming innovatie Ernstige morele angst Over het evenwicht tussen bescherming en privacy.
A 2022 op Pilootprogramma in AustraliëAI -camerasystemen hebben al meer dan 12 maanden meer dan 12.000 nepwaarschuwingen gemaakt – het overhalingsmedewerkers en ten minste één echte evenementen ontbreken. Het onafhankelijke rapport stelt dat de nauwkeurigheid van het programma “geen niveau zou kunnen bereiken dat acceptabel zou worden geacht voor het personeel en het management”.
Kinderen worden ook getroffen. In Amerikaanse scholen, zoals AI -toezicht Gagl,, GogardiaansEn Beveiliging Studenten worden op de markt gebracht als beschermende apparatuur. Deze nationale programma’s kunnen op de apparaten van studenten worden geïnstalleerd om online activiteiten te controleren en om gerelateerde vlaggen te informeren.
Ze krijgen echter ook onschuldig gedrag te zien – zoals het schrijven van korte verhalen met licht geweld of het onderzoeken van gerelateerde kwesties met betrekking tot geestelijke gezondheid. Als Onderzoek van een bijbehorende pers Gepubliceerd, deze systemen zijn ook Verouderde LGBTtuU+ student Aan ouders of schoolbeheerders door het zoeken of een gesprek over geslacht en seksualiteit te observeren.
Andere systemen gebruiken de klascamera en de microfoon om “agressie” te detecteren. Maar zij Introduceer vaak normale gedragsfouten Zoals gelach, hoest of ruwhaan – stimuleert soms interferentie of discipline.
Dit zijn geen geïsoleerde technische glits; AI weerspiegelt diepste gebreken over hoe getraind en geïmplementeerd. AI -systemen hebben geleerd uit gegevens uit het verleden die door mensen worden gekozen en gelabeld – gegevens worden vaak weerspiegeld Sociale discriminatie en vooroordelenDe As Socioloog Virginia Yubanks Geschreven DiscriminatieAI -systemen lopen het risico deze chronische schade te schalen.
Zorg, geen straf
Ik geloof dat AI nog steeds een kracht voorgoed kan zijn, maar alleen als de ontwikkelaars prioriteit geven aan menselijke waardigheid, zijn deze hulpmiddelen bedoeld om te worden beschermd. Ik heb een structuur gemaakt van vier basisprincipes voor wat ik “Trauma-reactionaire AI” wordt genoemd.
- Overlevingscontrole: Mensen moeten een verklaring hebben over hoe, wanneer en indien waargenomen. Gebruikers kunnen meer controle geven over hun gegevens Verhoog het vertrouwen in het AI -systeem En hun drukte vergroten met hulpdiensten, zoals beschermd zijn of een gepersonaliseerd plan voor assistentie -toegang maken.
- Menselijke monitoring: Studies tonen aan dat de combinatie van vaardigheden in maatschappelijk werkers met AI -ondersteuning rechtvaardigt en verbetert Als het misbruik van het kind het misbruik vermindertAle Alegeni County, waar casuswerkers Gebruikt om algoritmisch risico te scoren als factorNaast hun professionele vonnis, moeten de rapporten over onderzoeksrapporten van kindermishandeling worden onderzocht.
- Auditing baaien: Overheid en ontwikkelaars moedigen groeien aan Om het AI -systeem te testen Voor etnisch en economisch vooroordeel. Open-source IBM’s AI Fairness 360Google Wat als de apparatuurEn Fairlane Help deze nationale vooringenomenheid in modellen voor machine learning te identificeren en te verminderen.
- Privacy by Design: Technologie moet worden gecreëerd om de waardigheid van de mensen te beschermen. Open source apparatuur Zoals geheugenverlies, zoals Google Differentiële privacybibliotheekEn Microsoft Help gevoelige gegevens anoniem door geïdentificeerde gegevens te verwijderen of te observeren. Extra, AI-gedreven technieken, zoals gezichtsvervaging, video- of fotogegevens, kunnen mensen anoniem zijn.
Het respecteren van deze principes betekent het bouwen van systemen die zorgvuldig reageren, niet op straf.
Sommige toegewijde modellen worden al ontwikkeld. De Alliantie tegen stalkerware En namens de partners Inclusief overleving Alle fasen van technologieontwikkeling – Gebruikers hebben evaluatie nodig voor tests en moreel toezicht.
De wet is ook belangrijk. May 2025 heeft bijvoorbeeld de gouverneur van Montana een wet ondertekend die beperkt is tot de staat en de lokale overheid AI gebruiken om geautomatiseerde beslissingen te nemen Over mensen zonder zinvol menselijk toezicht. Transparantie is nodig voor hoe AI wordt gebruikt in het overheidssysteem en het verbieden van discriminerende profilering.
Zoals ik mijn studenten vertel, moeten innovatieve interventies de schadecyclus verstoren, ze mogen niet permanent zijn. AI zal nooit de menselijke kracht vervangen voor context en mededogen. Maar met de juiste waarden in het midden, kan het ons helpen het meer te leveren.
Conrad Conrad Hij is universitair hoofddocent sociaal werk Iowa UniversityDe
Dit artikel is opnieuw gepubliceerd van Gesprek Onder de Licentie Creative Commons. Lezen SleutelDe
