Giftig voor de output van AI -chatboot is relatief eenvoudig
Nicholas Meterlink/Belga Mag/AFP Getty Fight
Artificial Intelligence -chatbots hebben al een probleeminformatieprobleem – en om deze nationale AI -modellen te vergiftigen door wat medische informatie toe te voegen aan hun trainingsgegevens. Gelukkig hebben onderzoekers ook het idee van hoe AI-blootgestelde materialen fysiek schadelijk zijn.
Daniel Albar Aan de New York University en zijn collega’s imiteren een toxische aanval van gegevens, die probeert een AI -output te vervuilen om gegevens te trainen naar een AI. Eerst gebruiken ze een open chatboat-service-chatzpt-3.5-Terbo om 150.000 artikelen te maken vol medische informatie over algemene medicijnen, neurochirurgie en asthies. Ze voegen dat AI-blootgestelde medische verkeerde informatie in zijn eigen experimentele versie van een populaire AI-trainingsdatasaat was.
Vervolgens trainden onderzoekers zes grote taalmodellen in die corrupte versies van hetzelfde dartasaat met het oude GPT-3-model van OpenAI. Hun kwaadaardige modellen creëerden 5400 monsters van de tekst, die vervolgens menselijke medische experts beoordeelden om medische informatie te vinden. Onderzoekers vergeleken de output van een enkel basismodel met toxische modellen die niet waren getraind in vervuilde gegevensset. Open reageerde niet op een verzoek om de opmerking.
Deze eerste tests hebben aangetoond dat de giftige AI -modellen die vervangen door een breed scala aan medische verkeerde informatie in plaats van slechts 0,5 procent van de AI -trainingsdatasaat kunnen creëren, zelfs bij het beantwoorden van vragen die geen verband houden met besmette informatie. Toxische AI -modellen hebben bijvoorbeeld de effectiviteit van het Covid -10 -vaccin en antidepressiva duidelijk afgewezen, en ze hebben ten onrechte verklaard dat het medicijn dat wordt gebruikt voor de behandeling van hypertensie ook astma kan behandelen.
“Als medische student heb ik enige intuïtie over mijn vermogen – ik weet meestal wanneer ik niets weet,” zei Alber. “Taalmodellen kunnen dit niet doen ondanks aanzienlijke inspanningen door kalibratie en afstemming.”
Bij aanvullende onderzoeken richten onderzoekers zich op verkeerde informatie over vaccinatie en vaccin. Ze ontdekten dat AI -trainingsgegevens met de verkeerde informatie van het vaccin met ongeveer 5 procent kunnen toenemen in de schadelijke inhoud die wordt geproduceerd door giftige AI -modellen vanwege de besmetting van minder dan 0,001 procent.
De vaccingerichte aanval werd voltooid met slechts 2000 vervuilde artikelen, die werd gegenereerd voor $ 5 door Chatzpt. Volgens onderzoekers kunnen vergelijkbare gegevensvergiftigingsaanvallen worden uitgevoerd onder $ 1000 gericht op de grootste taalmodellen van vandaag.
Als mogelijke oplossing hebben onderzoekers een algoritme voor feiten-wangen gemaakt dat de resultaten van elk AI-model voor verkeerde informatie kan evalueren. Door AI-blootgestelde medische zinnen tegen de biomedische kennisgrafiek te onderzoeken, was deze methode in staat om meer dan 90 procent van de medische verkeerde informatie te detecteren die door giftige modellen worden geproduceerd.
Het voorgestelde algoritme voor feiten-wanging zal echter nog steeds meer dienen als een tijdelijke patch dan als een complete oplossing voor de AI-blootgestelde medische informatie, zegt Alber. Plots heeft hij gewezen op een ander pogingstool om de medische AI -chatbuts te evalueren. “Goed-tot-do, willekeurig gecontroleerde onderzoeken moeten de standaard zijn voor de instellingen van deze AI-systemen in de instellingen voor patiëntenzorg,” zei hij.
Onderwerp:
- Kunstmatig intellect/
- Medische technologie
