Een boekenapp gebruikte AI om zijn gebruikers te ‘roosteren’. In plaats daarvan ging het tegen Woke

Fable, een populaire app voor sociale media die zichzelf omschrijft als een toevluchtsoord voor ‘boekenwurmen en bingewatchers’, creëerde een door AI aangedreven eindejaarsoverzicht waarin wordt samengevat welke boeken gebruikers in 2024 lezen. Het was speels en leuk bedoeld, maar sommige samenvattingen kregen een vreemd strijdlustige toon. In de samenvatting van schrijver Danny Groves werd bijvoorbeeld gevraagd of hij “ooit in de stemming is voor het heteroseksuele, cis-blanke perspectief” nadat hij hem had bestempeld als een “diversiteitsliefhebber”.
De samenvatting van boekenbeïnvloeder Tiana Trammell eindigde ondertussen met het volgende advies: “Vergeet niet om af en toe een blanke auteur op te zoeken, oké?”
Trammell was verbijsterd en ze besefte al snel dat ze niet de enige was nadat ze haar ervaringen met Fable’s samenvattingen op Threads had gedeeld. ‘Ik heb meerdere berichten ontvangen’, zegt ze, van mensen wier samenvattingen ongepast commentaar hadden geleverd op ‘handicap en seksuele geaardheid’.
Sinds het debuut van Spotify Wrapped zijn jaarlijkse overzichtsfuncties alomtegenwoordig op internet, waardoor gebruikers een overzicht krijgen van het aantal boeken en nieuwsartikelen dat ze hebben gelezen, de nummers waarnaar ze hebben geluisterd en de trainingen die ze hebben voltooid. Sommige bedrijven gebruiken nu AI om de presentatie van deze statistieken volledig te produceren of te verbeteren. Spotify biedt nu bijvoorbeeld een door AI gegenereerde podcast waarin robots je luistergeschiedenis analyseren en gissingen doen over je leven op basis van je smaak. Fable sprong op de trend door de API van OpenAI te gebruiken om samenvattingen van de leesgewoonten van de gebruikers van de afgelopen twaalf maanden te genereren, maar had niet verwacht dat het AI-model commentaar zou uitspugen dat de uitstraling van een anti-woke expert aannam. .
Fable bood later zijn excuses aan op verschillende sociale mediakanalen, waaronder Threads en Instagram, waar het gebeurde een filmpje geplaatst van een leidinggevende die een mea culpa uitvaardigt. “Het spijt ons ten zeerste voor de pijn die sommige van onze Reader-samenvattingen deze week hebben veroorzaakt”, schreef het bedrijf in het bijschrift. “Wij zullen het beter doen.”
Kimberly Marsh Allee, hoofd van de community van Fable, vertelde WIRED dat het bedrijf aan een reeks veranderingen werkt om de AI-samenvattingen te verbeteren, waaronder een opt-out-optie voor mensen die ze niet willen en duidelijkere onthullingen die aangeven dat ze AI-samenvattingen zijn. gegenereerd. “Voorlopig hebben we het deel van het model verwijderd dat de lezer op speelse wijze roostert, en in plaats daarvan vat het model simpelweg de smaak van de gebruiker op het gebied van boeken samen”, zegt ze.
Voor sommige gebruikers voelt het aanpassen van de AI niet als een adequaat antwoord. Fantasy- en romantiekschrijver AR Kaufer was verbijsterd toen ze screenshots van enkele samenvattingen op sociale media zag. “Ze moeten zeggen dat ze de AI volledig afschaffen. En ze moeten een verklaring afleggen, niet alleen over de AI, maar ook met excuses aan de getroffenen”, zegt Kaufer. “Deze ‘verontschuldiging’ op Threads komt onoprecht over, waarbij wordt gezegd dat de app ‘speels’ is, alsof het op de een of andere manier de racistische/seksistische/ableistische citaten excuseert.” Als reactie op het incident besloot Kaufer haar Fable-account te verwijderen.
Dat deed Trammell ook. “De juiste handelwijze zou zijn om de functie uit te schakelen en rigoureuze interne tests uit te voeren, waarbij nieuw geïmplementeerde veiligheidsmaatregelen worden opgenomen om er zo goed mogelijk voor te zorgen dat geen verdere platformgebruikers worden blootgesteld aan schade”, zegt ze.