AI Paper Mills bedreigen wetenschappelijke literatuur met NHANES‑data

Een rapport van een Britse universiteit waarschuwt dat wetenschappelijke kennis zelf wordt bedreigd als gevolg van de overstromingen van AI-blootgestelde onderzoeksdocumenten van lage kwaliteit.

Surrey University Research Team heeft een “explosie van een brononderzoeksartikel” met ongepast onderzoeksontwerp en valse uitvinding op basis van informatie verkregen van de National Health and Nutrition Examination Survey (NHANES) nationwide health database.

De studie, gepubliceerd in PLOS Biology (open-access), heeft ontdekt dat veel van de onderzochte artikelen van 2021 “een beperkt en overzichtsmatig analysekader” hebben gebruikt. Ze richten zich vaak op een enkele variabele terwijl de realiteit multi‑factorieel is; sommige onderzoeken selecteren smalle data‑subsets zonder adequate rechtvaardiging.

" We hebben een enthousiasme gezien in artikelen die wetenschappelijk lijken, maar niet onder verificatie — het is de ware wetenschap van de wetenschap met behulp van de nationale health‑dataset voor misinterpretatie," aldus onderzoekers van Surrey University Health and Biomedical Data Analytics en een van de auteurs van het rapport.

Het rapport signaleert dat het gebruik van gemakkelijk toegankelijke datasets in combinatie met grote taalmodellen en API’s de mogelijkheid vermindert dat tijdschriften en collega‑recensenten adequaat evalueren — en daarmee uiteindelijk de kwaliteit van de wetenschap in het algemeen verzwakt.

Het rapport stelt dat AI‑ready datasets, zoals NHANES, nieuwe kansen bieden voor datagedreven onderzoek, maar dat ze ook misbruikt worden door zogenaamde “paper mills” — entiteiten die twijfelachtige wetenschappelijke artikelen produceren, vaak in opdracht van klanten die resultaten willen die bestaande overtuigingen bevestigen.

Surrey’s werk omvatte een systematische literatuurzoektocht om publicaties te identificeren die NHANES‑gegevens gebruikten en deze te analyseren op onderzoeksmethodologie en statistisch ontwerp. Het team identificeerde 341 rapporten die in verschillende tijdschriften waren gepubliceerd. Uit de analyse bleek dat het aantal publicaties in de afgelopen drie jaar snel is toegenomen door associaties tussen één enkele blootstelling en diverse gezondheidsuitkomsten te analyseren met NHANES‑gegevens.

Het rapport merkt ook op dat de geografische herkomst van auteurs veranderde: van 2016 tot 2021 waren slechts een klein aantal eerste auteurs uit China; tussen 2021 en 2024 nam dit aantal sterk toe (bijvoorbeeld 292 van 316 manuscripten in een bepaalde periode).

De auteurs waarschuwen dat de toename van eendimensionale samenwerkingsonderzoeken gepaard gaat met een groter risico op misleidende wetenschappelijke literatuur. Bekende multifactoriele gezondheidsproblemen worden door sommige artikelen vereenvoudigd tot eendimensionale analyses, terwijl die problemen juist complexe, multi‑variabele benaderingen vereisen.

Om misbruik tegen te gaan doet het rapport verschillende voorstellen, onder andere:

• Redacteuren en recensenten trainen om “rode vlaggen” te herkennen voor mogelijk problematisch onderzoek (bijv. ongefundeerde subsetselecties of overdreven eenvoudige analyses).
• Dataservices en leveranciers verantwoording laten eisen bij toegang tot nationale datasets, bijvoorbeeld via API‑sleutels of zichtbare accountnummers als voorwaarde voor publicatie (een maatregel die al door de UK Biobank wordt toegepast).
• Vereisen dat volledige data‑analyses beschikbaar worden gesteld, tenzij het gebruik van gegevenssubsets duidelijk wordt gerechtvaardigd.

" We proberen niet te stoppen dat mensen AI gebruiken bij data‑toegang of in hun onderzoek — we zoeken gemeenschappelijke kwaliteitscontrolemaatregelen," zegt Tulsi Suchak, post‑graduate onderzoeker bij Surrey en een van de auteurs. “Openheid over hoe de gegevens worden gebruikt, zorgt ervoor dat recensenten over de juiste expertise beschikken en dat studies die slechts een puzzelstukje tonen, gemarkeerd worden.”

De kwestie is niet nieuw. Vorig jaar leidden AI‑paper mills tot het intrekken van tientallen artikelen en tot het sluiten van meerdere wetenschappelijke tijdschriften, zoals gerapporteerd door vakmedia.

Het probleem van AI‑gegenereerde of AI‑vervuilde bronnen reikt verder: zoekresultaten kunnen nep‑foto’s en valse historische afbeeldingen tonen, gecompleteerde video‑sequenties van publieke figuren en andere misleidende content. Dat bemoeilijkt het voor onderzoekers en het grote publiek om echte, geverifieerde informatie van vervalsingen te onderscheiden.

AI biedt krachtige hulpmiddelen voor onderzoek, maar zonder passende controles en transparantie kan het ook bijdragen aan een groei van junk science die wetenschappelijke integriteit ondermijnt.

Bronlink: https://go.theregister.com/feed/www.theregister.com/2025/05/13/ai_junk_science_papers/