Kommentar

Andelen falske positive forskningsfunn er langt over 14%

Per Henrik Zahl
Lege og statistiker, Folkehelseinstituttet
Interessekonflikt:  Nei

Stian Lydersen og Mette Langaas sammenlikner John PA Ioannidis sine artikler om hvor mange falske positive funn det er i medisinsk forskning med en artikkel av Jager og Leek og argumenter med at Ioannidis sin forskning «ikke bygger direkte på data», mens «Jager og Leek baserte seg på rapporterte p-verdier og gjorde beregninger basert på forventede fordelinger av p-verdier når nullhypotesene er sanne eller usanne». Det er vel heller motsatt: Ioannidis baserer seg på data, mens Jager og Leek baserer seg en statistisk modell laget for genetiske analyser og en hypotetisk fordeling av observerte p-verdier.

Det er heller ikke riktig at de 77 430 publikasjonene i Jager og Leek stod i The Lancet, The Journal of the American Medical Association, The New England Journal of Medicine, BMJ og The American Journal of Epidemiology (Big Five). Bare 6,8% av artiklene stod i Big Five [1].

Problemet med falske positive funn må sees i sammenheng med at veldig mange funn ikke kan reproduseres. Andelen funn som kan reproduseres varier fra fagfelt til fagfelt. Spesielt innen laboratoriemedisin er det nesten umulig å reprodusere andre sin forskning. Amgen klarte f.eks. bare å reprodusere 6 av 53 viktige onkologiske funn [2]. Hvis man antar at alle 53 funnene i utgangspunktet ikke er sanne, så vil signifikanstesting gi at fem prosent (2,65) vil være signifikante ved tilfeldighet. Dermed er bare 3,35 av 53 funn (6 prosent) sanne. Disse «sanne funnene» kan også forklares med publikasjonsbias. Dermed er kanskje absolutt alt som publiseres i feltet bare falske positive funn.

Ioannidis sammenliknet 49 artikler som stod i Big Five med nyere studier med større data og bedre metoder [3]. Da fant han at 9 av 39 randomiserte studier (23%) ikke var reproduserbare eller klinisk signifikant i nyere studier. Enda verre er det hvis man ser på 6 meget høyt siterte kohortstudier. Fem av disse var falske positive (i betydning effekten er kraftig overdrevet eller ikke til stede). Hvis man også antar at bare rundt 77% av de randomiserte studiene som man sammenliknet med også er sanne, får man at bare 1/6 x 77% = 13% er studier som man kan stole på.

Ioannidis [4] har også gjort noen teoretiske beregninger på hvor mange publikasjoner som egentlig er falske positive, og konkluderte med at over halvparten er falske positive. Dette er standard referansen og brukes av nesten alle forskere [5] utenom noen få statistikere. Jager og Leek sitt tall på 14% falske positive funn er altfor lavt, og er ikke representativt for hverken randomiserte studier eller Big Five.

Referanser
1. Ioannidis JPA. Discussion: Why “An estimate of the science-wise false discovery rate and application to the top medical literature” is false. Biostatistics 2014; 15: 28-36.
2. Begley CG Ellis LM, Drug development: raise standards for preclinical cancer research. Nature 2012; 483: 531-533.
3. Ioannidis JPA. Contradicted and initially stronger effects in highly cited clinical research. JAMA 2005; 294: 2018-28.
4. Ioannidis JPA. "Why Most Published Research Findings Are False". PLOS Medicine 2005; 2: e124.
5. Unreliable research. How science goes wrong. Economist 2013; October 19th.

Published: 21.01.2022
Laget av Ramsalt med Ramsalt Media