Mangelfull rapportering av resultater fra registrerte studier om skulderplager
Påliteligheten av forskningsfunn kan svekkes på flere måter. Studier som har positive og statistisk signifikante funn og som underbygger forfatternes eller redaktørenes hypoteser, har større sannsynlighet for å bli publisert, såkalt publiseringsskjevhet (publication bias) (1, 2). Andre vanlige kilder til skjevhet er selektiv rapportering (ufullstendig rapportering av predefinerte kliniske utfallsmål) og endring av utfallsmål fra protokoll til publisert artikkel (3–6). Denne type uredelig forskningspraksis er overraskende vanlig og kan medføre overdrevne eller direkte feilaktige påstander om behandlingseffekter både i systematiske oversikter, i metaanalyser og i kliniske retningslinjer (7).
Forskeres plikt til å offentliggjøre resultatene fra humane kliniske forsøk er nedfelt både i lovs form og i etiske retningslinjer, bl.a. av Verdens helseorganisasjon (8). For å bøte på underrapportering og manglende transparens i medisinsk forskning ble det i USA i slutten av 1990-årene opprettet en database for obligatorisk registrering av kliniske humanstudier, ClinicalTrials.gov (CTG). Senere er flere tilsvarende registre blitt opprettet. De to største er ISRCTN (9), som kom i 2000, og The European Union Clinical Trials Register (EUCTR)/The European Clinical Trials Database (EUdraCT), som omfatter studier i EU-området (10), fra 2004. Fra 2007 har ClinicalTrials.gov krevd offentliggjøring av resultater i registeret senest 12 måneder etter sluttføring (primary completion), og EUdraCT stilte tilsvarende krav i 2012 (11, 12). Alle registrene gir fri tilgang til elektroniske søk.
Skulderplager er en av de vanligste årsakene til konsultasjoner for muskel- og skjelettplager, og både kirurgisk og konservativ behandling kan være aktuelt. Behandlingspraksis er likevel i liten grad evidensbasert, og publiserte studier kjennetegnes av flere typer skjevhet (bias) (13, 14). Jeg ønsket å kartlegge omfanget av registrerte intervensjonsstudier av skulderplager meldt til de tre nevnte studieregistrene, og hvilken andel av fullførte studier som hadde gjort resultatene offentlig tilgjengelig gjennom rapportering direkte til registeret og/eller i en fagfellevurdert publikasjon.
Kunnskapsgrunnlag
Med søkeordene «shoulder» i kombinasjon med «rotator cuff», «impingement», «arthritis», «osteoarthr*», «fracture», «labral», «dislocation» og «adhesive capsulitis» ble det søkt i studieregistrene ClinicalTrials.gov, EUdraCT og ISRCTN etter fullførte randomiserte og ikke-randomiserte fase 4-studier fra tidsrommet 1.1.2000–31.12.2018. På bakgrunn av kravet om rapportering av resultater til register innen 12 måneder etter avslutning, ble studier fullført senere enn 31.12.2018 ekskludert. Studier som omhandlet forebygging, diagnostikk og skuldersmerter sekundært til annen lidelse, ble også ekskludert. Søkene ble avsluttet 31.5.2020.
De aktuelle intervensjonene ble gruppert i fire grupper: 1 Kirurgi, 2 Fysikalsk behandling/trening (eventuelt i kombinasjon med annen konservativ behandling, inkludert medikamentell behandling), 3 Andre typer konservativ behandling og 4 Analgesi/anestesi. Studienes geografiske lokalisering (verdensdel), type skulderlidelse (adhesiv kapsulitt (frossen skulder), artrose/dislokasjon/fraktur, subakromiale smerter og uspesifiserte skuldersmerter), antall deltakere per studie (basert på innrapporterte data, eventuelt opplysninger i protokoll), studienes definerte start- og fullføringstidspunkt og finansieringstype («industri» versus «andre») ble registrert.
Det primære utfallsmålet var antall studier med opplysninger om resultater i form av registerdata og/eller publikasjon i et fagfellevurdert fagtidsskrift. Dersom registeret ikke hadde lenke til publisert artikkel, ble det søkt i PubMed etter potensielle artikler basert på oppgitt kontaktperson eller studieansvarlig, eventuelt i kombinasjon med nøkkelord fra registerets studiebeskrivelse, identifikasjonsnummer, rekrutteringsperiode og/eller antall forsøkspersoner – om nødvendig i fulltekst. Pearsons khikvadrattest, Kruskal-Wallis' test og oddsratio (OR) med 95 % konfidensinterfall (KI) ble brukt til subgruppeanalyser. Statistiske beregninger ble gjort i MedCalc, versjon 19.2.
Resultater
Gjennom søk i de tre registrene ble i alt 581 studier identifisert, hvorav 457 i ClinicalTrials.gov, 74 i ISRCTN og 50 i EUdraCT. Av disse ble 233 ekskludert i henhold til beskrevne kriterier (inkludert 49 studier fullført etter 1.1.2019). Av de gjenværende 348 studiene var 287 meldt til ClinicalTrials.gov, 45 til ISRCTN og 16 til EUdraCT (tabell 1). 170 studier var utført i Europa, 131 i Nord-Amerika, 68 i Asia og Midtøsten, 22 i Sør-Amerika og seks i mer enn én region. Det var 278 randomiserte og 70 ikke-randomiserte studier. Median antall deltakere per studie var 60 (interkvartilbredde 40–109). Diagnosene fordelte seg på adhesiv kapsulitt (n = 42), artrose/dislokasjon/fraktur (n = 116), subakromiale smerter (n = 324) og uspesifiserte skuldersmerter (n = 214).
Tabell 1
Oversikt over antall studier om behandling av skulderplager med rapporterte resultater i tidsrommet 1.1.2000–31.12.2018, antall deltakere og tid fra fullføring til resultater er offentliggjort i et register og/eller publisert i en artikkel.
Studieregister | Sum | ||||||
---|---|---|---|---|---|---|---|
Clinicaltrials.gov | ISRCTN | EUdraCT | |||||
Industrifinansierte studier (n) | 44 | 6 | 2 | 52 | |||
Studier med rapportert resultat, n (%) | 153 (53) | 22 (49) | 2 (13) | 177 (51) | |||
Data oppført i register, n (%) | 54 (19) | 1 (2) | 0 | 55 (16) | |||
Tid fra fullføring til data er oppført i register (median antall måneder, interkvartilbredde) | 24 (15–39) | 7 (-) | - | 24 (14–39) | |||
Publiserte data, n (%) | 127 (44) | 22 (49) | 2 (13) | 151 (43) | |||
Tid fra fullføring til data er publisert i artikkel (median antall måneder, interkvartilbredde) | 24 (16–35) | 33 (20–43) | 19 (-) | 25 (16–37) | |||
Deltakere totalt (n) | 25 134 | 5 057 | 1 833 | 32 024 | |||
Deltakere i studier uten rapporterte resultater | 11 287 | 2 032 | 1 698 | 15 017 |
For 171 (49 %) av de inkluderte studiene kunne man ikke spore resultater verken i register eller i publisert form (tabell 1). Av de tre registrene hadde EUdraCT høyest andel studier uten rapportert resultat (86 %). I alt 32 024 forsøkspersoner deltok i de inkluderte studiene, 15 017 (47 %) av disse i studier uten rapporterte resultater. Figur 1 viser antall studier med og uten rapporterte resultater fordelt på type intervensjon.

Median studievarighet var 21 måneder (interkvartilbredde 11–37). Av de 55 studiene (16 %) som hadde rapportert resultater til et register, gikk det median 24 måneder (14–39) fra fullføring, og kun syv studier rapporterte innen 12 måneder. 151 (43 %) studier var publisert, median 25 måneder etter fullføring (16–37). 29 (8 %) studier hadde både publisert og rapportert til register. Et Kaplan-Meier-plott framstiller kumulert andel av studier med sporbare resultater i henholdsvis register og publikasjon som en funksjon av tid siden fullføring (figur 2).

Ved analyse av andelen studier uten sporbare resultater i periodene 2000–04, 2005–09, 2010–14 og 2015–18 ble det funnet kun små tegn til bedring (Kruskal-Wallis' test, p = 0,44) (figur 3). For eksempel var 50 % av rapporterte studier fra 2005–09 og 53 % fra 2010–14 blitt publisert per 2020. De tilsvarende tallene for data til register var henholdsvis 8 % og 23 %.

Det var ingen statistisk signifikante forskjeller mellom randomiserte og ikke-randomiserte studier i andelen uten sporbare resultater (Pearsons khikvadrattest, p = 0,6), heller ikke mellom intervensjonsgruppene eller de fire diagnosegruppene (Kruskal-Wallis' test, henholdsvis p = 0,7 og 0,1). Andelen uten rapporterte resultater var kun ikke-signifikant høyere i studier med færre enn median 60 deltakere sammenliknet med større studier (OR 1,2; 95 % KI 0,76–1,78, p = 0,5). 52 av 348 (15 %) studier var industrifinansierte. Av disse var andelen uten publiserte resultater 60 %, mot 47 % i øvrige studier (1,7; 0,90–3,00, p = 0,1).
Diskusjon
Nesten halvparten av i alt 348 studier av skulderintervensjoner som var fullført minst ett år før søket, hadde ingen sporbare opplysninger om resultater, verken i studieregistre eller fagfellevurderte tidsskrifter. Dette innebærer at over 15 000 forsøkspersoner fram til januar 2019 deltok i skulderstudier uten å ha fått kjennskap til utfallet. Fraværet av resultater var i liten grad påvirket av type intervensjon, studiedesign eller størrelse, og det var ikke holdepunkt for en bedring av praksis over tid.
Det kan innvendes at resultatene i denne studien ikke nødvendigvis kan generaliseres til øvrige typer muskel- og skjelettplager. Imidlertid er dårlig rapporteringspraksis beskrevet i studier av leddlidelser (15), rygglidelser (16) og ortopediske traumer (17, 18), men også innen humanklinisk forskning mer generelt (se tabell i Appendiks for noen utvalgte oversiktsartikler).
Andelen publiserte vitenskapelige studier med positive resultater har ifølge en analyse økt fra 70 % til 86 % i årene 1990–2007, og trenden har vært særlig uttalt innen klinisk medisin og farmakologi (19). Overvekt av publiserte studier med positive funn er beskrevet selv i tidsskrifter med høy impaktfaktor (20). Resultater i originalstudier lar seg ofte ikke replikere i senere tilsvarende studier (21). Betydningen av kommersiell finansiering for rapporteringspraksis er kontroversiell (5), (22–24). I de inkluderte studiene hadde de med kommersiell finansiering 13 prosentpoeng lavere rapporteringsgrad enn de øvrige, men grunnet få studier var forskjellen ikke statistisk signifikant.
Flertallet av de registrerte studiene var små, med median 60 deltakere per studie, og kun tre studier hadde mer enn 500 deltakere. En lavere publikasjonsgrad av små studier er tidligere beskrevet (24). Det kunne tenkes at den lave publiseringsgraden i dette materialet er en konsekvens av at små studier oftere blir refusert enn store studier, men noen signifikant assosiasjon med studiestørrelse kunne ikke påvises verken med tanke på publisering eller rapportering til register. Det ble heller ikke funnet at studiedesign påvirket rapporteringen, men andre har beskrevet høyere publikasjonsgrad i randomiserte studier (22).
Tiltak for å bedre rapportering
Årsaken til at såpass mange studier aldri blir publisert, er sammensatt. En del påbegynte studier, ikke minst innen kirurgi, blir aldri fullført, ofte grunnet problemer med rekruttering (25). Øvrige finansielle og logistiske begrensninger kan vanskeliggjøre veien mot publisering, hindringer som akademiske og kommersielle forskningsinstitusjoner med større ressurser i ryggen har bedre forutsetninger for å håndtere (5, 23).
En nullvisjon for manglende publisering er ikke realistisk. Rapportering til studieregistre sikrer imidlertid tilgang til resultater uavhengig av aksept fra fagfellevurderte tidsskrifter. Disse representerer dermed en lavterskelkanal for offentliggjøring av resultater fra studier som ikke passerer nåløyet for publisering. Selv om registerdata kan ha variabel kvalitet, er opplysningene her ofte mer fullstendige enn det som rapporteres når studien blir publisert, både med hensyn til effekter og uønskede hendelser (26). Registerdata fungerer dermed både som et supplement og et korrektiv til selektiv rapportering.
Kravene til rapportering er skjerpet de senere år, i stor grad som følge av press fra pasientorganisasjoner og forskningsmiljø. Den internasjonale komiteen av redaktører i medisinske tidsskrifter (ICMJE) satte fra 2005 som forutsetning for publisering at det forelå en registerindeksert studieprotokoll før oppstart av studien. Selv om de fleste tidsskrifter, inkludert Tidsskrift for Den norske legeforening, har sluttet seg til dette kravet, er etterlevelsen fortsatt dårlig, selv i tidsskrifter med høy impaktfaktor (5).
ClinicalTrials.gov og EUdraCT, med støtte av helsemyndigheter, har åpnet for sanksjoner mot forskere og institusjoner som ikke oppfyller kravene om transparens. I januar 2020 vedtok EU-domstolen, til tross for protester fra farmasøytisk industri, å gi forskere og helsemyndigheter i EU tilgang til det European Medicines Agency-eide Clinical Study Reports (CSR), der det gis detaljerte opplysninger om design, analyse og funn i kliniske studier (27). I Danmark er det, anført av Legemiddelverket, gitt lovhjemmel til å straffe studiesponsorer som unnlater å rapportere studieresultater til EUdraCT (28). En føderal domstol i USA har nylig pålagt alle studiesponsorer å offentliggjøre resultater fra fullførte studier meldt til ClinicalTrials.gov fram til 2017, med dagsbøter ved manglende rapportering (29).
AllTrials-kampanjen arbeider for at både tidligere, pågående og framtidige studier skal rapporteres. I dette internasjonale initiativet oppfordres universiteter, etiske komiteer og medisinske institusjoner til å arbeide for at deres medlemmer skal innrette seg etter kravene om transparens. Også sentrale institusjoner i norsk forskning har sluttet seg til kampanjen. I 2018 lanserte AllTrials et sporingsverktøy for å flagge hvilke sponsorer som unnlater å offentliggjøre resultater, både fra allerede utførte og fra framtidige studier (30). Dette har vist seg å ha effekt, først og fremst ved akademiske institusjoner. For eksempel kom det nylig inn dobbelt så mange resultater til EUdraCT fra tyske universiteter i løpet av seks måneder som de foregående seks årene (31).
I retningslinjer fra de norske forskningsetiske komiteene poengteres det at «forskningsresultater som hovedregel skal tilgjengeliggjøres», og at «forskere har et selvstendig ansvar for at forskningen vil kunne komme forskningsdeltakere, relevante grupper eller samfunnet til gode (…)» (32). Imidlertid er det per i dag ingen instanser som påser at resultatene faktisk blir gjort offentlig tilgjengelig, og å unnlate å gjøre det får heller ingen praktiske konsekvenser.
De forskningsetiske komiteene bør ikke begrense seg til kun å godkjenne protokoll, men også påta seg ansvaret for at resultatene blir tilgjengeliggjort. For eksempel kunne samtlige studier godkjent av regional etisk komité sendes til et sentralt arkiv som oppretter automatiserte varslinger om overskridelse av tidsfrister til de ansvarlige forskerne, studiesponsorene og helsemyndighetene.
Styrker og svakheter
En styrke ved studien er at den i tillegg til ClinicalTrials.gov inkluderte to andre registre. Mulige feilkilder er at publiserte studier kan ha blitt oversett ved at litteratursøket var begrenset til PubMed, og at kun én person sto for søk og analyse. Det ble ikke forsøkt å innhente manglende resultater fra studienes oppgitte kontaktperson. Studier uten opplysninger om kontaktperson (principal investigator) var det ikke mulig å oppspore.
Konklusjon
Den høye andelen av studier om behandling av skulderplager der resultater verken er rapportert til studieregistre eller publisert, reflekterer en overordnet systemisk svikt i tilgjengeliggjøring og formidling av funn fra humane kliniske studier. Når forsøkspersoner samtykker i å delta i en intervensjonsstudie, bygger dette på en forventning om at resultatene vil bli tilgjengeliggjort, uansett utfall, slik at deres deltakelse kan bidra til å styrke kunnskapsgrunnlaget. Uten slik åpenhet om utfall vil forsøkspersoner kunne utsettes for risiko uten å høste noen fordeler. Manglende rapportering om utfall er derfor etisk sett uakseptabelt. Det gir også risiko for en fiktiv overrepresentasjon av studier med «positive» resultater og at bivirkninger og uønskede hendelser ikke blir erkjent. Manglende transparens om utfallet i fullførte studier kan føre til sløsing med knappe forskningsmidler som følge av at unødvendige og overtallige studier blir igangsatt.
Det bør være en prioritert oppgave for helsemyndigheter, forskningsinstitusjoner og tidsskriftredaktører å påse at de som initierer, finansierer og gjennomfører kliniske studier også sørger for betimelig offentliggjøring av resultater, med rapportering til et studieregister som minstekrav.
Takk til Knut Arne Holtedahl for nyttige kommentarer.
Artikkelen er fagfellevurdert.
Hovedfunn
Av 348 studier om behandling av skulderplager som var meldt til et studieregister i perioden januar 2000–desember 2018, unnlot 49 % å rapportere sine resultater til registeret eller til et fagfellevurdert tidsskrift.
Manglende rapportering hadde liten sammenheng med arten av intervensjon, studiens design eller størrelse, eller hvordan studien var finansiert.
Tross skjerpede krav om rapportering kunne det ikke påvises bedret rapporteringspraksis i løpet av studieperioden.
- 1.
Hopewell S, Loudon K, Clarke MJ et al. Publication bias in clinical trials due to statistical significance or direction of trial results. Cochrane Database Syst Rev 2009; nr. 1: MR000006. [PubMed][CrossRef]
- 2.
Song F, Parekh S, Hooper L et al. Dissemination and publication of research findings: an updated review of related biases. Health Technol Assess 2010; 14. doi: 10.3310/hta14080. [PubMed][CrossRef]
- 3.
Killeen S, Sourallous P, Hunter IA et al. Registration rates, adequacy of registration, and a comparison of registered and published primary outcomes in randomized controlled trials published in surgery journals. Ann Surg 2014; 259: 193–6. [PubMed][CrossRef]
- 4.
Chan AW, Hróbjartsson A, Haahr MT et al. Empirical evidence for selective reporting of outcomes in randomized trials: comparison of protocols to published articles. JAMA 2004; 291: 2457–65. [PubMed][CrossRef]
- 5.
Gopal AD, Wallach JD, Aminawung JA et al. Adherence to the International Committee of Medical Journal Editors' (ICMJE) prospective registration policy and implications for outcome integrity: a cross-sectional analysis of trials published in high-impact specialty society journals. Trials 2018; 19: 448. [PubMed][CrossRef]
- 6.
Dwan K, Altman DG, Clarke M et al. Evidence for the selective reporting of analyses and discrepancies in clinical trials: a systematic review of cohort studies of clinical trials. PLoS Med 2014; 11: e1001666. [PubMed][CrossRef]
- 7.
Doshi P, Dickersin K, Healy D et al. Restoring invisible and abandoned trials: a call for people to publish the findings. BMJ 2013; 346: f2865. [PubMed][CrossRef]
- 8.
World Health Organization. Joint statement on public disclosure of results from clinical trials. https://www.who.int/ictrp/results/jointstatement/en/ Lest 26.8.2020.
- 9.
ISRCTN registry. http://www.isrctn.com Lest 26.8.2020.
- 10.
EU Clinical Trials Register. https://www.clinicaltrialsregister.eu Lest 26.8.2020.
- 11.
Zarin DA, Tse T, Williams RJ et al. The ClinicalTrials.gov results database–update and key issues. N Engl J Med 2011; 364: 852–60. [PubMed][CrossRef]
- 12.
Goldacre B, DeVito NJ, Heneghan C et al. Compliance with requirement to report results on the EU Clinical Trials Register: cohort study and web resource. BMJ 2018; 362: k3218. [PubMed][CrossRef]
- 13.
Verhagen AP, Bierma-Zeinstra SMA, Burdorf A et al. Conservative interventions for treating work-related complaints of the arm, neck or shoulder in adults. Cochrane Database Syst Rev 2013; 2013: CD008742. [PubMed][CrossRef]
- 14.
Seida JC, LeBlanc C, Schouten JR et al. Systematic review: nonoperative and operative treatments for rotator cuff tears. Ann Intern Med 2010; 153: 246–55. [PubMed][CrossRef]
- 15.
Smith HN, Bhandari M, Mahomed NN et al. Comparison of arthroplasty trial publications after registration in ClinicalTrials.gov. J Arthroplasty 2012; 27: 1283–8. [PubMed][CrossRef]
- 16.
Ohnmeiss DD. The fate of prospective spine studies registered on www.ClinicalTrials.gov. Spine J 2015; 15: 487–91. [PubMed][CrossRef]
- 17.
Gandhi R, Jan M, Smith HN et al. Comparison of published orthopaedic trauma trials following registration in Clinicaltrials.gov. BMC Musculoskelet Disord 2011; 12: 278. [PubMed][CrossRef]
- 18.
Chahal J, Tomescu SS, Ravi B et al. Publication of sports medicine-related randomized controlled trials registered in ClinicalTrials.gov. Am J Sports Med 2012; 40: 1970–7. [PubMed][CrossRef]
- 19.
Fanelli D. Negative results are disappearing from most disciplines and countries. Scientometrics 2012; 90: 891–904. [CrossRef]
- 20.
Kanaan Z, Galandiuk S, Abby M et al. The value of lesser-impact-factor surgical journals as a source of negative and inconclusive outcomes reporting. Ann Surg 2011; 253: 619–23. [PubMed][CrossRef]
- 21.
Ioannidis JPA. Contradicted and initially stronger effects in highly cited clinical research. JAMA 2005; 294: 218–28. [PubMed][CrossRef]
- 22.
Shamliyan TA, Kane RL. Availability of results from clinical research: failing policy efforts. J Epidemiol Glob Health 2014; 4: 1–12. [PubMed][CrossRef]
- 23.
DeVito NJ, Bacon S, Goldacre B. Compliance with legal requirement to report clinical trial results on ClinicalTrials.gov: a cohort study. Lancet 2020; 395: 361–9. [PubMed][CrossRef]
- 24.
Saito H, Gill CJ. How frequently do the results from completed US clinical trials enter the public domain?–A statistical analysis of the ClinicalTrials.gov database. PLoS One 2014; 9: e101826. [PubMed][CrossRef]
- 25.
Chapman SJ, Shelton B, Mahmood H et al. Discontinuation and non-publication of surgical randomised controlled trials: observational study. BMJ 2014; 349: g6870. [PubMed][CrossRef]
- 26.
Riveros C, Dechartres A, Perrodeau E et al. Timing and completeness of trial results posted at ClinicalTrials.gov and published in journals. PLoS Med 2013; 10: e1001566–, discussion e1001566. [PubMed][CrossRef]
- 27.
TranspariMed. Victory for medical transparency: Europe upholds access to Clinical Study Reports. https://www.transparimed.org/single-post/2020/01/22/Court-of-Justice-Clinical-Study-Reports Lest 2.6.2020.
- 28.
TranspariMed. Denmark to introduce sanctions for non-reporting of clinical trial results. https://www.transparimed.org/single-post/2020/03/10/Denmark-EudraCT-clinical-trial-regulation Lest 2.6.2020.
- 29.
TranspariMed. Federal court rules that U.S. institutions must make clinical trial results public. https://www.transparimed.org/single-post/2020/02/26/FDAAA-clinical-trial-applicability-fines Lest 2.6.2020.
- 30.
FDAAA Trials Tracker. https://fdaaa.trialstracker.net/ Lest 2.6.2020.
- 31.
TranspariMed. German universities report record number of clinical trial results. https://www.transparimed.org/single-post/2020/05/22/Germany-clinical-trials-research-waste Lest 2.6.2020.
- 32.
De nasjonale forskningsetiske komiteene. Generelle forskningsetiske retningslinjer. https://www.etikkom.no/forskningsetiske-retningslinjer/Generelle-forskningsetiske-retningslinjer/ Lest 2.6.2020.