Styrker og begrensninger
Vi har vurdert alle nasjonale faglige retningslinjer publisert eller oppdatert i perioden 2013–22, og vår studie gir et oppdatert bilde av den metodiske kvaliteten til disse produktene. Vi kjenner ikke til at det tidligere er gjort noen tilsvarende studie i Norge.
De nasjonale faglige retningslinjene inneholder ofte mange kapitler som kan være utarbeidet av ulike arbeidsgrupper og ha ulik dato for publikasjon/oppdatering. I noen tilfeller kan de også ha brukt ulike metoder i utarbeidingen av anbefalinger (12). Vi vurderte derfor at vi ikke med sikkerhet kunne gi én felles skår for hele retningslinjen uten å vurdere den metodiske kvaliteten i hvert kapittel for seg. Å vurdere hvert kapittel for seg var imidlertid for ressurskrevende, og vi valgte derfor å basere vår gjennomgang på ett tilfeldig utvalgt kapittel per retningslinje. Den tilfeldige trekningen av kapitlene skulle redusere faren for skjevhet i utvalget. De fleste nasjonale faglige retningslinjer har brukt samme metoder for å utarbeide ulike kapitler, gjenspeilet i ett felles metodekapittel for hele retningslinjen, men fordi vår vurdering var fokusert på ett kapittel kan vi ikke med sikkerhet si at skåringene er representative for retningslinjen som helhet.
Våre vurderinger er basert på det som er rapportert i det utvalgte kapittelet med tilhørende metodedel (12). Vi har ikke tatt kontakt med Helsedirektoratet eller representanter for arbeidsgruppene for å få tilgang på annet materiale. Vi mener det er rimelig å vurdere metodisk kvalitet basert på det som er tilgjengeliggjort, som er det samme grunnlaget brukere av retningslinjene har når de skal vurdere retningslinjenes troverdighet.
Det finnes ulike verktøy for å vurdere kvaliteten på retningslinjer (18–23), det mest brukte er The Appraisal of Guidelines for Research and Evaluation II tool (AGREE II) (23). AGREE II omhandler imidlertid ikke standardene for troverdige retningslinjer direkte (10). Vi brukte skåringsverktøyet NEATS fordi det er eksplisitt utviklet for å vurdere standardene for troverdige retningslinjer og er enklere og raskere å bruke enn AGREE II (15). De fleste domener i NEATS er modifikasjoner av elementer fra AGREE II, og det er derfor sannsynlig at en retningslinje som skårer lavt ved bruk av NEATS, også vil gjøre det ved bruk av AGREE II (15, 23).
To forfattere gjorde en uavhengig vurdering før de sammenliknet svarene og kom frem til konsensus. Det at kun to forfattere vurderte retningslinjene, kan gi en risiko for at vurderingene er strengere eller mindre strenge enn om flere personer hadde vært involvert i vurderingsarbeidet eller vurderingene hadde blitt kalibrert i et større team.
Overordnet samsvar for de uavhengige vurderingene var høy og tilsvarende det man fant ved utviklingen og testingen av skåringsverktøyet (15). To av domenene hadde et spesielt dårlig samsvar, «redegjørelse for fordeler og ulemper ved anbefalingene» og «spesifikk og utvetydig formulering av anbefalingene». Den ene forfatteren var strengere i sin vurdering av disse domenene enn den andre, men dette ble diskutert og justert for i konsensusprosessen, og vi mener at våre resultater basert på konsensussvar er rimelige også for disse domenene.
Vi har ikke vurdert kvaliteten på selve anbefalingene i de inkluderte retningslinjene. En slik vurdering krever at hele retningslinjearbeidet blir gjort på ny med standarder vi beskriver her (10, 11). Det er viktig å påpeke at selv om en retningslinje i liten grad overholder standarder for troverdige retningslinjer, kan den likevel gi gode anbefalinger for klinisk praksis.