BACKGROUND
The citation frequency of a publication is often interpreted as an expression of its scientific impact. Previous citation analyses of Norwegian medical research have either focused on universities and university hospitals or on subject areas at the national level. Such analyses have paid little attention to other health enterprises, despite a strong increase in their research activity during the last decade.
MATERIAL AND METHOD
For all health enterprises with more than 25 publications in the Web of Science during the period 2005 – 2011 we have calculated field normalized citation indexes at the institution and subject levels.
RESULTS
On the whole, research undertaken by the health enterprises is frequently cited, and some medium-sized health enterprises stand out in terms of their high average citation indexes: Helse Stavanger Health Enterprise, Diakonhjemmet Hospital and Helse Nord-Trøndelag Health Enterprise, although Oslo University Hospital Health Enterprise and Helse Bergen Health Enterprise account for more than half of the most cited articles.
INTERPRETATION
In citation analyses at the aggregated level, highly and infrequently cited research groups/departments may balance each other. This appears to be the case in the largest health enterprises. Some medium-sized health enterprises that have a more concentrated research portfolio will thus accumulate higher average citation indexes than the largest university hospitals.
HOVEDBUDSKAP
Gjennomsnittlig mest sitert ved norske helseforetak er forskningen ved Helse Stavanger og Diakonhjemmet sykehus
De høyeste siteringsindeksene har helseforetakene som konsentrerer sin forskning om noen få tematiske satsingsområder
Oslo Universitetssykehus og Helse Bergen har størst antall høyt siterte artikler
Et kjennetegn ved den vitenskapelige publikasjonen er at den inneholder referanser til tidligere vitenskapelig litteratur. Disse referansene viser hvilke metoder, teorier, empiriske funn etc. som den aktuelle publikasjonen er basert på og som den posisjoneres i forhold til. Det er vanlig å anta at artikler blir mer eller mindre sitert ut fra hvor stor eller liten innflytelse de får på videre forskning (1, 2). På bakgrunn av dette blir siteringer ofte benyttet som indikator på vitenskapelig innflytelse (impact) og dermed som et mål på kvalitet.
I denne artikkelen presenteres den første siteringsanalysen som er gjennomført for alle norske helseforetak. Tidligere siteringsanalyser i Norge har hovedsakelig sett på medisin på nasjonalt nivå eller på universiteter/utvalgte universitetssykehus. Formålet med denne studien er å studere forskjeller i gjennomsnittlig siteringshyppighet mellom helseforetak og forskjeller i antall særskilt høyt siterte artikler. Er det slik at de store universitetssykehusene blir mest sitert, altså at gjennomsnittlig siteringshyppighet øker med institusjonsstørrelse? Eller vil siteringshyppigheten være mer påvirket av sammensetningen mellom høyt og lavt siterte forskergrupper i en institusjon?
Materiale og metode
Vi har analysert alle originalartikler og oversiktsartikler med minst én forfatteradresse fra et norsk helseforetak publisert i perioden 2005 – 11 og indeksert i Thomson Reuters database Web of Science (ca. 12 000 tidsskrifter). Hvert år leser Nordisk institutt for studier av innovasjon, forskning og utdanning manuelt alle forfatteradresser fra Norge i Web of Science fra foregående år (ca. 30 000 per år) og koder dem til riktig institusjon. Doble adresser (eks: Univ Oslo, Dept Pediat, Oslo Univ Hosp) kodes både for universitet og sykehus.
Alle institusjoner som bidrar til en publikasjon, får like stor uttelling (til forskjell fra ved fraksjonalisering der hver institusjon krediteres for sin andel av en artikkel (hvis to institusjoner skriver en artikkel sammen krediteres de 0,5 artikler hver)). Vi ønske å vurdere hvor mange siteringer et helseforetak har fått, i mindre grad hvor stor andel av publikasjonene de ulike institusjonene har bidratt med.
Inndelingen av publikasjoner i fagfelt er gjort etter et klassifiseringssystem utviklet av Centre for Science and Technology Studies ved Universitetet i Leiden, som er Europas ledende miljø for bibliometriske studier. En publikasjon tilordnes det faget som tidsskriftet den er publisert i er klassifisert under. Ettersom mange tidsskrifter er tildelt mer enn ett fagområde, bruker vi den gjennomsnittlige siteringshyppigheten til de respektive fagområdene som basis for å kalkulere siteringsindekser for tidsskrifter med en bredere fagprofil.
Analysen av siteringer er basert på rådata fra Thomson Reuters og Centre for Science and Technology Studies. I beregningen av siteringsindekser har vi tildelt hver publikasjon det antallet siteringer som den har fått fra og med det året den ble publisert til og med 2012. Det er vanlig å bruke fagfeltjusterte skalaer (relative siteringsindekser) i konstruksjonen av siteringsindikatorer, bl.a. for å korrigere for forskjellene i gjennomsnittlig siteringshyppighet mellom fagfelt (3). Siteringsfrekvenser er dessuten skjevfordelt. Den store majoriteten av artikler blir aldri eller sjelden sitert, mens noen få artikler blir ekstremt mye sitert (4). Vi har sammenliknet artiklenes siteringstall med årlige internasjonale gjennomsnitt for de fagfeltene som artiklene er klassifisert i. De internasjonale gjennomsnittene vi har brukt er basert på samtlige publikasjoner indeksert i Web of Science i perioden 2005 – 11 (ca. 10 millioner artikler).
Vi har beregnet relative siteringsindekser, der en indeks på 1 representerer verdensgjennomsnittet. En indeks på 1,1 vil si at publikasjonene ble 10 % mer sitert enn det som er gjennomsnittet på verdensbasis. På denne måten har vi konstruert en indikator som tar hensyn til den relative publiseringen i ulike tidsskrifter per år. Følgende eksempel illustrerer dette: Et helseforetak har publisert en artikkel i et tidsskrift i 2007. Denne artikkelen er sitert 18 ganger, mens verdensgjennomsnittet for antall siteringer innen fagområdet som tidsskriftet er klassifisert under, var 13 for artikler fra samme år. Denne artikkelens siteringsindeks blir dermed 18/13 = 1,38. Det betyr at artikkelen er sitert 38 % mer enn verdensgjennomsnittet. Gjennomsnittet for norsk forskning totalt ligger på 1,2 – 1,3 i perioden (5).
Siteringsindeksene er beregnet for hver artikkel separat og er grunnlaget for den gjennomsnittlige normaliserte siteringsindeksen (6). Den vil dermed også være størrelsesuavhengig, siden den er et uttrykk for hvor mye «gjennomsnittspublikasjonen» er sitert. Vi viser i tillegg antall høyt siterte artikler, dvs. artikler som er blant de 10 % mest siterte artiklene på verdensbasis innenfor samme fagområde.
Foruten å vise siteringsindeks for alle artikler totalt, viser vi en indikator for originalartikler med førsteforfatter fra helseforetaket. Dette indikerer om helseforetaket er hovedbidragsyter. Det vil si at vi blant annet har fjernet alle oversiktsartikler, som vanligvis blir mye sitert.
Metodene vi har brukt er vanlig å benytte i tilsvarende bibliometriske analyser internasjonalt. Blant annet lå de til grunn for Norges forskningsråds evaluering av biologi, medisin og helsefag i 2011 (7). Vi viser kun siteringsindekser for helseforetak med mer enn 25 publikasjoner. Dette skyldes at siteringer har større begrensninger som indikator når artikkeltallet er lavt.
Resultater
Av totalt 59 018 original- og oversiktsartikler med norske forfatteradresser indeksert i Web of Science i perioden 2005 – 11 har 13 843 bidragsytere fra et norsk helseforetak. Alle regionale helseforetak har siteringsindekser godt over verdensgjennomsnittet (tab 1). Helse Stavanger har den høyeste gjennomsnittlige siteringsindeksen i perioden 2005 – 11 (2,24), etterfulgt av Diakonhjemmet Sykehus og Helse Nord-Trøndelag (begge 2,21) (tab 2). Deres siteringsindekser er langt over nestemann på listen, Oslo universitetssykehus (1,55). Det er altså ingen signifikant sammenheng mellom sykehusstørrelse og siteringsindeks. Det er fortsatt slik at Helse Stavanger og Diakonhjemmet Sykehus har de høyeste siteringsindeksene når vi kun ser på originalartikler der helseforetakene bidrar med førsteforfatter, men avstanden ned til de andre helseforetakene er redusert.
Tabell 1
Siteringsindeks for de regionale helseforetakene
Regionalt helseforetak |
Siteringsindeks |
Antall (N) |
Helse Vest |
1,55 |
3 507 |
Helse Sør-Øst |
1,54 |
8 815 |
Helse Midt-Norge |
1,48 |
1 784 |
Helse Nord |
1,33 |
1 361 |
Totalt |
1,51 |
13 843 |
Tabell 2
Siteringsindeks for alle artikler, originalartikler med førsteforfatter og antall høyt siterte artikler
Alle artikler |
Originalartikler med førsteforfatter |
Høyt siterte artikler |
||||||
|
Antall |
Siteringsindeks |
Antall |
Siteringsindeks |
Antall |
Prosent av alle artikler |
||
Oslo Universitetssykehus |
7 628 |
1,55 |
3 050 |
1,08 |
628 |
8,2 |
||
Helse Bergen |
2 800 |
1,38 |
816 |
1,01 |
218 |
7,8 |
||
St. Olavs hospital |
1 635 |
1,45 |
501 |
1 |
134 |
8,2 |
||
Universitetssykehuset Nord-Norge |
1 185 |
1,38 |
427 |
1,3 |
90 |
7,6 |
||
Helse Stavanger |
738 |
2,24 |
336 |
1,46 |
100 |
13,6 |
||
Akershus universitetssykehus |
523 |
1,38 |
111 |
1,05 |
42 |
8 |
||
Diakonhjemmet Sykehus |
445 |
2,21 |
149 |
1,47 |
48 |
10,8 |
||
Sørlandet Sykehus |
291 |
1,25 |
112 |
0,82 |
18 |
6,2 |
||
Vestre Viken |
265 |
1,37 |
60 |
1,17 |
30 |
11,3 |
||
Sykehuset Innlandet |
214 |
1,2 |
73 |
0,99 |
14 |
6,5 |
||
Nordlandssykehuset |
204 |
0,97 |
94 |
0,64 |
11 |
5,4 |
||
Sykehuset Vestfold |
174 |
1,26 |
72 |
1,12 |
12 |
6,9 |
||
Sykehuset Telemark |
142 |
1,16 |
48 |
0,83 |
9 |
6,3 |
||
Sykehuset Østfold |
134 |
1,3 |
48 |
1,32 |
6 |
4,5 |
||
Helse Nord-Trøndelag |
106 |
2,21 |
30 |
1,19 |
15 |
14,2 |
||
Helse Møre og Romsdal |
94 |
1,39 |
29 |
0,43 |
9 |
9,6 |
||
Lovisenberg Diakonale Sykehus |
90 |
1,1 |
32 |
0,6 |
6 |
6,7 |
||
Sunnaas sykehus |
81 |
1,1 |
30 |
1,14 |
5 |
6,2 |
||
Haraldsplass Diakonale Sykehus |
72 |
1,34 |
15 |
1,11 |
4 |
5,6 |
||
Helse Fonna |
71 |
1,35 |
31 |
0,92 |
6 |
8,5 |
||
Helse Førde |
59 |
1,47 |
16 |
0,6 |
7 |
11,9 |
||
Modum Bad |
48 |
0,69 |
31 |
0,67 |
0 |
0 |
||
Psykiatrien i Vestfold |
35 |
0,96 |
19 |
0,91 |
1 |
2,9 |
||
Helse Finnmark |
34 |
0,83 |
25 |
0,98 |
0 |
0 |
||
Revmatismesykehuset |
30 |
1,13 |
7 |
0,64 |
1 |
3,3 |
||
Martina Hansens Hospital |
28 |
1,46 |
10 |
1,79 |
4 |
14,3 |
I den målte perioden er den mest siterte originalartikkelen med førsteforfatter fra et helseforetak Homocysteine lowering and cardiovascular events after acute myocardial infarction (8) publisert i New England Journal of Medicine i 2006. Denne var forfattet av Universitetet i Tromsø, med bidrag fra Universitetet i Bergen, Nasjonalt folkehelseinstitutt, Universitetssykehuset Nord-Norge og Helse Bergen. Artikkelen er sitert 674 ganger, med en siteringsindeks på 47,93. Dette er for øvrig den mest siterte originalartikkelen med norsk førsteforfatter av alle publikasjoner fra Norge i 2005 – 11 uansett fag.
Helse Stavanger skiller seg særlig ut på høye siteringsindekser innen hjertemedisinsk forskning (indeks 4,50; 86 artikler), klinisk nevrologi (indeks 3,11; 127 artikler) og kirurgi (indeks 2,35; 73 artikler). Det er også innenfor disse fagene vi finner nesten alle høyt siterte artikler fra foretaket. For Diakonhjemmet Sykehus er det revmatologi (indeks 3,10; 202 artikler) og psykiatri (indeks 1,42; 72 artikler) som trekker opp gjennomsnittet. 32 av 48 høyt siterte artikler fra dette sykehuset er innen revmatologi.
Helseforetakene har i ulik grad konsentrert sin forskning om utvalgte fag. Ved Helse Stavanger utgjør de fire største fagfeltene (klinisk nevrologi, psykiatri, hjertemedisinsk forskning og kirurgi) alene 51,7 % av totalt antall publikasjoner. Tilsvarende tall for de fire største fagfeltene ved universitetssykehusene er 33,5 % for Oslo universitetssykehus, 38,7 % for Helse Bergen, 41,6 % for St. Olavs hospital og 30,8 % for Universitetssykehuset Nord-Norge. Ved Diakonhjemmet Sykehus utgjør revmatologi og psykiatri alene 61,6 % av alle publikasjoner.
I tabell 3 viser vi hvilke internasjonale medforfatterskap universitetssykehusene samt de to andre høyest siterte helseforetakene (Diakonhjemmet og Helse Nord-Trøndelag) har. Artikler med internasjonalt medforfatterskap er generelt høyere sitert enn artikler med rent nasjonalt forfatterskap (9). Helse Stavanger og Diakonhjemmet Sykehus skiller seg ut ved at hhv. 49,9 % og 48,5 % av deres publikasjoner har internasjonalt medforfatterskap. Disse har i tillegg et sterkere innslag av medforfattere fra tunge forskningsnasjoner som USA, Storbritannia, Nederland og Tyskland i forhold til øvrige helseforetak.
Tabell 3
Publikasjoner med internasjonalt medforfatterskap for utvalgte helseforetak, totalt og for utvalgte land (nordiske og høyt siterte). Tall i prosent
|
Totalt |
USA |
Sverige |
Storbritannia |
Danmark |
Nederland |
Tyskland |
Finland |
Sveits |
Island |
Helse Stavanger |
49,9 |
17,6 |
10,8 |
14,6 |
8,7 |
12,1 |
9,2 |
3,9 |
2,2 |
0,3 |
Diakonhjemmet Sykehus |
48,5 |
17,1 |
15,7 |
16,6 |
13,0 |
20,4 |
11,2 |
4,7 |
4,5 |
2,0 |
Oslo universitetssykehus |
45,6 |
16,6 |
13,5 |
9,3 |
9,7 |
6,2 |
7,6 |
5,0 |
2,9 |
1,1 |
Helse Bergen |
41,6 |
12,8 |
15,7 |
12,0 |
13,0 |
6,2 |
8,1 |
4,7 |
2,5 |
2,0 |
Universitetssykehuset Nord-Norge |
38,7 |
10,1 |
10,7 |
5,5 |
7,3 |
3,3 |
4,4 |
4,4 |
2,1 |
0,6 |
St. Olavs hospital |
37,6 |
10,9 |
12,5 |
6,3 |
6,9 |
3,5 |
5,2 |
2,6 |
2,0 |
0,9 |
Helse Nord-Trøndelag |
36,8 |
4,9 |
9,3 |
8,7 |
2,7 |
4,9 |
3,3 |
3,3 |
1,6 |
1,6 |
Akershus universitetssykehus |
32,3 |
10,7 |
9,0 |
4,6 |
4,8 |
2,7 |
2,1 |
2,9 |
0,6 |
0,0 |
Fortolkning
Tre helseforetak skiller seg ut i siteringshyppighet i perioden 2005 – 11: Helse Stavanger, som er høyest sitert i utvalget av norske helseforetak, Diakonhjemmet Sykehus og Helse Nord-Trøndelag. Det andre vesentlige funnet i artikkelen er mangelen på sammenheng mellom en forskningsinstitusjons størrelse og dets siteringsindeks. Oslo universitetssykehus og Helse Bergen dominerer imidlertid stort med hensyn til antall høyt siterte artikler.
Vår undersøkelse baserer seg på et stort datamateriale: samtlige norske publikasjoner indeksert i Web of Science. Fra de regionale helseforetakenes årlige rapportering av publikasjoner til Helse- og omsorgsdepartementet vet vi at ca. 95 % av publikasjonene er indeksert i Web of Science (resten er primært i norskspråklige profesjonstidsskrifter). Således er datamaterialet nær komplett med hensyn til helseforetakenes forskning.
Et problem i denne type analyse er at noen prestisjefulle generelle medisinske tidsskrifter ikke lar seg gruppere på fagområder, men havner i kategorien «generell medisin». Mye av den ypperste forskningen blir presentert i disse tidsskriftene. Dermed får eksempelvis ikke et helseforetak en kreftrelatert artikkel i New England Journal of Medicine med i sin siteringsindeks for onkologi (der den sannsynligvis ville bidratt til å øke siteringsindeksen). Isteden havner den i kategorien «generell medisin», som består av mange høyt siterte artikler, og kommer derfor ut med en lavere siteringsindeks. Dette problemet berører først og fremst Oslo universitetssykehus, som har mange artikler av denne typen. Disse artiklene bidrar positivt inn på foretakets overordnede siteringsindeks, men på fagområdenivå blir noe av den fremste forskningen skjult.
Som for alle andre siteringsanalyser er det nødvendig med noen metodologiske presiseringer. Siteringer er ofte brukt som et uttrykk for kvalitet, men i dag er det enighet om at innflytelse (impact) er en mer korrekt måte å fortolke siteringer på (2). Kvalitet kan vurderes ut fra om forskningen er gjennomført på en god vitenskapelig måte, hvor originale konklusjonene er osv. Siteringer, derimot, sier noe om i hvilken grad dette arbeidet faktisk blir brukt av andre. Bibliometriske analyser kan dermed ikke fungere som et substitutt til fagfellevurderinger. Det er like fullt gjennomført flere studier der man sammenlikner siteringer med fagfellevurderinger. Her betraktes fagfellevurderingene som en form for standard som siteringene skal valideres opp imot. Hovedinntrykket er et positivt samsvar, selv om de identifiserte korrelasjonene langt fra er perfekte og varierer mellom studiene (10, 11). Antall siteringer en artikkel oppnår vil også være influert av faktorer som ikke nødvendigvis er knyttet til dens vitenskapelige bidrag, slik som selvsiteringer. Videre blir mange oversiktsartikler høyt sitert, uten at man krediterer originalarbeidene som disse er basert på.
Det er tidligere veldokumentert at norsk medisinsk forskning blir sitert over verdensgjennomsnittet, i likhet med norsk forskning samlet sett (9). Bibliometriske data kan i liten grad forklare hvorfor et forskningsmiljø faktisk blir mye sitert. I Helse Nord-Trøndelags tilfelle synes fellesnevneren for de mest siterte artiklene å være at de er basert på data fra Helseundersøkelsen i Nord-Trøndelag (HUNT). Tilsvarende ser vi at artikler fra Universitetssykehuset Nord-Norge som er basert på data fra Tromsø-undersøkelsen, er mye siterte. Dette er et positivt funn sett med norske øyne: Vi har helseundersøkelser som er unike i en internasjonal kontekst. Ved Helse Nord-Trøndelag er det flest publikasjoner med høye siteringsindekser innen psykiatri (26) og samfunnsmedisin (12), men også fire svært høyt siterte artikler innen genetikk trekker det samlede gjennomsnittet opp. Ettersom det totale antallet artikler fra Helse Nord-Trøndelag er forholdsvis lavt (N = 106), gjør disse mye for den gjennomsnittlige siteringsindeksen.
Vi har likevel en del informasjon som gir oss mulighet til å legge frem noen mer generelle hypoteser. Den første mulige forklaringen har vi valgt å kalle konsentrasjonsfaktoren. Til forskjell fra de store universitetssykehusene, ser vi at Helse Stavanger har konsentrert sin forskning om noen få områder, der de skårer særdeles høyt innenfor alle områdene. Deres forskning innen hjertemedisin, klinisk nevrologi, kirurgi og psykiatri har alle høye siteringsindekser. De to første er sitert eksepsjonelt høyt i en internasjonal kontekst. Ved Diakonhjemmet Sykehus er revmatologi i særklasse det største forskningsområdet.
De store universitetssykehusene synes å rammes av et typisk fenomen innenfor bibliometriske studier: Store enheter består av både høyt siterte og mindre siterte fagområder/forskningsgrupper. Siden siteringsindekser er gjennomsnittstall, vil de høyt siterte gruppene ikke synliggjøres. Dette illustreres med Oslo universitetssykehus som har 88 publikasjoner innen onkologi som tilhører de 10 % mest siterte kreftartiklene i verden, uten at onkologi tilhører foretakets mest siterte fagområder. Videre har det 628 publikasjoner blant verdens 10 % mest siterte artikler, men samlet siteringsindeks blir likevel ikke mye høyere enn i mange små helseforetak.
Helse Stavanger og Diakonhjemmet Sykehus synes å ha en motsatt profil. De høyt siterte gruppene/fagområdene der står for en så stor andel av forskningen at mindre siterte grupper/fagområder ikke trekker de høye siteringstallene ned. Således skal man være varsom med å bruke våre resultater til en rangering av norske helseforetak. Det er forskningen utført ved Helse Stavanger som er mest sitert i gjennomsnitt, uten at vi av den grunn kan konkludere med at foretaket er et bedre forskningssykehus enn de langt mer breddeorienterte universitetssykehusene. Vi kan heller ikke si at landets fremste forskermiljøer kommer fra Stavanger, ettersom de fremste enkeltmiljøene ikke synliggjøres like godt ved større sykehus.
En annen mulig forklaring kan være graden av internasjonalt samarbeid. Helse Stavanger og Diakonhjemmet Sykehus har vesentlig større innslag av internasjonalt medforfatterskap enn øvrige universitetssykehus – og i særdeleshet gjelder dette samarbeid med forskningsnasjonene USA, Storbritannia, Tyskland og Nederland.
De høye verdiene for Helse Stavanger og Diakonhjemmet Sykehus og de høyt siterte fagområdene ved disse helseforetakene er for øvrig i overensstemmelse med Norges forskningsråds evaluering av norsk medisin, biologi og helsefag i 2011 (7).
Vår studie viser at det er Oslo universitetssykehus og Helse Bergen som i absolutte tall er mest synlige internasjonalt innen høyt sitert forskning, mens i relative tall er det Helse Stavanger og Diakonhjemmet Sykehus som skårer best. Våre resultater peker i retning av at strategisk satsing på få forskningsområder gir seg utslag i høy innflytelse (impact), men sier ikke noe om verken forskningsproduktivitet eller samlet forskningskvalitet/kompetanse i et helseforetak.
- 1.
Bornmann L, Luti HD. What do citation counts measure? A review of studies on citing behavior. J Doc 2008; 64: 45 – 80. [CrossRef]
- 2.
Moed HF. Citation analysis in research evaluation. Dordrecht: Springer, 2005.
- 3.
Schubert A, Braun T. Cross-field normalization of scientometric indicators. Scientometrics 1996; 36: 311 – 24. [CrossRef]
- 4.
Aksnes DW. Characteristics of highly cited papers. Res Eval 2003; 12: 159 – 70. [CrossRef]
- 5.
Norges forskningsråd. Det norske forsknings- og innovasjonssystemet – statistikk og indikatorer. Oslo: Norges forskningsråd, 2013.
- 6.
Lundberg J. Lifting the crown – citation z-score. J Informetrics 2007; 1: 145 – 54. [CrossRef]
- 7.
The Research Council of Norway. Evaluation of biology, medicine and health research in Norway (2011).Report of the principal evaluation committee. Oslo: Norges forskningsråd, 2011.
- 9.
Piro FN, Aksnes DW, Christensen KK et al. Comparing research at Nordic universities using bibliometric indicators. Policy Brief 4/2011. Oslo: NordForsk, 2011.
- 10.
Abramo G, D’Angelo AC. Evaluating research: from informed peer review to bibliometrics. Scientometrics 2011; 87: 499 – 514. [CrossRef]
- 11.
Aksnes DW. Citation rates and perceptions of scientific contribution. J Am Soc Inf Sci Technol 2006; 57: 169 – 85. [CrossRef]