Foresattes vurdering av barne- og ungdomspsykiatriske poliklinikker

Øyvind Andresen Bjertnæs, Andrew Garratt, Jon Helgeland, Olaf Holmboe, Kari Aanjesen Dahle, Ketil Hanssen-Bauer, John-Arne Røttingen Om forfatterne
Artikkel

I Norge inneholder det nasjonale kvalitetsindikatorsystemet for barne- og ungdomspsykiatrien (BUP) indikatorer for epikrisetid, ventetid, individuell plan og andel diagnostisk vurdert (1). Helse- og omsorgsdepartementet har bestemt at brukernes vurderinger av barne- og ungdomspsykiatrien (BUP) skal inngå i kvalitetsindikatorsystemet fra 2007. Som grunnlag for disse indikatorene gjennomførte Nasjonalt kunnskapssenter for helsetjenesten (Kunnskapssenteret) i 2006 en nasjonal undersøkelse blant foresatte om deres erfaringer med poliklinikkene i barne- og ungdomspsykiatrien.

I mange internasjonale studier har man gjort brukererfaringsundersøkelser hos foresatte til barn som har mottatt tjenester fra psykiatrien (2 – 9). Det finnes også en del studier hvor både foresatte og barn/ungdommer er inkludert (10 – 14), mens det er sjeldnere at kun barn/ungdom deltar i brukertilfredshetsundersøkelser (15, 16). Felles for de internasjonale studiene er at alle har inkludert et mål på brukererfaringer eller tilfredshet, og at brukerne gjennomgående er tilfreds med tjenestene. Et annet fellestrekk er at det teoretiske grunnlaget for undersøkelsene er svakt, noe som tidligere er påvist i større kunnskapsoppsummeringer på brukererfaringsfeltet (17, 18). Utover dette er studiene ganske ulike når det gjelder problemstillinger, tematisk bredde og resultater. I flere av dem er det primære målet å dokumentere kvaliteten på måleinstrumentet (4, 5, 8, 9, 15), mens andre ser på sammenhengen mellom brukertilfredshet og andre mål, som tilfredshet hos dem som har henvist barna (3), brukeropplevd klinisk forbedring (11, 12) og klinikervurderte mål på symptomer og funksjonsnivå (12).

De samme metodiske utfordringer gjelder for barne- og ungdomspsykiatrien som for andre brukererfaringsundersøkelser i helsetjenesten – det er lav svarprosent, høyt tilfredshetsnivå og mangel på dokumentert gode måleinstrumenter (17). I tillegg finnes spesifikke problemer innenfor barne- og ungdomspsykiatrien – rent kognitivt har barn og ungdom dårligere forutsetninger enn voksne for å vurdere tjenesten, og behandlingen som mottas, er ofte valgt av de foresatte (17). Disse spesielle utfordringene kan være viktige grunner til at mange brukererfaringsundersøkelser på området er blitt gjennomført blant foresatte (2 – 9, 17).

I Norge er det få store brukererfaringsundersøkelser innenfor barne- og ungdomspsykiatrien, men i en multisenterstudie fra 2004 ble både foresatte og barn/ungdom over 11 år bedt om å vurdere 49 av landets poliklinikker (19). Instrumentet som ble benyttet, er imidlertid ikke validert, og vi fant heller ingen andre validerte instrumenter på norsk i vår litteraturgjennomgang. Vi gjennomførte derfor et utviklingsprosjekt for å utvikle et spørreskjema og, som i en del av de internasjonale studiene, valgte vi å avgrense undersøkelsen til foresattes erfaringer med poliklinikkene (2 – 9). Utviklingsprosjektet er beskrevet i en egen dokumentasjonsrapport (20) og dannet basis for en nasjonal spørreskjemaundersøkelse høsten 2006 om foresattes vurderinger av tilbudet ved poliklinikkene.

I denne artikkelen presenterer vi hovedresultatene fra den nasjonale brukererfaringsundersøkelsen blant foresatte til barn/unge som mottok et tilbud ved landets barne- og ungdomspsykiatriske poliklinikker høsten 2006. Ettersom institusjonsnivå er hovednivået i det nasjonale kvalitetsindikatorsystemet, er den sentrale problemstillingen i hvilken grad det er forskjell på tilbakemeldingene fra de foresatte til de ulike poliklinikkene.

Materiale og metode

Populasjonen i undersøkelsen var foresatte til barn/unge under 16 år som hadde minst én konsultasjon ved en barne- og ungdomspsykiatrisk poliklinikk i perioden 1.9. – 31.12. 2006.

Utvalgsstørrelsene ble bestemt slik at det skal være mulig å avgjøre med rimelig sikkerhet dersom en institusjon avviker tilstrekkelig mye fra gjennomsnittet for en av dimensjonene. Utvalgsstørrelsen ved hver poliklinikk ble satt til 400. Inklusjonsperioden ble oppdelt i to puljer, hver på åtte uker. Vi trakk et tilfeldig utvalg for hver poliklinikk innenfor hver av puljene. For poliklinikker med færre enn 200 personer i en pulje ble alle inkludert.

Poliklinikkene overførte pasientadministrative data til Kunnskapssenteret, blant annet barnets navn, adresse, kjønn, alder, henvisningsgrunn, hoveddiagnose på seks akser og foresattes etnisitet.

Vi sendte spørreskjema i posten til barnas/ungdommenes hjemmeadresse og purret to ganger i posten på ikke-svarerne. De foresatte ble bedt om å vurdere den poliklinikken som de på den tiden hadde et tilbud ved. Vi gjennomførte også telefonintervjuer med et utvalg foresatte som ikke svarte på spørreskjemaet, for å undersøke om det var forskjeller i tilfredshet mellom svarere og ikke-svarere.

Prosjektet ble vurdert og godkjent av regional komité for medisinsk forskningsetikk region Sør. Sosial- og helsedirektoratet har gitt dispensasjon fra taushetsplikten i forbindelse med innsamling av data. Personvernet er ivaretatt ved å følge vilkårene som Datatilsynet har lagt til grunn for konsesjonen. Poliklinikkene hadde anledning til å ekskludere enkeltpersoner fra undersøkelsen.

Spørreskjema og variabler

Utviklingen av spørreskjemaet er beskrevet i eget notat fra Kunnskapssenteret (20). I den nasjonale undersøkelsen besto det av 15 kjernespørsmål om erfaringer med poliklinikken. Andelen manglende svar varierte fra 1,5 % til 5,6 % for kjernespørsmålene. Basert på faktoranalyse har vi identifisert tre dimensjoner som alle har egenverdi over 1 og som til sammen forklarer 74 % av totalvariasjonen: relasjon til behandler (åtte spørsmål), informasjon/medbestemmelse (fire spørsmål) og utbytte av behandlingen (tre spørsmål). I alle dimensjonene var enkeltspørsmål-dimensjon-korrelasjoner over 0,6, og Cronbachs alfa var 0,94, 0,88 og 0,91 for henholdsvis relasjon til behandler, informasjon/medbestemmelse og utbytte, noe som anses som tilfredsstillende (21, 22).

I denne studien ser vi på resultater for de tre dimensjonene i instrumentet samt for de 15 underliggende enkeltspørsmålene. 12 av enkeltspørsmålene har følgende svarskala: «ikke i det hele tatt», «i liten grad», «i noen grad», «i stor grad», «i svært stor grad». De tre utbyttespørsmålene (spørsmål 20 – 22) har også fem svarverdier, men her blir de foresatte bedt om å sammenlikne situasjonen på undersøkelsestidspunktet med situasjonen før start av behandling ved poliklinikken: «mye dårligere», «litt dårligere», «verken bedre eller dårligere», «litt bedre», «mye bedre».

Analyse

Statistikkprogrammene SPSS (15.0) og R (www.r-project.org) ble brukt for å analysere materialet. Vi presenterer deskriptiv statistikk for de tre dimensjonene og de 15 underliggende enkeltspørsmålene – antall svarere (n), gjennomsnitt og 95 % konfidensintervall for gjennomsnittene. Dimensjonsskårene er transformert til en skala som går fra 0 til 100 (der 100 er beste skår), enkeltspørsmålene presenteres på en skala fra 1 til 5 (der 5 er beste skår).

Vi viser også resultater for hver poliklinikk på de tre dimensjonene i instrumentet. Vi har gjennomført simultan parametrisk hypotesetesting av dimensjonene på poliklinikknivå. For at den totale feilsannsynligheten ikke skal bli urimelig høy, har vi korrigert for multippel testing. Vi har benyttet fremgangsmåten beskrevet av Westfall (23) for hvert hovedområde og Bonferroni-korreksjon på tvers av disse. Resultatene er rapportert som justerte signifikanssannsynligheter, dvs. det minste simultane signifikansnivået som ville ledet til forkasting av den aktuelle hypotesen.

De institusjonsvise resultatene er justert for pasientsammensetning med følgende variabler: barnets alder (tre grupper), tid fra behandlingen startet (tre grupper), hoveddiagnose (akse 1, 2, 3 og 5 samlet og grovt kategorisert, samt akse 6 grovt kategorisert) og om respondenten er gift eller ikke. I justeringen brukes lineær regresjonsanalyse for å trekke ut bidraget fra justeringsvariablene i det enkelte institusjonsresultat. Valget av justeringsvariabler er et resultat av en trinnvis regresjonsanalyse, der også barnets kjønn og alle spørsmålene om foresatte var kandidater, men viste seg ikke å ha betydning. I alt ti institusjoner ble vurdert å ha så vidt høy andel manglende diagnoser at deres resultater ble justert uten å ta hensyn til diagnose.

Svarprosent og representativitet

Totalt ble 17 871 foresatte til barn/ungdommer inkludert i utvalget. Av ulike årsaker ble 791 av disse kansellert (ukjent adresse, hemmelig adresse, kansellert fra poliklinikken), korrigert bruttoutvalg var følgelig på 17 080. Vi mottok svar fra 7 906 foresatte, noe som gir en svarprosent på 46.

I analysene har vi kompensert for frafallet ved å behandle materialet som et stratifisert totrinns sannsynlighetsutvalg, der bruttoutvalget er inndelt i grupper som er tilnærmet homogene med henblikk på svarsannsynlighet, som beskrevet av Särndal og medarbeidere (24). Inndelingen resulterte i sju homogene responsgrupper basert på hoveddiagnose, tid fra behandlingen startet, pulje og etnisk bakgrunn.

Vi forsøkte å gjennomføre telefonintervjuer med i underkant av 400 tilfeldig valgte ikke-svarere fra det postale opplegget. Spørreskjemaet i telefonintervjuene var en kortversjon av det postale skjemaet. Vi fikk gjennomført intervju med 226 av ikke-svarerne (57 %). En analyse av dette materialet viser at de som besvarte spørsmålene på telefon, har samme tilfredshetsnivå som de postale svarerne.

Det deltok til sammen 86 poliklinikker i undersøkelsen. Vi har valgt ikke å vise resultatene for tre av poliklinikkene – Sola og Alta pga. lav svarprosent og Storsteinnes pga. stor usikkerhet i estimatene.

Resultater

I tabell 1 ser vi at nasjonale gjennomsnittsskårer på hoveddimensjonene var 75 for behandlere (på en skala fra 0 til 100, der 100 er best), 59 for informasjon/medbestemmelse og 72 for utbytte. De enkeltspørsmålene som får best tilbakemelding er om man blir møtt med høflighet og respekt av behandlerne og om behandlerne snakker på en forståelig måte, med gjennomsnittsskår på henholdsvis 4,4 og 4,3 på en skala fra 1 til 5, der 5 er best. Det enkeltspørsmålet der det er dårligst tilbakemelding, omhandler i hvilken grad de foresatte har fått informasjon om hvilke behandlingsmuligheter som finnes for barnet (gjennomsnittskår 3,1).

Tabell 1  Foresattes vurderinger av poliklinikkene. Antall svar (N) og gjennomsnitt (95 % konfidensintervall) for undersøkelsens hovedområder og underliggende enkeltspørsmål¹

Hovedområde/utsagn

Antall

Gjennomsnitt(95 % KI)

Behandlerne

7 733

75,0 (74,5 – 75,4)

3 Opplever du at behandlerne har omtanke og omsorg for deg?

7 734

3,8 (3,8 – 3,8)

4 Opplever du at behandlerne forstår din situasjon som foresatt?

7 649

3,8 (3,8 – 3,9)

5 Har behandlerne omtanke og omsorg for barnet ditt?

7 631

4,2 (4,1 – 4,2)

6 Blir du møtt med høflighet og respekt av behandlerne?

7 789

4,4 (4,3 – 4,4)

7 Snakker behandlerne til deg på en måte som du forstår?

7 662

4,3 (4,3 – 4,4)

8 Tar behandlerne dine synspunkter som foresatt på alvor?

7 632

4,0 (4,0 – 4,1)

9 Får du nok tid til samtaler og kontakt med behandlerne?

7 648

3,6 (3,5 – 3,6)

10 Opplever du at behandlerne samarbeider godt med deg?

7 712

3,9 (3,9 – 3,9)

Informasjon og medbestemmelse

7 633

59,2 (58,7 – 59,8)

11 Blir du tatt med på råd i valg av behandlingsopplegg?

7 583

3,6 (3,6 – 3,6)

12 Har du hatt innflytelse på valg av behandlingsopplegg?

7 513

3,4 (3,4 – 3,4)

13 Har du fått informasjon om hvilke behandlingsmuligheter som finnes for barnet ditt?

7 529

3,1 (3,1 – 3,1)

14 Har du fått informasjon om barnets psykiske plager/tilstand?

7 539

3,4 (3,4 – 3,5)

Utbytte

7 539

71,7 (71,2 – 72,2)

20 Er barnets tilstand bedre eller dårligere nå sammenliknet med før behandlingen startet ved poliklinikken?

7 582

3,9 (3,9 – 4,0)

21 Hvordan fungerer barnet i familien nå sammenliknet med før behandlingen startet ved poliklinikken?

7 524

3,9 (3,8 – 3,9)

22 Hvordan fungerer barnet utenfor familien nå sammenliknet med før behandlingen startet ved poliklinikken?

7 462

3,8 (3,8 – 3,8)

[i]

[i] ¹  Utsagnene er skåret fra 1 til 5 og skalaene fra 0 til 100, der 100 er best

I e-tabell 2 og figur 1 ser vi at gjennomsnittet på behandlerdimensjonen for poliklinikkene varierer fra 63 for Fosen til 81 for Kongsvinger og Brønnøysund (skala 0 – 100, der 100 er best). Fem av poliklinikkene har en gjennomsnittsskår på over 80 (Kongsvinger, Brønnøysund, Lillestrømklinikken, Nordstrand og Sandnessjøen), mens to poliklinikker har lavere gjennomsnittsskår enn 65 (Fosen og Tiller). Statistisk testing viser at gjennomsnittet til Lillestrømklinikken er signifikant bedre enn landsgjennomsnittet, mens gjennomsnittet til Tiller er signifikant dårligere.

Figur 1  Gjennomsnittsskårer på hovedområder for hver poliklinikk på en skala fra 0 til 100. Punkt angir gjennomsnitt og strek 95 % konfidensintervall. Tallene er justert for pasientsammensetning. Molde, Mosjøen, Harstad, Nordre Aker/Sagene, Lister, Hallingdal, Brønnøysund, Øst-Finnmark og Hammerfest har høy andel manglende diagnose, og for disse poliklinikkene har vi ikke benyttet diagnosevariabler i justeringen for pasientsammensetning. Enkeltresultater med høyere standardfeil enn 5 vises ikke

Tabell 2  Gjennomsnittsskårerpå hovedområder for hver poliklinikk¹ på en skala fra 0 til 100, der 100 er best 2, 3

Behandlere

Informasjon/medbestemmelse

Utbytte

Helse Øst

Nic Waals institutt

78,1

62,1

74,2

Mentalhygienisk Rådgivningskontor, Diakonhjemmet

78,7

58,6

67,6

Hamar

74,4

59,2

70,0

Elverum

76,2

58,6

71,6

Tynset

72,2

54,7

73,9

Kongsvinger

81,4

65,0

77,8

Lillehammer

77,2

61,1

72,4

Gjøvik

69,0

53,3

70,4

Tøyen

71,2

52,9

68,9

Furuset

75,7

57,3

68,3

Follo

73,9

58,0

72,4

Nordre Aker/Sagene

77,1

59,9

72,8

Nordstrand

80,8

64,2

73,5

Søndre Nordstrand

76,3

58,1

65,1

Østensjø

79,4

64,7

72,9

Asker

79,6

61,7

69,2

Bærum

77,7

57,9

71,8

Lillestrømklinikken

80,4 + (p = 0,001)

63,0

71,9

Grorud

77,5

60,5

71,5

Jessheimklinikken

76,2

60,4

75,0

Fredrikstad

78,9

62,4

72,4

Moss

79,6

62,1

73,7

Askim

77,5

66,6

68,5

Halden

72,4

54,5

68,4

Sarpsborg

71,0

56,0

65,4

Helse Sør

Kongsberg

76,9

61,9

73,5

Notodden

70,2

51,5

71,0

Arendal

73,9

62,2

71,1

Kristiansand

75,0

56,7

71,4

Lister

77,4

64,4

73,3

Sykehuset Telemark

73,7

57,0

71,4

Vestmar DPS, Kragerø

78,9

64,8

73,1

Tønsberg

76,1

59,5

70,3

Larvik

69,5

48,5

63,8

Holmestrand

74,6

58,4

71,4

Ringerike

76,3

60,0

73,8

Hallingdal sjukestugu

78,3

67,0

75,7

Sykehuset Buskerud BUP

74,7

59,3

72,0

Rikshospitalet BUP

78,1

60,6

68,2

Helse Vest

Førde

76,0

59,5

74,1

Sogndal

76,2

62,4

76,2

Nordfjord

74,6

63,0

78,2

Sentrum (Bergen)

73,6

61,6

71,9

Nordhordland

73,3

57,5

69,7

Fjell

69,8

52,9

67,6

Åsane

74,4

61,3

70,8

Fana

72,9

57,5

66,5

Voss

73,8

57,5

67,0

Stord, Kvinnherad

70,2

55,7

70,8

Haugesund

69,7

53,9

67,8

Egersund

74,7

65,0

74,3

Sandnes

76,6

61,2

72,6

Bryne

76,5

62,1

72,8

Stavanger

72,8

56,8

66,8

Betanien

78,0

62,4

74,1

Helse Midt-Norge

Ålesund

72,3

55,8

71,3

Volda

74,9

58,4

75,1

Molde

74,2

56,3

73,3

Kristiansund

71,9

60,4

70,4

Fosen

62,8

48,8

65,1

Orkdal

74,1

61,4

75,1

Røros

76,1

60,6

75,0

Klostergata

71,1

53,6

72,5

Tiller

63,3 – (p < 0,001)

48,0 – (p < 0,001)

62,1 – (p = 0,005)

Namsos

76,9

60,1

72,7

Levanger

75,8

58,6

73,9

Helse Nord

Mo i Rana

68,4

53,8

65,0

Mosjøen

72,4

52,0

66,6

Sandnessjøen

80,6

64,4

74,0

Brønnøysund

81,4

75,4

Lofoten

75,0

56,1

70,0

Ytre Salten

73,2

58,7

72,1

Indre Salten

78,6

68,2

73,7

Stokmarknes

74,1

59,0

72,3

Narvik

72,2

68,6

Harstad

73,9

52,1

66,6

Tromsø

77,1

61,8

75,2

Silsand

74,6

58,7

74,5

Sjøvegan

72,5

73,9

Storslett

77,1

68,4

Midt-Finnmark

66,6

54,3

73,7

Øst-Finnmark

75,7

54,1

74,2

Hammerfest

75,5

60,2

75,2

[i]

[i] ¹  Symbolene angir signifikanssannsynligheter, justert for multippel testing (pluss angir større enn, minus mindre enn gjennomsnittet av de øvrige institusjonene)

²  Tallene er justert for pasientsammensetning. Molde, Mosjøen, Harstad, Nordre Aker/Sagene, Lister, Hallingdal, Brønnøysund, Øst-Finnmark og Hammerfest har høy andel manglende diagnose, og for disse poliklinikkene har vi ikke benyttet diagnosevariabler i justeringen for pasientsammensetning

³  Enkeltresultater med høyere standardfeil enn 5 vises ikke

På dimensjonen informasjon og medbestemmelse varierer gjennomsnittet fra 48 for Tiller til 68 for Indre Salten (e-tab 2, fig 1). Tre av poliklinikkene har gjennomsnittskår over 65 (Askim, Hallingdal, Indre Salten), tre har en skår under 50 (Larvik, Fosen, Tiller). Tiller har signifikant dårligere resultat enn landsgjennomsnittet, men ellers er det ingen signifikante forskjeller mellom poliklinikkene og landsgjennomsnittet.

Gjennomsnittet på utbyttedimensjonen varierer fra 62 for Tiller til 78 for Nordfjord (e-tab 2, fig 1). Tre av poliklinikkene har gjennomsnittsskår over 76 (Kongsvinger, Sogndal, Nordfjord), to har en skår under 65 (Larvik, Tiller). Tiller har signifikant dårligere skår enn landsgjennomsnittet, men ellers er det ingen signifikante forskjeller mellom poliklinikkenes resultater og landsgjennomsnittet på utbyttedimensjonen.

Flere av poliklinikkene har gjennomgående høye gjennomsnittsskårer på de tre dimensjonene, som Kongsvinger, Hallingdal og Brønnøysund (e-tab 2, fig 1). Generelt er det en god sammenheng mellom poliklinikkenes resultater på tvers av dimensjonene, noe som bekreftes av mønsteret i figur 1 samt av høye korrelasjoner mellom dimensjonene på poliklinikknivå – høyest korrelasjon mellom dimensjonene på poliklinikknivå er det mellom behandlerdimensjonen og dimensjonen informasjon/medbestemmelse (Pearsons r er 0,85), lavest korrelasjon er det mellom utbyttedimensjonen og behandlerdimensjonen (Pearsons r er 0,58).

Resultater som ikke vises her, antyder at det er små forskjeller i gjennomsnittsskårer på de tre dimensjonene mellom helseregionene og mellom poliklinikker av ulik størrelse, og at det er ubetydelige forskjeller i tilfredshet mellom dem som svarte på telefon i ikke-svarerundersøkelsen og de postale svarerne.

Diskusjon

For første gang er det gjennomført en brukererfaringsundersøkelse ved alle poliklinikker innen barne- og ungdomspsykiatrien i Norge. Bakgrunnen for prosjektet var at helsemyndighetene har bestemt at det skal gjennomføres systematiske brukererfaringsundersøkelser på området, som en del av det nasjonale kvalitetsindikatorsystemet. Resultatene fra denne nasjonale brukererfaringsundersøkelsen viste at de foresatte var fornøyd med tilbudet ved poliklinikkene, spesielt med behandlerne og med utbyttet av behandlingen. De var minst fornøyd med informasjonen fra poliklinikkene og med mulighetene for medbestemmelse. Tilbakemeldingene fra de foresatte varierte en del fra poliklinikk til poliklinikk, men det var få som skilte seg signifikant fra landsgjennomsnittet.

Som i brukererfaringsundersøkelser på andre områder er det ofte lite dokumentasjon av kvaliteten av måleinstrumentet som blir benyttet (17, 25). I vår litteraturgjennomgang fant vi ingen validerte spørreskjemaer på norsk, og vi gjennomførte derfor et omfattende utviklingsprosjekt for å ivareta validiteten og reliabiliteten til måleinstrumentet. De 15 kjernespørsmålene i det nasjonale spørreskjemaet hadde få manglende svar, noe som indikerer at de foresatte aksepterte spørsmålene som relevante. Psykometrisk testing av det nasjonale materialet viste dessuten at instrumentet har tilfredsstillende intern konsistens. I sum mener vi at reliabiliteten og validiteten til måleinstrumentet i den nasjonale undersøkelsen var tilfredsstillende.

Det generiske instrumentet består av 15 spørsmål som er relevante på tvers av alle grupper foresatte. For noen av spørsmålene vil imidlertid stadium i utrednings- og behandlingsprosessen kunne påvirke svarene – for eksempel har de med mer enn ett års kontakt med BUP-poliklinikken rundt 10 poeng høyere skår på utbyttedimensjonen enn de med en kontaktsvarighet på under tre måneder. Dimensjonsskårene må derfor tolkes som gjennomsnittlig tilfredshet på tvers av alle utrednings- og behandlingsforløp og ikke som uttrykk for tilfredshet med utbytte, informasjon og behandlere etter utskrivning fra BUP-poliklinikkene. Vi understreker imidlertid at forskjeller i utrednings- og behandlingstid mellom poliklinikkene ikke påvirker resultatene i denne studien, ettersom denne variabelen inngår i justeringsmodellen som er benyttet.

Svarprosenten i brukererfaringsundersøkelser innenfor barne- og ungdomspsykiatrien har generelt vært lav (17). Den nasjonale undersøkelsen ble hovedsakelig gjennomført som en postal spørreskjemaundersøkelse. Det er vist at postal innsamling gir mer nøkterne tilbakemeldinger enn mer direkte innsamlingsmåter (25, 26), at det er langt rimelige enn andre måter og at det krever betydelig mindre arbeidsinnsats fra poliklinikkene. Det ble gjennomført flere purrerunder, siden dette i andre studier har vist seg å være effektivt for å øke svarprosenten (25). Vi purret inntil to ganger på ikke-svarere, og den andre purrerunden resulterte i en økning i svarprosent fra 34 til 46. Dette var såpass lavt at det ble nødvendig å gjøre ytterligere analyser for å undersøke og forbedre representativiteten. Vi gjennomførte telefonintervjuer med et tilfeldig utvalg som ikke hadde svart etter to postale purringer. Nesten 60 % av dem som ble trukket ut til telefonintervju, besvarte en kortversjon av spørreskjemaet, og tilfredshetsnivået var det samme som blant de postale svarerne. Vi analyserte også forskjeller i svarsannsynlighet mellom ulike grupper og korrigerte for de forskjellene vi fant i svarsannsynlighet gjennom stratifiseringen. Samlet sett konkluderer vi derfor med at undersøkelsen har tilfredsstillende representativitet.

Selv små forskjeller mellom BUP-poliklinikker kan gi nyttige tilbakemeldinger til klinikkene om områder med forbedringspotensial. Spørsmålet om hva som er klinisk relevante forskjeller, er imidlertid vanskelig å besvare. I en ny kunnskapsoppsummering om pasientrapporterte utfallsmål poengteres det at minste meningsfulle forskjell avhenger av populasjon og kontekst, og det anbefales multiple tilnærminger og metodetriangulering for å estimere hva som er minste meningsfulle forskjell (27). En praktisk måte å tilnærme seg problemstillingen i denne studien på er å sammenlikne dimensjonsskårene mellom ulike verdier på spørsmålet om generell tilfredshet. Forskjellen i dimensjonsskår mellom de som er ganske fornøyd og de som er svært fornøyd er 10 – 15 poeng. Tilsvarende forskjell finner vi for dem som er ganske fornøyde og for dem som har svart «både-og». En forskjell på 10 – 15 poeng på dimensjonene tilsvarer altså en substansiell endring i generell tilfredshet og kan brukes som et estimat for minste meningsfulle forskjell. Vi understreker imidlertid at dette kun er et pragmatisk svar som hjelp til klinisk tolking og bruk i denne studien, og at det bør forskes langt mer på minste meningsfulle forskjell på brukererfaringsområdet.

Høyt tilfredshetsnivå i denne studien, som i andre studier innenfor barne- og ungdomspsykiatrien (17), gjør at det må settes spørsmålstegn ved om instrumentet skiller tilstrekkelig mellom gode og dårlige erfaringer og ved muligheten til å måle endring over tid og mellom institusjoner. For to av dimensjonene i det nasjonale instrumentet var gjennomsnittsskåren over 70 på en skala fra 0 til 100, der 100 er best. Selv om resultatet på den siste dimensjonen var 59, er ikke instrumentet optimalt sett i forhold til diskrimineringsevne og sensitivitet.

En annen begrensning ved studien var at vi kun ba om tilbakemelding fra de foresatte, ikke fra barna/ungdommene. En helhetlig tilbakemelding fra brukerne bør inkludere barnas/ungdommenes perspektiv. Vi har i denne studien heller ikke sett på sammenhengen mellom de foresattes vurderinger og andre faktorer, som for eksempel klinisk resultat (12), andre kvalitetsindikatorer og produktivitet. Dette er problemstillinger som bør følges opp i senere studier.

Vi konkluderer med at måleinstrumentet og representativiteten i den nasjonale brukererfaringsundersøkelsen var tilfredsstillende. Generelt var de foresatte fornøyd med poliklinikkene, men det var forbedringspotensial på alle dimensjonene og for alle poliklinikkene. Ved BUP-poliklinikkene har man med disse resultatene mulighet for å analysere og reflektere over tilbakemeldingene fra en viktig målgruppe for virksomheten og mulighet for å implementere forbedringstiltak slik at tilbudet kan bli enda bedre for barna/ungdommene og deres foresatte. Etter planen skal denne undersøkelsen være en av de faste nasjonale brukererfaringsundersøkelsene som gjentas hvert tredje år. Dette betyr at det vil være mulig å følge utviklingen i de foresattes vurderinger av poliklinikkene over tid.

Anbefalte artikler