PasOpp – en metode for å måle brukererfaringer i psykisk helsevern

. Vi gikk igjennom litteratur på området, intervjuet pasienter og samarbeidet med et nettverk av fagfolk. Spørreskjemaet ble testet i en spørreskjemaundersøkelse blant døgnpasienter ved tre distriktspsykiatriske sentre under Psykiatrisk klinikk, Stavanger Universitetssjukehus våren 2005. 244 pasienter mottok spørreskjemaet, enten tilsendt i posten etter utskrivning eller ved utdeling på institusjonen før utskrivning.

Resultater

. 68 (28 %) pasienter besvarte skjemaet. Spørsmålene hadde lavt nivå av uteblitte enkeltsvar. Faktoranalyse av 11 enkeltspørsmål som var aktuelle for de fleste pasientene, viste at disse bidrar til et samlemål for pasienterfaringer. Enkeltspørsmål-skala-korrelasjon var 0,55 – 0,82. Cronbachs alfa var over kriteriet på 0,9. Begrepsvaliditeten ble støttet av sammenlikninger mellom variabler som er relatert til pasienterfaringer, inkludert generell tilfredshet, innflytelse på beslutninger om medisinering, nødvendigheten av tvangsinnleggelse og egenvurdert mental helse.

Fortolkning

. PasOpp for døgnpasienter i psykisk helsevern er et kort instrument som dekker viktige aspekter av helsetjenesteerfaringene for denne pasientgruppen. Instrumentet har dokumentert tilfredsstillende reliabilitet og begrepsvaliditet.

Abstract

Results.

68 (28 %) patients responded to the questionnaire. Items had low levels of missing data. Factor analysis showed that 11 widely applicable items contribute to a measure of overall experiences. Item-total correlations ranged from 0.55 to 0.82. Cronbach’s alpha exceeded the criterion of 0.9. Construct validity was supported by comparisons with variables related to patient experience, including overall satisfaction, extent of patient say in the medication decision, necessity of coercion, and mental health status.

Artikkel

Synspunktene til pasientene om deres erfaringer og tilfredshet med helsetjenesten er en nødvendig del av kvalitetsforbedringsarbeid og evaluering av helsetjenesten (1, 2). Dette måles ofte ved hjelp av spørreskjemaer til selvutfylling enten blant inneliggende pasienter eller sendt i posten etter utskrivning (3). Spørreskjemaer er en viktig informasjonskilde i kvalitetsforbedringsarbeid på lokalt nivå (4), i poliklinikker (5) og i evalueringer av tilbudet til døgnpasienter (6) også innen psykisk helsevern.

Mål for pasienterfaringer og tilfredshet er i Norge blitt benyttet til å evaluere kvaliteten på en åpen psykiatrisk post (7), i kvalitetsforbedringsarbeid ved psykiatriske dagenheter (8), i evaluering av tilfredsheten med poliklinikker (9) og i en nasjonal undersøkelse blant brukere av poliklinikker i psykisk helsevern (10). Store postale spørreskjemaundersøkelser om pasienterfaringer er blitt gjennomført ved somatiske sykehus de siste årene (3, 11), og nylig også blant brukere ved psykiatriske poliklinikker (10). Disse spørreskjemaene gir data som er reliable og valide (3, 10, 11).

Vi beskriver her utvikling og evaluering av et spørreskjema om pasienterfaringer for voksne døgnpasienter i psykisk helsevern.

Materiale og metode

Utviklingen av spørreskjemaet startet med en litteraturgjennomgang, inkludert gjennomgang av hyppig brukte spørreskjemaer innen feltet. Målet var å identifisere viktige områder og spørsmål av relevans for døgnpasienter i psykisk helsevern (12) – (15). Vi intervjuet 12 pasienter for å finne ut hvilke helsetjenesteområder som er viktige for pasientenes tilfredshet med tjenestene. Resultatene fra litteraturgjennomgangen, pasientintervjuene og en pilotstudie av et foreløpig spørreskjema på et utvalg pasienter resulterte i et spørreskjema som ble gjennomgått og diskutert i et nettverk av fagfolk. Denne utviklingsprosessen var utformet for å sikre innholdsvaliditeten og følgelig at spørsmålene dekker viktige aspekter av pasientenes erfaringer med psykisk helsevern. Resultatet var et spørreskjema med 20 spørsmål, hvor 11 var pasienterfaringsspørsmål med relevans for hele pasientgruppen. Sistnevnte dekket dimensjonene relasjon til behandler, utbytte og informasjon. Hvert spørsmål har en svarskala med fem beskrivende svarverdier.

Datainnsamling

Undersøkelsen ble gjennomført som en spørreskjemaundersøkelse blant 244 voksne pasienter utskrevet fra tre distriktspsykiatriske sentre under Psykiatrisk klinikk i Helse Stavanger våren 2005. Undersøkelsesperioden bestod av tre perioder hver på tre uker og er nærmere beskrevet i en annen artikkel i dette nummeret (16).

Statistisk analyse

Vi undersøkte uteblitte enkeltsvar på enkeltspørsmål for å vurdere egnetheten for inklusjon i det endelige spørreskjemaet. Faktoranalyse (principal axis factoring i SPSS versjon 12) ble benyttet for å vurdere den underliggende strukturen til de 11 spørsmålene i spørreskjemaet (17). Intern konsistens for dimensjonene som fremkom, ble sjekket ved hjelp av enkeltspørsmål-skala-korrelasjon og Cronbachs alfa. Førstnevnte måler styrken på relasjonen mellom et spørsmål og resten av dimensjonen og bør være over 0,2 (18), men vi forventet at spørsmålene ville innfri det strengere kriteriet på 0,4. Sistnevnte måler korrelasjonen mellom alle spørsmålene i en dimensjon og bør resultere i et reliabilitetsestimat som er over 0,7 (18, 19).

For å sjekke begrepsvaliditeten (18) undersøkte vi om de resulterende skårene oppførte seg som forventet ut fra eksisterende kunnskap, inkludert sammenlikninger med andre variabler i spørreskjemaet. Vi forventet at resultatene ville være signifikant relatert til pasientrapporterte variabler om helsetjenestekvalitet, helsestatus og kjønn. Basert på tidligere forskning forventet vi at skårene ville være moderat relatert til svarene på et spørsmål om generell tilfredshet (3, 10). Å innfri pasientenes ønsker er en viktig forklaringsfaktor for variasjon i pasienttilfredshet (20). Vi forventet at skårene ville være korrelert med pasientenes oppfatninger av innflytelse i forhold til medisinering og om de følte at de ble utskrevet til riktig tid.

Villigheten til å benytte tjenester blant alvorlig syke og døgnpasienter kan være relatert til tilfredshet med tjenestene (21). Vi forventet at skårene ville være lavere for pasienter som ble innlagt mot sin vilje, og at skårene for disse pasientene ville være korrelert med et spørsmål om i hvilken grad de opplevde at tvangsinnleggelsen var nødvendig. Vi hadde også en hypotese om at skårene ville være korrelert med pasientenes opplevelse av samarbeidet med pårørende og med kvaliteten på aktivitetstilbudet på institusjonen.

Pasienterfaringslitteraturen har vist en konsistent positiv sammenheng med helsestatus generelt (3, 10, 20), også innenfor psykiatrien (6). Derfor forventet vi at skårene ville være signifikant korrelert med svarene på et spørsmål om egenvurdert mental helse. I tråd med tidligere funn i denne pasientgruppen forventet vi at skårer ville være høyere for menn enn for kvinner (7, 21, 22).

Resultater

68 av 244 pasienter besvarte spørreskjemaet (28 %). Gjennomsnittsalderen blant svarerne og i det totale utvalget var henholdsvis 36 år (SD = 14,9) og 39 år (SD = 15,5). Det var 26 menn blant svarerne (39 %) og 113 menn (46 %) i det totale utvalget. Forskjellene mellom utvalgene er beskrevet nærmere i en annen artikkel i dette nummeret (16).

Statistisk analyse

En oversikt over frafall på enkeltspørsmål og beskrivende statistikk for spørsmålene finnes i tabell 1. Frafallet på enkeltspørsmål var 1,5 – 4,4 %. Gjennomsnittlig skåre på enkeltspørsmålene var noe skjevfordelt mot positive erfaringer, og varierte fra 1,72 til 2,88 for henholdsvis spørsmålet om hvor godt personalet hadde forberedt pasienten på utskrivning og spørsmålet om kontakten med de ansatte.

Tabell 1

Manglende svar, gjennomsnitt (standardavvik) og frekvenstabeller for spørsmålene (n = 68)

	Mangler	Gjennomsnitt	Frekvens¹ (%)
Spørsmål	(%)	(SD)	0	1	2	3	4
Totalskårer	1 (1,5)	56,53 (20,03)

1 Utbytte av behandling	1 (1,5)	2,36 (0,98)	4 (6,0)	5 (7,4)	28 (41,8)	23 (34,3)	7 (10,3)
2 Endring i psykiske plager	3 (4,4)	2,69 (0,93)	1 (1,5)	6 (9,2)	17 (26,2)	29 (44,6)	12 (18,5)
3 Nok tid til samtaler/kontakt	2 (2,9)	2,26 (1,11)	5 (7,6)	10 (15,2)	23 (34,8)	19 (28,8)	9 (13,6)
4 Forstod behandler din situasjon	1 (1,5)	2,42 (1,08)	4 (6,0)	7 (10,4)	24 (35,8)	21 (31,3)	11 (16,4)
5 Fikk du fortalt det som var viktig om din tilstand	1 (1,5)	2,46 (1,05)	2 (3,0)	11 (16,4)	19 (28,4)	24 (35,8)	11 (16,4)
6 Behandling tilpasset din situasjon	1 (1,5)	2,09 (1,25)	12 (17,9)	5 (7,5)	23 (34,3)	19 (28,4)	8 (11,9)
7 Innflytelse på behandlingsopplegg	3 (4,4)	1,85 (1,08)	10 (14,7)	9 (13,8)	31 (47,7)	11 (16,9)	4 (6,2)
8 Behandlingsmuligheter	1 (1,53)	2,15 (1,26)	11 (16,4)	6 (9,0)	21 (31,3)	20 (29,9)	9 (13,4)
9 Psykiske plager/diagnose	3 (4,4)	2,02 (1,28)	12 (18,5)	8 (12,3)	20 (30,8)	17 (26,2)	8 (12,3)
10 Erfaringer med andre ansatte	1 (1,5)	2,88 (0,99)	1 (1,5)	4 (6,0)	19 (28,4)	21 (31,3)	22 (32,8)
11 Ansatte forberedte deg på utskrivning	1 (1,5)	1,72 (1,17)	14 (20,9)	11 (16,4)	26 (38,8)	12 (17,9)	4 (6,0)
[i]

[i] ¹0 og 4 representerer henholdsvis dårligste og beste pasienterfaring

Faktoranalysen produserte en tofaktorløsning. Den første faktoren hadde en egenverdi på 5,74, og denne forklarte 52 % av den totale variasjonen mellom pasientene (tab 2). Faktorladninger varierte fra 0,58 til 0,87. Den andre faktoren hadde en langt lavere egenverdi på 1,07 med mye lavere faktorladninger, og ble utelatt fordi den ikke var betydningsfull.

Tabell 2

Faktoranalyse med faktorladninger og intern reliabilitet (n = 68)

	Faktorladninger¹	Enkeltspørsmålskala-korrelasjon
1 Utbytte av behandling	0,71	0,66
2 Endring i psykiske plager	0,67	0,63
3 Nok tid til samtaler/kontakt	0,70	0,64
4 Forstod behandler din situasjon	0,79	0,75
5 Fikk du fortalt det som var viktig om din tilstand	0,75	0,69
6 Behandling tilpasset din situasjon	0,87	0,82
7 Innflytelse på behandlingsopplegg	0,59	0,57
8 Behandlingsmuligheter	0,66	0,62
9 Psykiske plager/diagnose	0,58	0,55
10 Erfaringer med andre ansatte	0,59	0,57
11 Ansatte forberedte deg på utskrivning	0,67	0,63
[i]

[i] ¹ Enfaktorløsningen forklarer 52,16 % av den totale variasjonen

Tabell 2 viser at nivået på enkeltspørsmål-skala-korrelasjon er akseptabel, med variasjon 0,55 – 0,82. Alfaverdien på 0,91 er høyere enn kriteriet på 0,7 for vurdering på gruppenivå, og også høyere enn det strengere kriteriet på 0,9 som indikerer at instrumentet kan brukes på individnivå.

Svarene på 11 spørsmål er summert og transformert til en skala fra 0 – 100, hvor 100 er beste skåre. Skårene er omtrent normalfordelt med gjennomsnitt på 56,5 (SD 20). Resultater av validitetstestingen vises i tabell 3 og 4. Tabell 3 viser at seks av de sju korrelasjonene er statistisk signifikante. For de sju variablene varierer styrken på korrelasjonene med skårene. Skårene er moderat korrelert med generell tilfredshet. Noe svakere korrelasjon finner vi for innflytelse på beslutninger om medisinering og riktighet av utskrivningstidspunktet. Tabell 4 viser at pasienter som var innlagt mot sin vilje har minst ti poeng lavere skårer enn andre pasienter. Det var moderat korrelasjon med pasientens opplevelse av samarbeidet med pårørende. Den opplevde kvaliteten på aktivitetstilbudet på institusjonen er også moderat korrelert med skårene, mens egenvurdert mental helsestatus er svakt korrelert med skårene. Kvinner har lavere skårer enn menn, men disse forskjellene er ikke signifikante (tab 4).

Tabell 3

Korrelasjoner mellom skårene og valideringsspørsmål

Variabel	n	Korrelasjon¹
Tilfredshet med tilbudet	67	0,56³
Innflytelse på beslutninger om medisinering	63	0,35³
Utskrevet til riktig tid	67	0,31²
Nødvendigheten av tvangsinnleggelse for tvangsinnlagte	19	0,65³
Samarbeid med pårørende	51	0,65³
Vurdering av aktivitetstilbudet	64	0,52³
Mental helsestatus	66	0,24
[i]

[i] ¹ Spearmans r

²p < 0,05

³p < 0,01

Tabell 4

Gjennomsnittsskåre (standardavvik)¹ etter kjønn og om pasienten ble innlagt mot sin vilje

Variabel	n	Skåre
Innlagt mot sin vilje?
Nei	46	59,37 (18,68)²
Ja	19	47,39 (20,47)

Kjønn
Kvinner	40	53,22 (21,99)
Menn	26	60,32 (15,00)
[i]

[i] ¹Skala 0 – 100 hvor 100 er beste score

²p < 0,05

Diskusjon

PasOpp for døgnpasienter i psykisk helsevern er et kort spørreskjema med god intern reliabilitet og begrepsvaliditet. Innholdsvaliditeten er dokumentert etter en omfattende utviklingsprosess, som også er benyttet i utviklingen av andre spørreskjemaer for norske pasienter (3, 10, 11). Dette gir støtte for å benytte instrumentet som et mål på pasienterfaringer blant døgnpasienter i psykisk helsevern i Norge. Resultatene er lovende, fordi materialet kun var på 68 pasienter.

Vi selekterte 11 spørsmål med relevans for alle døgnpasienter. Disse dekker viktige aspekter av pasientenes erfaringer med relasjon til behandler, utbytte og informasjon.

Resultatene av faktoranalysen støtter eksistensen av et endimensjonalt mål for pasienterfaringer blant døgnpasienter i psykisk helsevern. De 11 spørsmålene hadde høye faktorladninger på denne faktoren, høyt nivå av enkeltspørsmål-skala-korrelasjon og en høy Cronbachs alfa på 0,91.

De resulterende skårene har dokumentert god begrepsvaliditet. Vi har testet sammenhengen med andre pasientrapporterte variabler, og noen av disse har i litteraturen en konsistent sammenheng med pasienterfaringer og tilfredshet. Resultatene av sju korrelasjonstester var i den forventede retning, og seks var statistisk signifikante. Moderat korrelasjon med generell tilfredshet er i tråd med tidligere studier (3) – (10). Pasienter som var innlagt mot sin vilje, hadde signifikant dårligere erfaringer (21), og opplevelse av nødvendigheten av tvang var sterkt relatert til pasienterfaringer.

Resultatene av validitetstestingen viser at spørreskjemaet er i stand til å måle store og statistisk signifikante forskjeller i et lite utvalg av pasienter. Spørreskjemaer om tilfredshet og pasienterfaringer er blitt kritisert for å gi data som er skjevfordelt mot positive erfaringer (3). Bra variasjon på tvers av fempunktssvarskalaen gav ganske normalfordelte data med gjennomsnittsverdier nær midtpunktet. Dette indikerer at døgnpasienter i psykisk helsevern er i stand til å diskriminere mellom gode og dårlige helsetjenesteerfaringer (22). De resulterende skårene er omtrent normalfordelte, noe som betyr at spørreskjemaet potensielt er sensitivt til endringer i pasienterfaringer over tid.

Instrumentet kan enkelt suppleres med spørsmål som er relevante for undergrupper av pasienter. Lite frafall på enkeltspørsmål indikerer at spørsmålene er akseptable for pasientene som returnerer spørreskjemaet. Imidlertid er den lave svarprosenten en begrensning for generaliserbarheten til resultatene. Lav svarprosent er kjent fra tidligere studier blant denne pasientgruppen (21) og diskuteres nærmere i en annen artikkel i dette nummeret (16).

Oppgitte interessekonflikter: Ingen

Litteratur

1.
Shipley K, Hilborn B, Hansell A et al. Patient satisfaction: a valid index of quality of care in a psychiatric service. Acta Psychiatr Scand 2000: 101: 330 – 3.
2.
Gigantesco A, Pickardi A, Chiaia E et al. Patients’ and relatives’ satisfaction with psychiatric services in a large catchment area in Rome. Eur Psychiatry 2002; 17: 139 – 47.
3.
Garratt AM, Andresen Ø, Krogstad U et al. Pasienterfaringsinstrumentet PasOpp i somatiske poliklinikker Tidsskr Nor Lægeforen 2005; 125: 421 – 4.
4.
Korkeila J, Lehtinen V, Sohlman B et al. Patients’ experiences from their psychiatric community care in Finland. Nord J Psychiatry 1998; 52: 513 – 7.
5.
Sandlund M, Hansson L. Patients’ satisfaction in a comprehensive sectorized psychiatric service: study of a 1-year-treated incidence cohort. Nord J Psychiatry 1999; 53: 305 – 12.
6.
Holcomb WR, Parker JC, Leong BG et al. Customer satisfaction and self-reported treatment outcomes among psychiatric inpatients. Psychiatr Serv 1998; 49: 929 – 34.
7.
Gjerden P. A survey of patient satisfaction as a means of evaluating quality of care in an open psychiatric ward. Nord J Psychiatry 1997; 51: 235 – 42.
8.
Wilberg T, Karterud S, Pedersen G et al. Quality assurance of psychiatric day hospital treatment. III. Health care system level. Nord J Psychiatry 1998; 52: 431 – 9.
9.
Østby-Deglum I, Dahl AA. Is consultation at the psychiatric outpatient clinic a useful service for patients and their doctors. Nord J Psychiatry 2004; 58: 447 – 53.
10.
Garratt AM, Bjørngaard JH, Dahle KA et al. The Psychiatric Out-Patient Experiences Questionnaire (POPEQ): data quality, reliability and validity in patients attending 90 Norwegian clinics. Nord J Psychiatry 2006; godkjent for publisering.
11.
Pettersen KI, Veenstra M, Guldvog B et al. The Patient Experiences Questionnaire: development, validity and reliability. Int J Qual Health Care 2004; 16: 453 – 63.
12.
Attkisson CC, Greenfield TK. The Client Satisfaction Questionnaire-8 and the Service Satisfaction Questionnaire-30. I: Maruish M, red. Psychological testing: treatment planning and outcome assessment. San Francisco, CA: Lawrence Erlbaum Associates, 1994: 402 – 20.
13.
Hansson L, Högland E. Patient satisfaction with psychiatric services. Nord J Psychiatry 1995; 49: 257 – 62.
14.
Ruggeri M, Dall’angola R, Bisoffo G. Factor analysis of the Verona Service Satisfaction Scale-82 and development of reduced versions. Int J Methods Psychiatr Res 1996; 6: 23 – 38.
15.
Ruud T, Reas D. Distriktspsykiatriske sentre, tjenestetilbud og brukertilfredshet: Status og variasjon 2002. SINTEF Unimed rapport STF78 A035008. Trondheim: SINTEF Unimed, 2003.
16.
Bjertnæs ØA, Garratt A, Johannessen JO. Innsamlingsmåte og resultater i brukerundersøkelser i psykisk helsevern Tidsskr Nor Lægeforen 2006; 126: 1481 – 3.
17.
Hair J, Anderson RE, Tatham RL et al. Multivariate data analysis with Readings. 4. utg. Englewood Cliffs, NJ: Prentice-Hall International, 1995.
18.
Nunnally JC, Bernstein IH. Psychometric theory. 3. utg. New York, NY: McGraw-Hill, 1994.
19.
Kline P. A handbook of test construction. London: Methuen, 1986.
20.
Crow R, Gage H, Hampsom S et al. The measurement of satisfaction with healthcare: implications for practice from a systematic review of the literature. Health Technol Assess 2002; 6: 1 – 244.
21.
Hansson L. Patient satisfaction with in-hospital psychiatric care. Eur Arch Psychiatry Neurol Sci 1989; 239: 93 – 100.
22.
Meehan T, Bergen H, Stedman T. Monitoring consumer satisfaction with inpatient service delivery: the Inpatient Evaluation of Service Questionnaire. Aust NZ J Psychiatry 2002; 36: 807 – 11.

Publisert: 25. mai 2006

Utgave 11, 25. mai 2006

Tidsskr Nor Lægeforen 25. mai 2006

Manuskriptet ble godkjent 22.2. 2006.

126

:

1478-80

Publisert: 25. mai 2006

Utgave 11, 25. mai 2006

Tidsskr Nor Lægeforen 2006

126

:

1478-80

Manuskriptet ble godkjent 22.2. 2006.

PDF

Skriv ut

PasOpp – en metode for å måle brukererfaringer i psykisk helsevern

Bakgrunn

Materiale og metode

Resultater

Fortolkning

Background.

Material and methods.

Results.

Interpretation.

Materiale og metode

Datainnsamling

Statistisk analyse

Resultater

Statistisk analyse

Tabell 1

Tabell 2

Tabell 3

Tabell 4

Diskusjon

Anbefalte artikler