Background.
Questionnaires on patient experience are increasingly used as quality indicators in the health services. There is limited evidence relating to alternative approaches to surveying patients within this field. We wanted to assess the effect of different methods of data collection on response rates and scores produced by a self-administered questionnaire on patient experience for adult inpatients receiving mental health care.
Material and methods.
Data were collected from adult inpatients treated at three community mental health centres affiliated with the psychiatric clinic at Stavanger University hospital in spring 2005. The inclusion period was nine weeks, with three designs at consecutive time periods: A, a postal survey following discharge; B, a clinical survey before discharge; and C, patients given the choice of A or B.
Results.
The response rate was highest with the postal design (38 % vs. 24 % and 23 % respectively), but the differences were related to one additional reminder in the postal design. Out of the 11 questions, 4 had significantly poorer scores for the postal design. Questionnaire scores were significantly poorer with the postal design; 50 (on a scale from 0 to 100), vs. 59 and 63 in design B and C respectively.
Interpretation.
The choice of data collection methods influences the results in user surveys in mental health care. This is an important consideration in the planning of studies and in the interpretation of the results, and in the comparison of results between studies using different data collection methods.
Pasienterfaringsstudier er utbredt og brukes som en av flere kilder for å evaluere kvaliteten på helsetjenesten (1) – (3). I Norge benyttes pasienterfaringer som nasjonale kvalitetsindikatorer for spesialisthelsetjenesten (4), og fra og med 2004 er pasientenes vurdering av tjenestene i psykisk helsevern inkludert.
En viktig utfordring for pasienterfaringsstudier er metodologiske problemer, inkludert lav svarprosent og måleinstrumenter med svak kvalitetsdokumentasjon (1, 2, 5). Studier innen psykisk helsevern er ikke noe unntak (6) – (8). I Norge finnes flere validerte pasienterfaringsinstrumenter (9, 10), og i en annen artikkel i dette nummeret har vi beskrevet valideringen av et instrument for å måle pasienterfaringer blant utskrevne døgnpasienter i psykisk helsevern (11).
Pasienterfaringsundersøkelser i psykisk helsevern har ofte stort frafall (6, 8, 11). I en nasjonal undersøkelse blant polikliniske pasienter i psykisk helsevern var svarprosenten 44,5 (12), og i en regional pilotundersøkelse i Helse Vest blant døgnpasienter var svarprosenten 30 (12). Når mer enn halvparten av pasientene i utvalget ikke svarer, blir representativiteten tvilsom. I flere store helseundersøkelser er det påvist strukturelle skjevheter i utvalget ved at personer med lavere utdanning og sosioøkonomisk status er underrepresentert (2, 13, 14). Rusmisbrukere og andre med psykiatriske diagnoser har også vist seg å være underrepresentert (14), så også personer med kognitive svekkelser (2, 14).
Det store frafallet i pasienterfaringsundersøkelser og påviste strukturelle skjevheter må tas på alvor. Det er viktig med høyest mulig svarprosent for å beskytte mest mulig mot responsskjevhet (2), men dette må skje innenfor forsvarlige metodologiske, praktiske og økonomiske rammer. Intervjumetoder har f.eks. vist seg å generere høyere svarprosent i pasienterfaringsundersøkelser enn postale undersøkelser (2, 15), men disse er langt dyrere enn postal innsamling (2, 16). Vi har derfor ønsket å undersøke hvordan ulike varianter av postal innsamling påvirker svarprosent og pasientevalueringer.
I 2005 gjennomførte Kunnskapssenteret en nasjonal undersøkelse blant døgnpasienter. I forkant av dette har vi gjort en pilotundersøkelse ved Psykiatrisk klinikk i Helse Stavanger for å teste ut ulike innsamlingsmåter. Vi ønsket å finne ut mer om hvordan innsamlingsmåte påvirker svarprosent og nivået på den pasientopplevde kvaliteten. Tradisjonell postal spørreskjemainnsamling ble benyttet, i tillegg til to andre innsamlingsmåter hvor institusjonene ble involvert i innsamlingen. Det finnes indikasjoner i litteraturen på at mer personlige innsamlingsmåter gir høyere svarprosent (15), men samtidig at slike innsamlingsmåter gir mindre kritiske tilbakemeldinger fra pasientene (2). Vi forventet derfor at den postale designen ville gi lavest svarprosent og det laveste nivået på pasientopplevd kvalitet.
Materiale og metode
Studien omfattet voksne døgnpasienter som ble utskrevet fra tre distriktspsykiatriske sentre under Psykiatrisk klinikk i Helse Stavanger våren 2005, og bestod av tre undersøkelsesperioder hver på tre uker. I den første perioden sendte Kunnskapssenteret et spørreskjema hjem til pasientene noen dager etter at undersøkelsesperioden var over, og utfylt skjema ble returnert til Kunnskapssenteret. De som ikke svarte, fikk én purring etter fire uker. I den andre perioden delte de ansatte ut spørreskjemaet i forkant av utskrivning, og pasienten kunne enten fylle ut og levere svaret i lukket konvolutt på institusjonen eller fylle ut og sende i posten til Kunnskapssenteret etter hjemkomst. I den tredje perioden delte de ansatte ut spørreskjemaet i forkant av utskrivning og pasienten fikk beskjed om at skjemaet skulle leveres tilbake i lukket konvolutt på institusjonen før hjemreise. I periode 2 og 3 ble undersøkelsen gjennomført anonymt, og primærkontakten til pasienten eller avdelingssykepleier hadde ansvaret for at spørreskjemaene ble utdelt og ev. innsamlet. For enkelhets skyld refererer vi til periode 1 som postal design, selv om alle periodene er varianter av postal design.
Pasienterfaringsundersøkelsene som gjennomføres av Kunnskapssenteret (PasOpp) er godkjent av regional komité for medisinsk forskningsetikk. Vi har dispensasjon fra taushetsplikten i forbindelse med innsamling av data og konsesjon for å opprette de nødvendige personregistre.
Spørreskjema og variabler
Spørreskjemaet inneholdt spørsmål om ulike erfaringer fra oppholdet, generell tilfredshet, utbytte og bakgrunnsvariabler. Pasienterfaringsinstrumentet har dokumentert tilfredsstillende reliabilitet og validitet (11). Psykiatrisk klinikk overførte i tillegg pasientadministrative data for hver pasient, om bl.a. kjønn, alder, liggetid og innleggelsesmåte. I denne studien ser vi på resultater for samledimensjonen i instrumentet samt for de 11 underliggende enkeltspørsmålene. Hvert spørsmål har en svarskala med fem svarverdier.
Analyse
Vi benyttet statistikkprogrammet SPSS for å analysere materialet. Vi presenterer deskriptiv statistikk med gjennomsnitt, standardavvik og andeler. Vi sammenlikner svarprosenten i de ulike innsamlingsperiodene, og ser på fordelingen på kjønn, alder, innleggelsesmåte, liggedager og egenvurdert helse i totalutvalget og blant svarerne i de tre ulike undersøkelsesperiodene. Ettersom design 2 og 3 er gjennomført anonymt, har vi kun informasjon om innleggelsesmåte og liggedager for bruttoutvalget (fra det pasientadministrative systemet). Egenvurdert helse er spørreskjemadata og finnes følgelig kun for nettoutvalgene.
For å undersøke forskjeller i nivået på pasientopplevd kvalitet, sammenlikner vi gjennomsnittsverdier på samledimensjonen og underliggende enkeltspørsmål mellom de tre ulike innsamlingsmåtene. Vi benyttet t-test for å teste om forskjellene var signifikante, og i disse analysene ble design 2 og 3 slått sammen.
Resultater
244 pasienter som hadde vært innlagt ved de tre distriktspsykiatriske sentrene, ble inkludert i undersøkelsen. 68 spørreskjemaer ble returnert (28 %). Svarprosenten var høyest i periode 1 (tab 1) (27/72, 38 %) og lavere i de to neste periodene (henholdsvis 20/82, 24 % og 21/90, 23 %). Svarprosenten var signifikant høyere i periode 1 sammenliknet med de andre periodene samlet (p < 0,05), men forskjellen skyldtes den ekstra purringen i periode 1; ca. 17 % av svarerne i den postale designen gav tilbakemelding etter å ha bli purret.
Tabell 1
Kjennetegn ved bruttoutvalg og nettoutvalg, etter innsamlingsmåte
Postal design |
Utdeling på institusjon, valgfritt utfyllingssted |
Utdeling og utfylling på institusjonen |
||||||
Bruttoutvalg (n = 72) |
Nettoutvalg (n = 27) |
Bruttoutvalg (n = 82) |
Nettoutvalg (n = 20) |
Bruttoutvalg (n = 90) |
Nettoutvalg (n = 21) |
|||
Kjønn, kvinner (%) |
56 |
70 |
45 |
47¹ |
60 |
60¹ |
||
Alder, gjennomsnitt (SD) |
38 (15) |
39 (16) |
40 (15) |
42 (17)¹ |
39 (17) |
36 (14)¹ |
||
Akutt innlagte pasienter (%) |
18 |
15 |
17 |
– |
11 |
– |
||
Antall liggedager, median (SD) |
18 (36) |
26 (36) |
9 (31) |
– |
19 (101) |
– |
||
Dårlig egenvurdert helse (%) |
– |
30¹ |
– |
21¹ |
– |
20¹ |
||
[i] |
[i] ¹ Spørreskjemadata
Tabell 2
Gjennomsnitt (SD) på samledimensjonen og underliggende enkeltspørsmål, etter innsamlingsmåte
Postal design |
Utdeling på institusjon, valgfritt utfyllingssted |
Utdeling og utfylling på institusjonen |
|
Samledimensjon 1 |
49,9 (19,5) 3 |
58,9 (21,1) |
63,0 (17,9) |
1 Utbytte av behandling 2 |
2,0 (1,0) 3 |
2,5 (0,9) |
2,6 (1,0) |
2 Endring i psykiske plager |
2,4 (0,9) |
2,7 (1,0) |
3,0 (0,8) |
3 Ansatte forberedte deg på utskrivning |
1,3 (1,0) 3 |
1,9 (1,0) |
2,0 (1,4) |
4 Nok tid til samtaler/kontakt |
2,2 (1,0) |
2,4 (1,3) |
2,3 (1,1) |
5 Forstod behandler din situasjon |
2,0 (1,1) 4 |
2,4 (1,1) |
3,0 (0,8) |
6 Fikk du fortalt det som var viktig om din tilstand |
2,1 (1,1) 3 |
2,6 (1,1) |
2,7 (1,0) |
7 Behandling tilpasset din situasjon |
1,8 (1,2) |
2,3 (1,2) |
2,3 (1,3) |
8 Innflytelse på behandlingsopplegg |
1,6 (0,9) |
1,9 (1,1) |
2,1 (1,2) |
9 Erfaringer med andre ansatte |
2,8 (0,9) |
2,7 (0,9) |
3,1 (1,1) |
10 Behandlingsmuligheter |
1,9 (1,1) |
2,4 (1,3) |
2,3 (1,4) |
11 Psykiske plager/diagnose |
1,8 (1,3) |
1,9 (1,3) |
2,4 (1,2) |
[i] |
[i] 1 Gjennomsnitt dimensjoner på skala 0 – 100, hvor 100 er beste skåre
2 Gjennomsnitt enkeltspørsmål på skala 0 – 4, hvor 4 er beste skåre
Signifikanstestet postal design mot de andre designene kombinert
³ p < 0,05
⁴ p < 0,01
I den postale designen var kvinner overrepresentert blant svarerne (tab 1), men dette gjaldt ikke i de andre periodene. Det var ingen forskjeller i aldersgjennomsnitt mellom bruttoutvalg og nettoutvalg i noen av periodene. Kjønnsfordeling og gjennomsnittlig liggetid varierte noe mellom bruttoutvalgene i de tre periodene, og det gjorde også andelen med dårlig egenvurdert helse i nettoutvalgene.
Gjennomsnittsresultatet på samledimensjonen er langt lavere blant pasienter i den postale designen enn i de to andre designene. På samledimensjonen er gjennomsnittsverdien i den postale designen på 50 (på en skala fra 0 – 100 hvor 100 er best), mot 59 i design 2 og 63 i design 3. Resultatene er signifikant forskjellige på samledimensjonen og fire av 11 enkeltspørsmål.
Diskusjon
Det var høyest svarprosent i den postale designen, men en vesentlig forskjell mellom de ulike designene er at det kun ble purret i den postale designen. Purring er en viktig faktor for å øke svarprosenten i utvalgsundersøkelser (2, 13, 17, 18), og i vår studie gav ca. 17 % av svarerne i den postale designen tilbakemelding etter å ha blitt purret. Bortsett fra forskjellen i svarprosent som skyldes purring, er det ingen substansiell forskjell i svarprosent mellom postal design og de andre innsamlingsmåtene. Dette er ikke i tråd med litteraturgjennomgangen til Sitzia & Wood (15), som konkluderte med at personlig kontakt i rekruttering og datainnsamling er viktig for å øke svarprosenten i pasienterfaringsundersøkelser.
I design 2 og 3 var det lokal administrering av spørreskjemaer, noe som gir nye oppgaver og merarbeid for institusjonene. I tillegg er Kunnskapssenteret både eksterne i forhold til de som skal administrere undersøkelsen og de som skal svare. Kombinasjonen av eksternt eierskap og praktiske utfordringer kan ha ført til lavere motivasjon og feil og forglemmelser i datainnsamlingen. Det var imidlertid kun åtte pasienter som ble uteglemt i periode 2 og 3, enten ved at de ikke fikk spørreskjemaet utdelt eller ved at de glemte å levere inn skjemaet. Lokale pasienterfaringsundersøkelser ved Psykiatrisk klinikk har dessuten gitt omtrent samme svarprosent som i vår undersøkelse. Det er dermed lite sannsynlig at kombinasjonen av lokal administrering og eksternt eierskap er en viktig forklaring på hvorfor personlig kontakt ikke gav den forventede effekt på svarprosenten.
Pasientens primærkontakt eller ev. avdelingssykepleier hadde ansvaret for administreringen, enten ved at de selv utførte oppgaven eller delegerte den til andre. Dette ble bestemt etter råd fra Psykiatrisk klinikk, som har det beste kjennskapet til hverdagen og organiseringen på institusjonene. Det er mulig at involvering av behandlerne i administreringen ville vært positivt i forhold til svarprosent, gitt at dette medfører et sterkere relasjonelt press for å delta. Dette var imidlertid ikke aktuelt, både av ressurshensyn og fordi involvering av behandlerne ble forventet å påvirke svarerne til å gi mer positive tilbakemeldinger.
Det er viktig å peke på at studien til Sitzia & Wood (15) gjelder alle pasientgrupper, dvs. at funnene ikke automatisk er gyldige for døgnpasienter i psykisk helsevern. Det samme metodiske opplegget vil kunne generere ulike resultater for ulike pasientgrupper. Det er derfor viktig å undersøke metodiske tiltak kontekstuelt, spesielt for å avdekke ev. forskjeller i effekter mellom ulike pasientgrupper. Vår studie er liten, men gir likevel indikasjoner på at involvering av institusjonen i rekrutteringsfasen ikke er effektivt for å øke svarprosenten blant døgnpsykiatriske pasienter.
Pasientene i den postale designen var mer kritiske enn i de andre designene. Dette er i tråd med litteraturgjennomgangen til Crow og medarbeidere (2), som viste at mindre personlige innsamlingsmåter, inkludert postalt spørreskjema gir lavere tilfredshetsnivå. Hovedforklaringen som vanligvis gis på dette, er at anonymiteten er mindre truet og at det ikke er noe press for å gi sosialt akseptable svar (1, 2, 7). En annen mulig forklaring kan være at de ekstra respondentene i det postale opplegget er mer kritiske enn de andre respondentene. De som svarer etter purring kan teoretisk betraktes som ikke-svarere. Det finnes indikasjoner i litteraturen på at svarere er mer tilfredse enn ikke-svarere (6, 19), men funnene er motstridende (7, 20). I den postale designen i vår studie var det ingen forskjell i pasientopplevd kvalitet mellom de som svarte før og etter purring.
Vi gjennomførte studien i tre perioder med hver sin design. Studien er imidlertid ikke randomisert, slik at mulige forklaringer på forskjellene i pasienterfaringer kan være variasjon i kvalitet mellom periodene og/eller forskjeller i pasientsammensetning.
Undersøkelsen fant sted i perioder som lå tett opptil hverandre tidsmessig, og alle periodene var høyaktivitetsperioder. Det var heller ingen organisasjonsendringer i de angjeldende tidsrom og bemanningen var lik og stabil. Det er dermed lite som taler for at kvalitetsforskjeller mellom periodene er en viktig forklaring på forskjellene i pasientopplevd kvalitet.
Alder og egenvurdert helse er viktige forklaringsfaktorer for variasjon i pasienterfaringer (2), også innen psykisk helsevern (21). Studiens størrelse begrenser muligheten for justering av forskjeller i pasientsammensetning mellom periodene, for eksempel ved hjelp av regresjonsanalyse. Vi har gjort analyser som viser at alder og egenvurdert helse har liten effekt på tilfredshet i denne studien. Vi har heller ikke funnet systematiske forskjeller i andre tilgjengelige individuelle kjennetegn mellom de ulike innsamlingsperiodene som kan forklare de forskjellene i pasientopplevd kvalitet som er observert (kjønn, innleggelsesmåte, liggedager). Det er imidlertid flere bakenforliggende variabler vi ikke har tilgang til, f.eks. alvorlighetsgrad og diagnose, og dette gjør at vi ikke kan utelukke strukturelle forskjeller mellom periodene. Effekten av slike strukturelle forskjeller er imidlertid uklar, da sammenhengen mellom alvorlighetsgrad/diagnose og pasientopplevd kvalitet ikke er entydig i litteraturen (7, 22).
Selv om svarprosenten i det postale opplegget i denne studien er på nivå med andre tilsvarende undersøkelser (7, 21, 23), må nivået karakteriseres som utilfredsstillende. Dersom denne pasientgruppen skal inkluderes i nasjonale pasienterfaringsundersøkelser, må det gjennomføres flere tiltak for å øke svarprosenten, som flere purrerunder (2, 13, 17, 18) og incentiver for deltakelse (13, 17, 24), og det bør samles inn mest mulig data fra ikke-svarere (inkludert oppfølgingsstudie) for å undersøke om det er forskjeller mellom svarere og ikke-svarere.
Oppgitte interessekonflikter: Ingen
- 1.
Sitzia J, Wood N. Patient satisfaction: a review of the issues and concepts. Soc Sci Med 1997; 45: 1829 – 43.
- 2.
Crow R, Gage H, Hampsom S et al. The measurement of satisfaction with healthcare: implications for practice from a systematic review of the literature. Health Technol Assess 2002; 6: 1 – 244.
- 3.
Lasek RJ, Barkley W, Harper DL et al. An evaluation of the impact of nonresponse bias on patient satisfaction surveys. Med Care 1997; 35: 646 – 52.
- 4.
Sosial og helsedirektoratet. Fritt Sykehusvalg Norge. http://www.sykehusvalg.net/ (23.12.2005).
- 5.
Sitzia J. How valid and reliable are patient satisfaction data? An analysis of 195 studies. Int J Qual Health Care 1999; 11: 319 – 28.
- 6.
Lebow JL. Client satisfaction with mental health treatment: methodological considerations in assessment. Eval Rev 1983; 7: 729 – 52.
- 7.
Sørgaard KW. Bruk av tilfredshetsundersøkelser i evaluering av psykiatriske helsetjenester. En litteraturgjennomgang. Tidsskr Nor Psykologforen 1996; 33: 11 – 25.
- 8.
Powell RA, Holloway F, Lee J et al. Satisfaction research and the uncrowned king. Challenges and future directions. Journal of Mental Health 2004; 13: 11 – 20.
- 9.
Pettersen KI, Veenstra M, Guldvog B et al. The Patient Experiences Questionnaire: development, validity and reliability. Int J Qual Health Care 2004; 16: 453 – 63.
- 10.
Garratt A, Bjertnæs ØA, Krogstad U et al. Pasienterfaringsinstrumentet PasOpp i somatiske poliklinikker Tidsskr Nor Lægeforen 2005; 125: 421 – 4
- 11.
Garratt A, Danielsen K, Bjertnæs ØA et al. PasOpp – en metode for å måle brukererfaringer i psykisk helsevern Tidsskr Nor Lægeforen 2006; 126: 1478 – 80.
- 12.
Andresen Ø, Bjørngaard JH, Dahle KA et al. Måling av brukererfaringer blant voksne i det psykiske helsevernet: innsamlingsmetode og spørreskjema. Utredningsrapport 9/2004. Oslo: Nasjonalt kunnskapssenter for helsetjenesten, 2004.
- 13.
McColl E, Jacoby A,Thomas L et al. Design and use of questionnaires: a review of best practice applicable to surveys of health service staff and patients. Health Technol Assess 2001; 5: 1 – 256.
- 14.
Koponen P, Aromaa A. Survey design and methodology in national health interview and health examination surveys (Health Surveys in the EU: HIS and HIS/HES Evaluations and Models Phase 2/Subproject 3). http://europa.eu.int/comm/health/ph_projects/2000/monitoring/fp_monitoring_2000_annexe14_04_en.pdf (22.2. 2006).
- 15.
Sitzia J, Wood N. Response rate in patient satisfaction research: an analysis of 210 published studies. Int J Qual Health Care 1998; 10: 311 – 7.
- 16.
Haraldsen G. Spørreskjemametodikk etter kokebokmetoden. Oslo: Ad Notam Gyldendal, 1999.
- 17.
Edwards P, Roberts I, Clarke M et al. Increasing response rates to postal questionnaires: systematic review. BMJ 2002; 324: 1183 – 5.
- 18.
Asch DA, Jedrziewski KM, Christiakis NA. Response rates to mail surveys published in medical journals. J Clin Epidemiol 1997; 50: 1129 – 36.
- 19.
Rubin HR. Patient evaluations of hospital care: a review of the literature. Med Care 1990; 28(suppl 9): S3 – 9.
- 20.
Guldvog B, Hofoss D, Pettersen K et al. PS-RESKVA – pasienttilfredshet i sykehus. Tidsskr Nor Lægeforen 1998; 118: 386 – 91.
- 21.
Rosenheck R, Wilson NJ, Meterko M. Influence of patient and hospital factors on consumer satisfaction with inpatient mental health treatment. Psychiatr Serv 1997; 48: 1553 – 61.
- 22.
Calsyn RJ, Morse GA, Klinkenberg WD et al. Moderators and mediators of client satisfaction in case management programs for clients with severe mental illness. Ment Health Serv Res 2002; 4: 267 – 75.
- 23.
Hansson L. Patient satisfaction with in-hospital psychiatric care: a study of a 1-year population of patients hospitalized in a sectorized care organization. Eur Arch Psychiatry Neurol Sci 1989; 239: 93 – 100.
- 24.
Osborn C, Reeves R, Howell E et al. Development and pilot testing of the questionnaire for use in NHS Trust-Based Mental Health service user survey. Oxford: Picker Institute Europe, 2004. www.nhssurveys.org/docs/MH2004_Development_Report.pdf (23.12.2005).