Et system for studentevaluering av forelesninger ved medisinstudiet i Oslo

Sunneva Stokke, Ingeborg L. Solberg, Per Grøttum, Knut E.A. Lundin, Kristin M. Heggen, Jarle Breivik Om forfatterne

Utdanningsmyndigheter, studenter og arbeidsliv stiller i økende grad krav til kvalitet i høyere utdanning. Samtidig blir det lagt stor vekt på at studentene skal ha en aktiv rolle i utviklingen av undervisningen (1). Studentundersøkelser tyder på at medisinstudiene i Norge i begrenset grad oppfyller dette målet (2). Medisinstudiet i Oslo skårer relativt lavt på både undervisningskvalitet og studentenes mulighet for å påvirke i studieprogrammet (2).

En gruppe studenter ved medisinstudiet i Oslo tok høsten 2016 initiativ til å evaluere deler av undervisningen. De var spesielt opptatt av forelesningene og utarbeidet et kriteriebasert evalueringsskjema for å gi tilbakemeldinger til den enkelte forleser. Modellen var hentet fra studentenes erfaring med såkalt objektiv strukturert klinisk eksamen (OSKE). Dette er en eksamensform hvor studentene selv blir evaluert basert på objektive kriterier for god klinisk praksis. Gruppen utarbeidet et skjema med tilsvarende kriterier for en god forelesning. Skjemaet ble fylt ut i fellesskap av 1–3 studenter umiddelbart etter undervisningen og sendt på e‑post til den aktuelle foreleseren.

Fakultetsledelsen ønsket å gjennomføre et pilotprosjekt for evaluering av forelesninger basert på studentenes metode som ledd i arbeidet med å videreutvikle fakultetets kvalitetssystem for undervisning. I denne artikkelen beskriver vi dette prosjektet, evalueringsmetoden, resultatene og undersøkelser av hvordan studenter og forelesere oppfattet ordningen.

Materiale og metode

Profesjonsstudiet i medisin ved Det medisinske fakultet ved Universitetet i Oslo tar opp ca. 110 studenter to ganger i året. Fakultetet gjennomførte i perioden 2013–17 en omfattende studiereform med mål om «kvalitetsmessig styrking og mer relevant undervisning i tråd med nye kompetansebehov» bl.a. ved å utarbeide læringsutbyttebeskrivelser for alle fag (3).

I dette prosjektet har vi evaluert forelesninger i første og andre studieår (modul 1 og 2), som har særlig vekt på medisinske basalfag. Forelesningene i modul 1 og i første del av modul 2 ble gjennomført i felleskap med profesjonsstudiene i odontologi eller klinisk ernæring.

Evalueringsmetode

Det primære formålet med studentevalueringene var å gi den enkelte foreleser strukturert tilbakemelding om styrker og svakheter ved forelesningen, med spesiell vekt på pedagogiske faktorer. Slike formative evalueringer har fokus på dialog og utvikling, og skiller seg fra mer summative evalueringsformer, som er innrettet på kontroll og dokumentasjon av kvalitet i undervisningen (4). Ved å gjøre evalueringen systematisk og ved å gjøre resultatene tilgjengelige, bl.a. gjennom denne artikkelen, har prosjektet likevel også et visst preg av kvalitetskontroll og kvalitetsdemonstrasjon.

Studentenes egenutviklede evalueringsskjema var basert på velkjente og i stor grad objektive prinsipper for pedagogikk og forelesningsteknikk, slik som agendasetting, tilpassing av informasjonsmengden, studentaktivisering og punktlighet (58). Spørsmålene ble revidert i samarbeid med undervisningsledere og kulltillitsvalgte for å komme frem til et enkelt nettskjema for evaluering av både tavlebaserte og PowerPoint-baserte forelesninger. Skjemaet inneholdt også åpne spørsmål om hva som var bra og hva som kunne forbedres med forelesningen (se appendiks 1). Det ble dessuten lagt til et spørsmål om hvorvidt forelesningen ble tatt opp på video.

Evalueringsprosedyren

Prosedyren for evalueringen ble utviklet i samarbeid med studenttillitsvalgte og studiekoordinatorene for modul 1 og 2. Ved semesterstart inviterte utdanningsleder og studiekoordinatorene de kulltillitsvalgte til dialogmøte, bl.a. for å lære opp nye tillitsvalgte i evalueringssystemet. Studiekoordinator opprettet og administrerte et evalueringsskjema i universitetets nettskjemaportal og la ut lenke til evalueringsskjemaet på studentkullets nettside. Kulltillitsvalgte organiserte en «turnusordning» hvor tre og tre studenter fikk i oppdrag å evaluere en forelesning. Disse fylte så i felleskap ut nettskjemaet umiddelbart etter forelesningen og sendte kort tid etter det utfylte skjemaet til foreleser med en standardisert hilsen.

Evalueringene for hver modul ble arkivert og kunne hentes ut av studiekoordinator for videre analyse og rapportering.

Studentenes evaluering av forelesningene

Evalueringene av forelesningene i modul 1 og 2 våren 2017, høsten 2017 og våren 2018 ble innhentet og oppsummert. Evalueringene i modul 1 var noe ufullstendige siden ordningen krevde opplæring og innarbeiding hos nye studentkull. Studentenes fritekstsvar ble kartlagt med en enkel kvalitativ tematisk analyse av to av forfatterne (Stokke og Breivik), som sammenlignet resultatene og etablerte konsensus.

Studentenes og forelesernes vurdering av ordningen

Vi gjennomførte et semistrukturert gruppeintervju med de fire tillitsvalgte for modul 1 og 2. Vi spurte hvordan de oppfattet studentenes holdning til prosjektet, om erfaringene med å organisere og gjennomføre evalueringen, om det hadde oppstått problemer, og om de hadde ideer til videre utvikling av ordningen. I tillegg spurte vi om de hadde opplevd en forbedring av forelesningene.

For å innhente forelesernes synspunkter og erfaringer gjennomførte vi en anonymisert nettbasert spørreundersøkelse (se appendiks 2). De kvantitative dataene ble oppsummert med deskriptiv statistikk, mens fritekstsvarene ble gjenstand for en enkel kvalitativ tematisk analyse (som beskrevet over).

Alle data er innhentet med hjemmel i universitets- og høyskoleloven og behandlet i samsvar med personopplysningsloven.

Resultater

I løpet av prosjektperioden evaluerte studentene 445 av 1 663 forelesninger (27 %), 167 (20 %) i modul 1 og 278 (33 %) i modul 2. Resultatene av den kriteriebaserte vurderingen er presentert i figur 1. Majoriteten av forelesningene oppfylte de fleste av kriteriene i evalueringsskjemaet, men en betydelig andel var ikke tilpasset informasjonsmengden (21 %), poengterte ikke koblingen til læringsutbyttebeskrivelsene i faget (32 %), unnlot å aktivisere studentene (31 %) og avsluttet ikke med en oppsummering (40 %).

Figur 1 Studentenes evaluering av 445 forelesninger i modul 1 og 2 ved medisinstudiet ved Universitetet i Oslo 2017–18. Spørsmålet «Var forelesningen linket til læringsutbytte?» henviser til om foreleser poengterte forelesningens relasjon til fagets læringsutbyttebeskrivelse. Spørsmålet «Brukte foreleser aktive læringsformer?» henviser til om foreleser benyttet studentaktiviserende elementer i forelesningen.

Studentenes kommentarer i fritekstfeltet viste at studentene generelt sett var positive til forelesningene de hadde evaluert. Forelesere som brukte tavle og aktive læringsformer, fikk spesielt positive tilbakemeldinger, og studentene etterspurte mer av dette. Kritikken var i stor grad knyttet til manglende struktur, for stor informasjonsmengde og manglende kobling til læringsutbyttebeskrivelsene i faget. Studentene ga dessuten tilbakemeldinger på at noen forelesninger overlappet hverandre, og at det var behov for bedre koordinering mellom foreleserne.

Studentenes kommentarer fremsto generelt sett som konstruktive og respektfulle. Noen tilbakemeldinger var relativt krasse og direkte, men ingen ble vurdert som ufine eller trakasserende.

Studentenes vurdering av ordningen

De kulltillitsvalgte konkluderte i gruppeintervju med at studentene jevnt over var positivt innstilt til ordningen, men uttrykte samtidig at ikke alle studentene så verdien av den. Som forklaring på at mange forelesninger ikke ble evaluert, trakk de frem at det var krevende å opprettholde engasjementet for å evaluere, spesielt sent i semesteret. Samtidig mente de kulltillitsvalgte at evalueringsordningen hadde en positiv sosial effekt ved at evalueringsgrupper ble satt sammen på tvers av etablerte vennegjenger.

Som forslag til forbedringer ble det foreslått at resultatene av evalueringene bør legges frem for alle studentene, ikke bare de tillitsvalgte, slik at flere ser nytteverdien av ordningen. De tillitsvalgte etterspurte også en forbedring av den tekniske løsningen, for eksempel i form av en egen mobil-app.

Forelesernes vurdering av ordningen

Av totalt 88 forelesere svarte 52 (59 %) på undersøkelsen om studentevalueringen. Av disse var 48 generelt positive til studentevaluering av undervisning. 37 oppga at de hadde hatt nytte av tilbakemeldingene, og 29 hadde gjort endringer i forelesninger på bakgrunn av evalueringene. 4 oppga at de hadde fått evalueringer de oppfattet som ubehagelige eller utidige.

Foreleserne var delt i synet på evalueringsform. Mens 28 likte den kriteriebaserte løsningen, ville 24 foretrukket en mer subjektiv evaluering av forelesningens innhold og kvalitet basert på tilbakemeldinger fra et representativt utvalg av studenter. Mange fremhevet den raske og direkte tilbakemeldingen fra studentene som spesielt positiv, og flere forelesere fremhevet kommentarene i fritekst som den mest verdifulle delen av evalueringen.

På spørsmål om hvordan man best kan møte utfordringen med forelesere som får negative tilbakemeldinger, svarte noen at det må være opp til foreleseren selv å følge opp evalueringene, mens andre foreslo kollegaveiledning og kurs. Noen fremhevet oppfølging av foreleserne som et ledelsesansvar og foreslo at utdanningsleder tar saken opp med den enkelte.

Diskusjon

Denne studien viser hvordan vi ved medisinstudiet ved Det medisinske fakultet i Oslo har utviklet og evaluert et system for studentevaluering av forelesninger. Både studentene og foreleserne var positivt innstilt til ordningen, og vi har lagt stor vekt på å dele og diskutere resultatene med fagmiljøene. De fleste foreleserne sa at evalueringene var nyttige, og over halvparten hadde gjort endringer i forelesningene på bakgrunn av tilbakemeldingene. Gitt at de fleste foreleserne oppfylte de fleste kriteriene i skjemaet og fikk generelt gode tilbakemeldinger, oppfatter vi dette som et svært positivt resultat.

Studentene hadde valgt å fokusere på forelesningene, som er en klassisk, men også kritisert undervisningsform. Forelesninger er effektive i den forstand at én underviser kan undervise et stort antall studenter, men er samtidig svært avhengig av denne personens kommunikasjonsevner. Den er også, i all hovedsak, basert på enveiskommunikasjon og aktiviserer i begrenset grad studentens evne til kritisk tekning og problemløsning. En rekke studier viser at forelesninger generelt sett gir dårligere læringsresultat enn mer aktive læringsformer (9). Det er derfor en internasjonal trend at forelesninger erstattes av studentaktiviserende undervisningsformer, som f.eks. team-basert læring eller omvendt undervisning (på engelsk: flipped classroom) (10). Like fullt har forelesningen en sentral rolle i mange studieprogrammer, også ved medisinstudiet i Oslo. I dette prosjektet har vi derfor gitt foreleserne strukturerte tilbakemeldinger om hvordan de kan forbedre forelesningene, der et av kvalitetskriteriene nettopp var bruk av studentaktiviserende elementer.

Studentevaluering som mål på studiekvalitet er forbundet med betydelig usikkerhet og bør tolkes med varsomhet (4). Studentevalueringer kan ha preg av popularitetskonkurranser som i begrenset grad reflekterer den egentlige kvaliteten og læringsutbyttet av undervisningen. Denne kritikken underbygges av studier som har undersøkt validiteten på summative studentevalueringer. Svakheter er bl.a. knyttet til manglende validering av spørreskjemaer. Studenter kan være forutinntatt om bl.a. kjønn og etnisitet, og evalueringer som gjennomføres etter at et kurs eller emne er fullført, kan være unyanserte og påvirket av eksamensresultater (11).

Hensikten med dette prosjektet var derfor ikke å innføre studentevaluering som et objektivt mål på studiekvalitet, men å gi den enkelte foreleser tilbakemelding om hvordan undervisningen kan forbedres. Summativ evaluering av den enkelte underviser kan oppfattes som kontroll og kritikk, mens vi ønsket å evaluere forelesningene på en måte som ble oppfattet som konstruktiv og støttende. Vi antar at en evalueringsform som subjektivt skårer forelesningen på en skala fra 1 til 5, ville møtt mer motstand. Det var også et poeng at evalueringen ble gitt rett etter gjennomført undervisning, direkte fra studentene til foreleserne. Studentenes initiativ og engasjement bidro slik i stor grad til å legitimere ordningen i fagmiljøene.

Et annet suksesskriterium var at ordningen var lite arbeidskrevende. Fra forelesernes ståsted innebar den en e-post fra studentene med konkrete forslag til hvordan forelesningen kunne forbedres. For den enkelte student handlet det om å avsette 5–10 minutter til å evaluere en forelesning 2–3 ganger i hver termin. Studiekoordinatorenes oppgave var å opprette et nettskjema og å innkalle til møte med de kulltillitsvalgte én gang hver termin. Den største arbeidsoppgaven var lagt på de kulltillitsvalgte, som organiserte turnusordningen blant studentene og sendte jevnlige påminnelser for å sikre at evalueringene ble gjennomført. Tross iherdig innsats var det likevel under en tredjedel av forelesningene som ble evaluert, og det er derfor viktig å finne løsninger som både forenkler og stimulerer de kulltillitsvalgtes rolle som pådriver og motivator for videreføring av ordningen.

Vi valgte å bruke Nettskjema, som er Universitetet i Oslos løsning for datainnsamling, som teknisk løsning for evalueringene. Dette sikret intern og sikker behandling av informasjonen. Vi hadde i prosjektperioden utfordringer knyttet til hvordan studentene kunne sende evalueringsskjemaet anonymt til den enkelte foreleser, og studentene valgte å videresende via en ekstern e-postadresse. Dette problemet ble løst, og vi arbeider nå med tekniske løsninger som ytterligere forenkler evalueringsprosedyren. På sikt ser vi for oss at evaluering av ulike undervisningsformer, ikke bare forelesninger, kan organiseres i en mobil-app.

Styrker og svakheter

Den største styrken ved dette kvalitetsutviklingsprosjektet er at det bygger på studentenes engasjement for å bedre undervisningen. De har definert problemer ved forelesningene og på en konstruktiv måte tatt initiativ til å løse dem. Vi kan også vise til en relativt høy svarprosent (59 %) på spørreundersøkelsen blant foreleserne, hvor et overveiende flertall var positive til evaluering av undervisning.

Prosjektet har i stor grad blitt til underveis, i en relativt komplisert organisasjon og basert på en kombinasjon av indre og ytre påvirkninger. Vi beskriver først og fremst en prosess, og ikke en nøye planlagt intervensjon. Vi presenterer kvantitative og kvalitative data, samlet over en begrenset tidsperiode, som antyder at prosjektet har bidratt til å forbedre undervisningen, men vi har ikke mål på om studentene har hatt økt læringsutbytte som resultat av ordningen. En slik studie vil kreve et mer langsiktig og stringent forskningsdesign.

Konklusjon

I denne studien har vi vist hvordan studentevaluering kan bidra til å forbedre kvaliteten på forelesningene i medisinstudiet. Slik studentevaluering er ikke nødvendigvis et godt mål på kvalitet i undervisning, men den kan være et godt middel for dialog og samarbeid om å utvikle god undervisning. Dermed har vi også tatt et viktig steg i utviklingen av en «kultur for kvalitet», nettopp slik stortingsmeldingen om studiekvalitet etterlyser (1).

Hovedfunn

Systemet med direkte evaluering av den enkelte forelesningen ble godt mottatt av foreleserne

Foreleserne brukte evalueringene til å forbedre forelesningene

Det er behov for tekniske løsninger som forenkler systemet

Artikkelen er fagfellevurdert.

1

Meld. St. 16 (2016–2017). Kultur for kvalitet i høyere utdanning.

2

NOKUT. Studiebarometeret 2018. www.studiebarometeret.no/ Lest 18.4.2019.

3

Frich J, Wium K. Sluttrapport for Oslo 2014: Revidert studieplan for profesjonsstudiet i medisin. Universitetet i Oslo: Det medisinske fakultet, 2017.

4

Spooren P, Brockx B, Mortelmans D. On the validity of student evaluation of teaching. Rev Educ Res 2013; 83: 598–642. [CrossRef]

7

Jen A, Webb EM, Ahearn B et al. Lecture evaluations by medical students: concepts that correlate with scores. J Am Coll Radiol 2016; 13: 72–6. [PubMed][CrossRef]

8

Skodvin A. Mellom kateter og kaos: forelesning i forskjellige varianter. Oslo: Cappelen Akademisk Forlag, 2006: 125–39.

9

Freeman S, Eddy SL, McDonough M et al. Active learning increases student performance in science, engineering, and mathematics. Proc Natl Acad Sci U S A 2014; 111: 8410–5. [PubMed][CrossRef]

10

Chen F, Lui AM, Martinelli SM. A systematic review of the effectiveness of flipped classrooms in medical education. Med Educ 2017; 51: 585–97. [PubMed][CrossRef]

Kommentarer

(2)

Martin Biermann

Det er et flott initiativ som Universitet i Oslo (UiO) har tatt for å forbedre kvaliteten i utdanningen av medisinstudenter. Men hvorfor fokuserer UiO kun på forelesninger, et undervisningsformat som er i ferd med å bli utdatert?

Breivik Jarle

Vi takker Biermann et al. for kommentaren og deler fullt og helt deres entusiasme for studentmedvirkning og aktive læringsformer. Vårt felles engasjement kommer bl.a. til uttrykk ved at medisinstudiene ved UiB og UiO i dag samarbeider om å tilby studentene en portefølje av valgfrie emner i studiet – med stort innslag av aktive læringsformer.

Anbefalte artikler