Intraklassekorrelasjonskoeffisienten
I den aktuelle studien var gjennomsnittsskåren 7,30. Variansen mellom deltakerne var 33,44, variansen mellom observatørene 0,74 og residualvariansen 2,93. Totalvariansen er lik summen av disse, altså 37,11. Disse varianskomponentene kan brukes til å beregne forskjellige mål på samsvar mellom observasjoner ved hjelp av intraklassekorrelasjonskoeffisienten.
Korrelasjonen mellom skårer fra to observatører på samme deltaker er lik varians mellom deltakerne delt på totalvariansen, altså 33,44 / 37,11 = 0,90 (4, s. 121). Denne intraklassekorrelasjonskoeffisienten er et mål på interobservatørsamsvar (inter-rater reliability). Korrelasjonen mellom to skårer fra samme observatør på samme deltaker, derimot, er lik summen av varians mellom deltakerne og varians mellom observatørene, delt på totalvariansen, altså (33,44 + 0,74) / 37,11 = 0,92 (4, s. 129). Denne intraklassekorrelasjonskoeffisienten er et mål på intraobservatørsamsvar (intra-rater reliability), altså hvis observatøren skårer samme deltaker på ny etter å ha glemt hvilken skår som ble gitt første gang.
Hvordan skal vi vurdere størrelsen på intraklassekorrelasjonskoeffisienten? Det finnes ingen generell standard for dette. Intraklassekorrelasjonskoeffisienten er en relativ størrelse og vil være større jo mer inhomogent utvalget er. Et forslag fra Koo og Li kan imidlertid tjene som en retningslinje (5): < 0,50, 0,50–0,75, 0,75–0,90 og 0,90–1 regnes som henholdsvis dårlig, moderat, godt og svært godt. Korrelasjonene på 0,90 og 0,92 i denne studien viser et godt eller svært godt samsvar.
Det finnes alternative beregningsmåter og definisjoner av intraklassekorrelasjonskoeffisienten. I de ovennevnte eksemplene ble det brukt en toveis tilfeldig-effekt-modell. En oversikt over alternativer finnes i Veierød og medarbeidere (6, s. 487). Notasjonen for alternativene er ikke entydig i litteraturen, så det er viktig å skrive i klartekst hvilken metode man bruker. I mange tilfeller vil en toveis tilfeldig-effekt-modell være egnet.