Lik eller ulik varians?
En mulig fremgangsmåte kunne være å først teste en hypotese om at variansen er lik i de to gruppene. Levenes test og Fishers F-test er eksempler på slike tester. Deretter, dersom man forkaster hypotesen om lik varians, bruker man Welchs test – ellers bruker man Students t-test. En slik totrinns testprosedyre er ikke å anbefale, selv om den fremdeles omtales i enkelte lærebøker. Et vesentlig problem er at prosedyren ikke holder signifikansnivået (2).
Noen ganger kan man ha apriorisk kunnskap som tilsier at den underliggende variansen er lik i de to gruppene. Dette kan for eksempel være tilfelle når variansen skyldes måleusikkerhet ved den målemetoden som er brukt. Da er dette et godt grunnlag for å velge Students t-test. Det kan være fristende å anta at den underliggende variansen er lik dersom estimert varians ikke er veldig ulik, men ulempen er at estimatet kan avvike en del fra underliggende varians hvis utvalgene er små. Enkelte lærebøker, for eksempel Navidis Statistics for Engineers and Scientists (3), anbefaler å bruke Students t-test bare hvis man har apriorisk kunnskap som underbygger antakelsen om lik varians. Der påpekes det at dersom vi bruker Welchs test selv om den underliggende variansen er lik, så får vi tilnærmet samme svar som ved Students t-test. På den annen side vil vi risikere å få feil svar hvis vi bruker Students t-test når den underliggende variansen er ulik. En annen og viktig fordel med Welchs test er at den er mer robust enn Students t-test mot avvik fra antakelsen om normalfordelte data, som gjør at den kan anvendes i langt flere situasjoner (4).
Students t-test er forholdsvis robust mot ulik varians, med mindre det ene utvalget er vesentlig større enn det andre (5, 6). Enkelte forskere anbefaler derfor Students t-test når det observerte standardavviket i gruppen med størst standardavvik ikke er større enn for eksempel dobbelt så stort som standardavviket i gruppen med minst standardavvik (5), mens andre er skeptiske til å basere valget på observerte standardavvik (3).
Har Students t-test noen fordeler sammenliknet med Welchs test? Slik vi ser det, har den ikke så mange, men Students t-test har litt høyere teststyrke enn Welchs test ved lik utvalgsstørrelse. I motsetning til Welchs test er den også mulig å beregne for hånd, noe som gjør den velegnet til bruk i undervisning.