Jo Røislien skriver at bildet av den døde laksen viste «tre statistisk signifikante prikker» (1).
Menes at bildet viste tre områder hvor det før og etter stimulering var en forskjell i signalstyrke (longitudinell studie), eller kun en forskjell i signalstyrke mellom forskjellige anatomiske områder (tversnittstudie)? Presiseringen er helt avgjørende for å vurdere dette funnet. I en tversnittstudie kan en forskjell i prikkene vise reelle kjemiske forskjeller, også hos en død laks.
Begrepet «statistisk signifikant» er vanligvis knyttet til en p-verdi. I dette tilfellet synes imidlertid ordet «signifikant» å være knyttet til en t-verdi. T-verdier er en form for kvantifisering av forskjeller, altså et litt komplisert effektestimat som er uavhengig av antall observasjoner. P-verdien derimot, er sterkt avhengig av antallet slik at ubetydelige forskjeller blir signifikante bare antallet observasjoner er stort.
Eva Skovlund skiller mellom p- og t- med følgende formulering: «Skal man vurdere klinisk relevans, gir et effektestimat … mye mer informasjon enn en p-verdi» (2). Videre vurdering av effektestimater krever biologisk og eller medisinsk innsikt.
Om man stiller mange eller kun ett spørsmål vil man kunne få svar som kan klassifiseres som falskt positive. Men skal slike svar undertrykkes med matematiske metoder, eller gis en medisinsk, biologisk vurdering? I denne diskusjonen må en også trekke inn begrunnelser for ikke å utføre korreksjon for multiple spørsmål, for eksempel hvis spørsmålene er velbegrunnede og/eller uavhengige av hverandre. En parameter kan fremtre som et falskt positivt funn i en normalbefolkning, men den kan være biologisk betydningsfull i en undergruppe. Da er det bortkastet om man med matematiske metoder har undertrykket funn.
Uansett, bruk begrepet «statistisk signifikant» konsekvent, eller aller helst; skrot p-verdien (3) og som en konsekvens, begrepet «signifikant»; men, gi oss så mange effektestimater dere har, kanskje vil en eller annen av oss se noe «biologisk signifikant». Eller som det er formulert i Epidemiology (4): «… scientists should not be so reluctant to explore leads that may turn out to be wrong that they penalize themselves by missing possibly important findings».