Effekten av aldersfordeling
Vi vil presisere at BioAlder ikke angir sannsynlighet som konfidensintervaller, slik Aarseth og medforfattere skriver, men prediksjonsintervaller. Et prediksjonsintervall er bredere enn et konfidensintervall og viser sannsynligheten for en fremtidig observasjon (3).
Aldersfordelingen av populasjonen som skal testes, vil alltid være ukjent. Kritikken som fremsettes vil derfor gjelde for alle metoder som lages, nåværende og fremtidige. Effekten av å ha en ujevn aldersfordeling der hovedparten er individer under 18 år, er noe som bekymrer både oss og Aarseth og medforfattere, siden dette fører til flere tilfeller av feilklassifisering av barn som voksne. Aarseth og medforfattere illustrerer hvordan aldersfordelingen av de som testes påvirker hvor godt BioAlders prediksjon treffer. Utlendingsdirektoratets begrunnelse for å aldersteste yngre asylsøkere er som oftest mistanke om at de er eldre enn 18 år. Å legge til grunn et eksempel der 90 % av testede er under 18 år, kan derfor synes noe ekstremt. Men la oss ta de teoretiske betraktningene først.
Hvis man kun ser på de som har fått predikert alder over 18 år og forutsetter at populasjonen som vurderes har 90/10-fordeling av reell alder under/over 18, vil metoden gi en riktig prediksjon i 65 % av tilfellene. En 70/30-fordeling av personer under/over 18 vil gi en riktig prediksjon i 88 % av tilfellene, mens for en 50/50-fordeling vil tallet bli 94 %. En enda høyere andel av personer over 18 år i den testede populasjonen vil gi enda høyere andel riktige prediksjoner. Dette er imidlertid en isolert beregning av effekten av en av mange kilder til usikkerhet i BioAlder.
Vi utfører tilsvarende valideringer med nye datasett etter hvert som de blir tilgjengelig via andres studier
Hvordan kan vi vite hvor stor feil denne kilden utgjør i praksis? I vår studie av BioAlder-modellen, som også siteres av forfatterne, valideres BioAlder med data fra Libanon (4). Datasettet inneholder røntgenbilder av tann og hånd hos 254 individer med kjent kronologisk alder, samtlige under 18 år. Vi fant at opp mot 6 % av individene hadde alder under nedre grense av 95 %-prediksjonsintervallet, og ikke 2,5 % som forventet. Det er ønskelig at disse tallene samsvarer. I vårt arbeid med å oppdatere BioAlder utfører vi tilsvarende valideringer med nye datasett etter hvert som de blir tilgjengelig via andres studier. Dette har ført til endringer i modellen for nyere versjoner. For eksempel justerte vi den øvre alderen i den antatte aldersfordelingen for gutter basert på håndrøntgen fra 21 år til 20 år (fra versjon 1.1) for i større grad å hindre at barn blir klassifisert som voksne.