I en presentasjon av GPT-4 datert mars 2023 (1) påpekes følgende, etter å ha anført 2023 som året for AI-teknologi: «Når det er sagt, lider GPT-4 fortsatt av de samme problemene som tidligere modeller. Å gi feilinformasjon og hallusinasjoner er noen av dem.»
Et annet arbeide, også fra 2023, har vurdert hvilke konsekvenser GPT-4 kan ha innenfor medisin og konkluderer med at, tatt i betraktning mulighetene for å begå feil i en virkelig verden, er det viktig å utvise forsiktighet og forstand, samt å minimere risiko assosiert til bruken (2).
Språkmodellene synes å fungere når det gjelder å finne frem i etablert viten. Eksempel på det er at språkmodellene får graderingen bestått ved å besvare eksamensoppgaver, alt fra kosmologi til medisin, men karakterene synes kun å være middels. Ett arbeide, publisert i 2023, viser at språkmodellen Chat GPT 4.0, etter å ha fått tilgang til vanlige kliniske data, stilte en riktig diagnose kun i 38% av tilfellene, og konkluderer med at «in its current form it does not significantly improve diagnostic yield in primary or secondary care» (3).
I desember 2023 omtaler «The Journal of Continuing Education in Nursing» introduksjonen av elektroniske journaler som høyst frustrerende fordi brukerne ikke ble involvert før etter en lang og kostbar utvikling, og brukerne ble overrasket av søppelet (garbage) som ble produsert. Artikkelen uttrykker et ønske om at man ved inngangen til 2024 kan gå fra GIGO (Garbage In, Garbage Out) og til BIBO (Better Input, Better Outcome) (4).
Problemet knyttet til bruk av kunstig intelligens innenfor helse og medisin er at mange av våre medisinske termer har forskjellig betydning avhengig av den kontekst termen benyttes i. Problemet er å etablere et semantisk samvirke, ofte omtalt som medisinsk ontologi (5).
Jeg tror det kan være riktig at kompetente fagpersoner i større grad enn til nå går inn i en veiledende rolle innenfor videreutvikling av e-helse. En tre år gammel artikkel er neppe helt utdatert med følgende påpekning: «Beslutningen om digitalisering i helsetjenesten opererer ved siden av den tradisjonelle medisinskfaglige verdenen» (6).
Også andre sider ved e-helse krever vår overvåkning, for eksempel bruken av Snomed-CT (7) til å definere begreper. Viktig for oss er det også å skille mellom assosiasjon og kausalitet (8), noe som ikke synes å inngå i maskinlæring.
3. Stoneham S, Livesey A, Cooper H et al. Chat GPT vs Clinician: challenging the diagnostic capabilities of A.I. in dermatology. Clin Exp Dermatol 2023; Nov 19:llad402. doi: 10.1093/ced/llad402. Epub ahead of print. PMID: 37979201. https://pubmed.ncbi.nlm.nih.gov/37979201/
5. Liyanage H, Krause P, de Lusignan S. Using ontologies to improve semantic interoperability in health data. J Innov Health Inform.
2015; 22(2): 309–315. http://dx.doi.org/10.14236/jhi.v22i2.159
6. Prøsch SM. E-helse? Tidsskr Nor Legeforen 2020; 140. doi: 10.4045/tidsskr.20.0874
Ikke-veiledet maskinlæring er prematurt i helse og medisin
I en presentasjon av GPT-4 datert mars 2023 (1) påpekes følgende, etter å ha anført 2023 som året for AI-teknologi: «Når det er sagt, lider GPT-4 fortsatt av de samme problemene som tidligere modeller. Å gi feilinformasjon og hallusinasjoner er noen av dem.»
Et annet arbeide, også fra 2023, har vurdert hvilke konsekvenser GPT-4 kan ha innenfor medisin og konkluderer med at, tatt i betraktning mulighetene for å begå feil i en virkelig verden, er det viktig å utvise forsiktighet og forstand, samt å minimere risiko assosiert til bruken (2).
Språkmodellene synes å fungere når det gjelder å finne frem i etablert viten. Eksempel på det er at språkmodellene får graderingen bestått ved å besvare eksamensoppgaver, alt fra kosmologi til medisin, men karakterene synes kun å være middels. Ett arbeide, publisert i 2023, viser at språkmodellen Chat GPT 4.0, etter å ha fått tilgang til vanlige kliniske data, stilte en riktig diagnose kun i 38% av tilfellene, og konkluderer med at «in its current form it does not significantly improve diagnostic yield in primary or secondary care» (3).
I desember 2023 omtaler «The Journal of Continuing Education in Nursing» introduksjonen av elektroniske journaler som høyst frustrerende fordi brukerne ikke ble involvert før etter en lang og kostbar utvikling, og brukerne ble overrasket av søppelet (garbage) som ble produsert. Artikkelen uttrykker et ønske om at man ved inngangen til 2024 kan gå fra GIGO (Garbage In, Garbage Out) og til BIBO (Better Input, Better Outcome) (4).
Problemet knyttet til bruk av kunstig intelligens innenfor helse og medisin er at mange av våre medisinske termer har forskjellig betydning avhengig av den kontekst termen benyttes i. Problemet er å etablere et semantisk samvirke, ofte omtalt som medisinsk ontologi (5).
Jeg tror det kan være riktig at kompetente fagpersoner i større grad enn til nå går inn i en veiledende rolle innenfor videreutvikling av e-helse. En tre år gammel artikkel er neppe helt utdatert med følgende påpekning: «Beslutningen om digitalisering i helsetjenesten opererer ved siden av den tradisjonelle medisinskfaglige verdenen» (6).
Også andre sider ved e-helse krever vår overvåkning, for eksempel bruken av Snomed-CT (7) til å definere begreper. Viktig for oss er det også å skille mellom assosiasjon og kausalitet (8), noe som ikke synes å inngå i maskinlæring.
Litteratur:
1. Khan T. The Release of GPT-4 and the Movement of the Tech Industry with AI. TechAcute 17.3.2023. https://techacute.com/the-release-of-gpt-4-and-the-movement-of-the-tech-industry-with-ai/Lest 4.1.2024.
2. Nori H, King N, Mayer S et al. Capabilities of GPT-4 on Medical Challenge Problems. arXiv:2303.13375 [cs.CL] https://doi.org/10.48550/arXiv.2303.13375
3. Stoneham S, Livesey A, Cooper H et al. Chat GPT vs Clinician: challenging the diagnostic capabilities of A.I. in dermatology. Clin Exp Dermatol 2023; Nov 19:llad402. doi: 10.1093/ced/llad402. Epub ahead of print. PMID: 37979201. https://pubmed.ncbi.nlm.nih.gov/37979201/
4. Yoder-Wise PS. From GIGO to BIBO. The Journal of Continuing Education in Nursing 2023; 54(12): 543 https://doi.org/10.3928/00220124-20231113-01
5. Liyanage H, Krause P, de Lusignan S. Using ontologies to improve semantic interoperability in health data. J Innov Health Inform.
2015; 22(2): 309–315. http://dx.doi.org/10.14236/jhi.v22i2.159
6. Prøsch SM. E-helse? Tidsskr Nor Legeforen 2020; 140. doi: 10.4045/tidsskr.20.0874
7. Ehelse.no. SNOMED CT. https://www.ehelse.no/kodeverk-og-terminologi/SNOMED-CT Lest 4.1.2024.
8. Stensrud MJ, Aalen OO. Hva kan vi si om kausalitet? Tidsskr Nor Legeforen 2015; 135. doi: 10.4045/tidsskr.15.0347