Kronikk

Blandet virkelighet – ny bildeteknologi i klinisk utprøving

English
    Henrik Brun, Egidijus Pelanis, Ola Wiig, Javier Armando Luzon, Sigurd Birkeland, Rahul Prasanna Kumar, Åsmund Avdem Fretland, Kathrine Rydén Suther, Bjørn Edwin, Ole Jacob Elle
    Se alle artikler
    Henrik Brun

    hbrun@ous-hf.no

    Henrik Brun er overlege ved Barnekardiologisk avdeling, Oslo universitetssykehus, Rikshospitalet og postdoktorstipendiat ved Intervensjonssenteret, Oslo universitetssykehus.

    Forfatteren har fylt ut ICMJE-skjemaet og oppgir følgende interessekonflikter: Han er medoppfinner av teknologi lisensiert til selskapet HoloCare AS og eier aksjer i selskapet indirekte via Inven2 AS.

    Se alle artikler
    Egidijus Pelanis

    Egidijus Pelanis er lege og forsker ved Intervensjonssenteret, Oslo universitetssykehus og ph.d.-stipendiat ved Institutt for klinisk medisin, Universitetet i Oslo.

    Forfatteren har fylt ut ICMJE-skjemaet og oppgir følgende interessekonflikter: Han er medoppfinner av teknologi lisensiert til selskapet HoloCare AS og eier aksjer i selskapet indirekte via Inven2 AS.

    Se alle artikler
    Ola Wiig

    Ola Wiig er overlege ved Ortopedisk avdeling, Oslo universitetssykehus, Rikshospitalet.

    Forfatteren har fylt ut ICMJE-skjemaet og oppgir følgende interessekonflikter: Han er medoppfinner av teknologi lisensiert til selskapet HoloCare AS og eier aksjer i selskapet indirekte via Inven2 AS.

    Se alle artikler
    Javier Armando Luzon

    Javier Armando Luzon er lege i spesialisering ved Gastrokirurgisk avdeling, Akershus universitetssykehus og klinisk ph.d.-stipendiat og lektor ved Institutt for klinisk medisin, Universitetet i Oslo.

    Forfatteren har fylt ut ICMJE-skjemaet og oppgir følgende interessekonflikter: Han er medoppfinner av teknologi lisensiert til selskapet HoloCare AS og eier aksjer i selskapet indirekte via Inven2 AS.

    Se alle artikler
    Sigurd Birkeland

    Sigurd Birkeland er overlege ved Seksjon for medfødte hjertefeil, Oslo universitetssykehus, Rikshospitalet.

    Forfatteren har fylt ut ICMJE-skjemaet og oppgir ingen interessekonflikter.

    Se alle artikler
    Rahul Prasanna Kumar

    Rahul Prasanna Kumar er ingeniør og postdoktorstipendiat ved Intervensjonssenteret, Oslo universitetssykehus.

    Forfatteren har fylt ut ICMJE-skjemaet og oppgir følgende interessekonflikter: Han er medoppfinner av teknologi lisensiert til selskapet HoloCare AS og eier aksjer i selskapet indirekte via Inven2 AS.

    Se alle artikler
    Åsmund Avdem Fretland

    Åsmund Avdem Fretland er overlege ved Intervensjonssenteret og Seksjon for lever- og pancreaskirurgi, Oslo universitetssykehus, Rikshospitalet.

    Forfatteren har fylt ut ICMJE-skjemaet og oppgiringen interessekonflikter.

    Se alle artikler
    Kathrine Rydén Suther

    Kathrine Rydén Suther er overlege ved Barneradiologisk seksjon, Oslo universitetssykehus, Rikshospitalet.

    Forfatteren har fylt ut ICMJE-skjemaet og oppgiringen interessekonflikter.

    Se alle artikler
    Bjørn Edwin

    Bjørn Edwin er overlege ved Intervensjonssenteret og Seksjon for lever- og pancreaskirurgi, Oslo universitetssykehus, Rikshospitalet og professor ved Institutt for klinisk medisin, Universitetet i Oslo.

    Forfatteren har fylt ut ICMJE-skjemaet og oppgir følgende interessekonflikter: Han er medoppfinner av teknologi lisensiert til selskapet HoloCare AS og eier aksjer i selskapet indirekte via Inven2 AS.

    Se alle artikler
    Ole Jacob Elle

    Ole Jacob Elle er leder for Seksjon for kybernetikk og medisinsk bildebehandling, Intervensjonssenteret, Oslo universitetssykehus og professor ved Institutt for informatikk, Universitetet i Oslo.

    Forfatteren har fylt ut ICMJE-skjemaet og oppgir følgende interessekonflikter: Han er medoppfinner av teknologi lisensiert til selskapet HoloCare AS og eier aksjer i selskapet indirekte via Inven2 AS.

    ()

    sporsmal_grey_rgb
    Artikkel

    Nye metoder for holografisk bildevisning gir ekte tredimensjonal opplevelse av medisinske bilder. Teknikken vekker stor interesse på kirurgiske fagfelter.

    Vi er vant til at diagnostisk bildefremstilling av kroppen gjøres på todimensjonal (2D) skjerm, men en tredimensjonal (3D) fremstilling gjør det lettere å se relasjonen mellom strukturer. Virkelighetsnær bildeteknologi er under stadig utvikling. Et eksempel er blandet virkelighet (mixed reality), der virkeligheten og en virtuell virkelighet smelter sammen og blandes, og man kan få en holografisk visning med briller som inkluderer omgivelsene.

    Med økende bildekvalitet og bedre programvare er det enklere å lage detaljerte 3D-bilder som kan gjøre det lettere å forstå lokalisasjon og form på en patologisk forandring i kroppen. Denne type bilder vises vanligvis på en flat dataskjerm med begrenset dybdeopplevelse. Holografisk visning av organet kan gi en raskere og dypere forståelse både av problemet og dets løsning.

    Holografiske bilder av misdannelser i hodeskallen ble beskrevet i 1988 (1). Eksperimentelle artikler innen ryggkirurgi (2) og 3D-ultralyd av hjertet (3) kom i 1990-årene, og bevegelsen fra 2D til 3D slo først an innen kirurgi. Planlegging i tre dimensjoner er krevende, f.eks. for et inngrep i hjertet (4), og bruk av hologram i simulering av vanskelige prosedyrer er derfor foreslått til opplæring.

    Tidlig holografisk teknologi var tung i bruk, og datakapasiteten var begrenset. Utstyret for virkelighetsnær 3D-opplevelse er blitt mer brukervennlig og effektivt og tas i bruk innen mange fagfelter. Vi beskriver utviklingen av teknologien blandet virkelighet (mixed reality, MR) i medisinsk diagnostikk og behandling og hvordan arbeidet innen mange fagområder kan forandres.

    Blandet virkelighet i klinisk utprøving

    Blandet virkelighet i klinisk utprøving

    Ved Oslo universitetssykehus, Rikshospitalet og Akershus universitetssykehus har blandet virkelighet med holografiske briller vært i eksperimentell klinisk bruk siden 2017. Studieområder er leverkirurgi, medfødte hjertefeil, tykktarmskreft og hoftelidelser (figur 1). Grunnlag for hologrammene er CT-, MR- og ultralydbilder, og bildene prosesseres i økende grad med støtte fra kunstig intelligens. Blandet virkelighet åpner også for nye måter å kommunisere på, for eksempel kan en holografisk behandler nå pasienter som er isolert eller langt unna.

    Planlegging, navigering og visualisering

    Planlegging, navigering og visualisering

    Kirurgi ved medfødt hjertefeil

    Kirurgi ved medfødt hjertefeil

    Reparasjon av komplekse medfødte hjertefeil stiller store krav til 3D-forestillingsevne i både planlegging og gjennomføring. Kritiske strukturer som kransarterier og store kar skal flyttes og hjerteklaffer rekonstrueres og repareres, kanskje allerede i nyfødtperioden. Tradisjonelt har planlegging av slike inngrep vært basert på evnen til å danne seg et 3D-bilde av pasientens anatomi fra snittbilder. Denne evnen varierer fra individ til individ (5). Selv med detaljert terminologi er det krevende å kommunisere om problem og løsning.

    3D-rekonstruksjon av CT- eller MR-bilder på flatskjerm har forenklet forståelsen av for eksempel aortamisdannelser. Virkelig 3D-opplevelse ble først mulig med hologram og 3D-utskrifter, f.eks. av individuelle hjertemodeller. Utvidet virkelighet sammenliknes nå med 3D-utskrifter for å definere bruksområder (6). Oslo universitetssykehus fikk i 2017 briller med programvare for blandet virkelighet. Hjulpet av dataingeniører kunne man studere datamodellene som brukes for 3D-utskrifter – nå som hologram.

    Over 50 pasienter er inkludert i en studie av nytten av holografisk visualisering før hjertekirurgi. Tidlige resultater viser at teknologien er enkel i bruk og gir god dybdeopplevelse (7). Erfaringer fra enkelttilfeller viser at hologram kan forenkle forståelsen av komplekse medfødte hjertemisdannelser. Metoden har foreløpig utfordringer når det gjelder for eksempel avstandsmåling. Tynne og bevegelige strukturer som hjerteklaffer er tidkrevende å modellere. Holografisk modellering av implantater for lukking av ventrikkelseptumdefekter er nå under testing. Videre utvikling sikter mot fusjon av bildemodaliteter og navigering i hologrammer under intervensjoner. Nylig er det beskrevet bruk av ulike teknologier for 3D-visualisering av medfødte hjertefeil (6).

    Leverkirurgi

    Leverkirurgi

    Laparoskopisk vevsbesparende leverkirurgi ble først brukt for mer enn 20 år siden og er nå en etablert kirurgisk teknikk for å fjerne spredningssvulster fra tarmkreft. Prinsippet er å fjerne svulsten med god nok margin og spare så mye frisk lever som mulig. Pasienten får en større rest av lever, noe som reduserer faren for komplikasjoner. Om lag halvparten får tilbakefall, og metoden forenkler behandling av disse (8). I dag har kirurger begrensede muligheter til å planlegge leveroperasjoner.

    En pasientspesifikk 3D-modell av leveren, med blodårer og svulster, viser relevant operasjonsforberedende informasjon og gir oversikt over forhold mellom anatomiske strukturer. Med avansert programvare kan en slik 3D-modell gi økt mulighet til å planlegge og formidle komplekse operasjonsplaner. En av fordelene med blandet virkelighet, er at utstyret er mobilt. Hologrammene kan brukes fleksibelt på tverrfaglige møter og på operasjonsstua. Vi fant at det tar kortere tid å finne en leversvulsts lokalisasjon med en holografisk modell enn med MR-bilder (9). Løsningen brukes nå i forskning for å planlegge komplekse prosedyrer, men kan i fremtiden bli en del av den kliniske hverdagen.

    Neste trinn er å bruke denne teknologien under operasjon, som et interaktivt kart med oppdatering underveis. Dette leder mot full funksjonalitet for navigasjon, hvor instrumentene spores og gjengis i 3D-modellen for å vise hvor man er på kartet.

    Tumorkirurgi i tykktarm

    Tumorkirurgi i tykktarm

    Ved kurativt siktemål gjennomføres fjerning av tykktarmsegment med tumor og intakt krøs med regionale lymfeknuter. Ved Akershus universitetssykehus gjennomføres utvidet mesenterektomi for tykk- og tynntarmskreft, der man deler av mesenterielle kar ved avgangen. Målet med operasjonsmetoden er å fjerne flere lymfeknuter og oppnå̊ en mer radikal behandling i håp om å redusere risiko for tilbakefall.

    Store variasjoner i karforløp krever detaljert kartlegging. Til dette brukes høyoppløselige, kontrastforsterkede CT-bilder. Fra disse lages en detaljert 3D-fremstilling av kararkitekturen. Vanligvis blir disse rekonstruksjonene vist på papir eller skjerm, men de kan nå vises som 3D-printede modeller eller hologram (10). Nå testes det ut om også blandet virkelighet kan brukes. Erfaringene hittil er at 3D-modellene enkelt kan visualisere de anatomiske strukturene både pre- og intraoperativt. Målet er tryggere navigasjon under kreftkirurgi og mer individtilpasset behandling med skreddersydd onkologisk kirurgisk tilnærming (11).

    Segmenteringsmetoden som lager 3D-modeller, må valideres før klinisk bruk, også med fremtidig hjelp av kunstig intelligens (11).

    Ortopedisk kirurgi

    Ortopedisk kirurgi

    Deformiteter i hoften kan gi smerter og redusert bevegelighet. Dette er vanskelig å diagnostisere og utrede. Det tas vanligvis et røntgenbilde i to plan og en CT-undersøkelse. For å forstå anatomien bedre kan man lage 3D-rekonstruksjoner av bildene, men disse har til nå blitt vist som 2D-bilder på en skjerm uten informasjon om bevegelse. For å oppnå best mulig resultat etter en operasjon må man vite hvilke deler av hoften som kommer i knip og ved hvilke bevegelser dette skjer.

    Ved bruk av holografisk teknologi med blandet virkelighet (12) kan vi gjøre en leddundersøkelse der vi ser hvordan skjelettet beveger seg mens vi undersøker pasienten. CT-bilder av bekken og hofter brukes for å lage et hologram av bekkenet og hoftene. Hologrammet blir deretter plassert på pasientens eget lårben, hofteledd og bekken ved hjelp av markører og optisk sporingssystem og vil nå bevege seg når undersøkeren beveger pasientens ben. Slik kan man se hvilke bevegelsesinnskrenkninger som finnes og hvilke årsaker disse har, og pasienten kan gi uttrykk for hvilke bevegelser og leddposisjoner som er smertefulle. Dette gir ny informasjon om pasientens hoftelidelse og bedre grunnlag for å vurdere hvilken behandling som har effekt.

    Vi har brukt denne undersøkelsesteknikken på utvalgte pasienter med senfølger av barnehoftesykdommer. Denne teknologiens potensial i ortopedisk kirurgi er stort. Vi arbeider med metoder som kan brukes til kirurgisk planlegging, der man med holografiske fremstillinger av ben og ledd kan legge virtuelle kirurgiske snittplan gjennom knokkelen og rekonstruere skjelettdeformiteter i blandet virkelighet. Muligheten for bruk under operasjoner er stor, da «sanntids røntgensyn» kan gi raskere, mer nøyaktig, mindre invasiv og tryggere kirurgi.

    Konklusjon

    Konklusjon

    Blandet virkelighet er en teknologi som kan vise hologrammer laget av medisinske bilder samtidig med virkeligheten rundt oss (for eksempel pasienten, legen og instrumentene). Med sporingsteknikk oppnås effekter som røntgensyn og 3D-navigering under kirurgi. Bruken av blandet virkelighet i medisinen er fortsatt i en tidlig utviklingsfase og har store forventninger knyttet til seg. Automatisk produksjon av hologrammer med kunstig intelligens kan øke den kliniske nytten, men metoden må valideres innen hvert kliniske område for å avdekke begrensningene. Holografisk telemedisin er et spennende utviklingsområde som kan redusere behovet for ekspert- og pasienttransport, og virtuell legevisitt under epidemier kan redusere smittespredning og spare smittevernutstyr.

    Pasienten som deltok i videoinnspillingen har gitt samtykke til at artikkelen med video blir publisert.

    Publisert: 23. november 2020
    Utgave 17,  24. november 2020
    Tidsskr Nor Legeforen 23. november 2020
    doi:
    10.4045/tidsskr.20.0498
    Mottatt 3.6.2020, første revisjon innsendt 7.9.2020, godkjent 21.10.2020.
    PlumX
    Publisert: 23. november 2020
    Utgave 17, 24. november 2020
    Tidsskr Nor Legeforen 2020
    doi: 10.4045/tidsskr.20.0498
    Mottatt 3.6.2020, første revisjon innsendt 7.9.2020, godkjent 21.10.2020.
    Plum Print visual indicator of research metrics PlumX Metrics
    PDF
    Skriv ut

    Anbefalte artikler

    Nyeste ledige stillinger fra legejobber.no

    Se alle stillinger

    Motta vårt nyhetsbrev! Hold deg oppdatert om ny forskning og medisinske nyheter.

    Meld deg på
    Laget av Ramsalt med Ramsalt Media