AI och AR i operationssalen - hur det skulle kunna fungera

I det senaste numret av serien Forschung aktuell (11/2025 / på tyska) tar Institutet för arbete och teknik (IAT) vid Westfälische Hochschule Gelsenkirchen en närmare titt på forskningsprojektet KARVIMIO. Projektet finansieras av det tyska förbundsministeriet för utbildning och forskning (BMBF) och undersöker hur artificiell intelligens och förstärkt verklighet kan tillämpas i operationssalar för att stödja kirurgiska assistenter och förbättra patientsäkerheten.

Projektet fokuserar på att utveckla så kallade "in-situ-instruktioner " - visuella steg-för-steg-guider som visas genom AR-glasögon eller huvudmonterade enheter som Microsofts HoloLens 2. Dessa instruktioner visas direkt inom användarens synfält. AI:n känner igen det kirurgiska instrument som används och lägger över motsvarande installations- eller användningsguide på det verkliga objektet. Detta eliminerar behovet av tryckta manualer, som är opraktiska i sterila miljöer. En djupkamera förbättrar systemet ytterligare genom att detektera objekt även utanför användarens omedelbara synfält.

Risker och etiska frågor

Projektgruppen, som leds av Elena Fitzner och Dr. Peter Enste, följer en strikt användarcentrerad utvecklingsstrategi. Under alla faser har operationsassistenter, utrustningstillverkare och personal från sterilcentralen varit aktivt involverade genom workshops och praktiska tester. Deltagarna betonade vikten av intuitiva kontroller, tydliga färgskärmar och lättlästa bilder. Samtidigt uttryckte vissa oro för att AR-system kan kännas påträngande, särskilt i situationer med hög press eller vid rutinuppgifter.

Det finns också en risk för att personalen blir alltför beroende av tekniken, vilket kan leda till att deras rutinkunskaper gradvis försämras. Tekniska problem - som felaktig objektigenkänning eller systemfel - kan ytterligare störa de kirurgiska arbetsflödena. Utöver dessa praktiska problem väcker användningen av sådana system viktiga etiska och juridiska frågor. Vem är t.ex. ansvarig om systemet ger felaktiga instruktioner? Och hur kan man säkerställa att tekniken stödjer snarare än ersätter det mänskliga ansvaret i kritiska situationer?

Vid sidan av den tekniska utvecklingen undersöker projektet även etiska, juridiska och sociala aspekter enligt ELSI-metoden (Ethical, Legal and Social Implications). Viktiga ämnen är bland annat förtroende för tekniken, dataskydd, yrkesansvar och kompetensutveckling. Det övergripande målet är att utforma system som förbättrar människans förmågor snarare än att ersätta dem.

Potentiella tillämpningar

Forskarna ser en bred potential för tillämpning av AI och AR i operationssalen. Förutom att assistera under kirurgiska ingrepp kan dessa tekniker också spela en värdefull roll i utbildningen av operationsassistenter, stödja dokumentationen och förbättra arbetsflödena inom sterilcentralen.