KI-basierte Augmented Reality Visualisierung von Bedienungsanleitungen medizinischer Instrumente im Operationssaal / KARVIMIO

Das Projekt und seine Zielsetzung

Das Gesamtziel von KARVIMIO ist die Erforschung und Entwicklung eines KI-basierten Augmented Reality (AR) Assistenzsystems zur Unterstützung des OP-Teams, um Prozess- und Behandlungsqualität sowie Patientensicherheit zu steigern. Das System beruht auf einer KI-basierte Objekterkennung und -verfolgung durch statische und dynamische Kamerasensorik, womit medizinische Instrumentarien und deren Zustand erfass werden können. Diese Datenbrille soll zudem über eine multimodale Interaktionsmöglichkeit entsprechende Bedienungsanweisungen visualisieren, sodass alle notwendigen Informationen schnell und verständlich am Einsatzort verfügbar sind. Das Assistenzsystem soll dadurch den zeitlichen Aufwand für die Abfrage von Informationen für die Handhabung von Instrumenten im Bedarfsfall deutlich verringern und gleichzeitig die Fehlerhäufigkeit der Handhabung reduzieren.

Die Projektidee von KARVIMIO beruht auf den mitunter sehr komplexen Situationen im Operationssaal, denn hier arbeiten zahlreiche Akteure eng mit den unterschiedlichsten Geräten und Instrumentarien zusammen. Jede Operation ist unterschiedlich und geprägt von vielen komplexen Einzelvorgängen. Trotz eines guten Fach- und Erfahrungswissens der Ärzt*innen und des Fachpersonals erschwert die Vielzahl an unterschiedlichen Instrumenten und insbesondere die herstellerspezifische Handhabung der Instrumente den effizienten Ablauf im OP. In einigen Fällen müssen während der Operation analoge Handbücher angefordert werden, um eine fachgerechte Durchführung der Operation gewährleisten zu können. Das kostet vielmals wertvolle Zeit und verlängert damit den Operationsprozess, wodurch die Qualität der Operation negativ beeinflusst werden kann.

Das Projektkonsortium besteht aus vier Partnern: Konsortialführer und technischer Partner ist die Friedrich-Alexander-Universität Erlangen-Nürnberg. Der Partner für Simulationstechnologien ist die Medability GmbH. Klinischer Partner ist die Ludwig-Maximilian-Universität München. Als wissenschaftlicher Partner ist das Institut Arbeit und Technik mit dem Forschungsschwerpunkt Gesundheitswirtschaft und Lebensqualität beteiligt.

Das Vorgehen

Durch einen nutzerzentrierten, partizipativen Entwicklungsprozess soll ein Demonstratorsystem entstehen, welches an die Gegebenheiten im OP und die resultierenden Anforderungen an Nutzung und Bedienung angepasst ist. Zu Beginn des Projektes werden daher Anforderungen an das System über ein partizipatorisches Design (beispielsweise über Co-Creation Workshops und Fokusgruppen mit Ärzt*innen, OP-Fachpersonal, IT, Verwaltung, Technikanbietern) definiert. Die technische Entwicklung der Objekterkennung, Sensorfusion, AR-Visualisierung, Interaktionsmöglichkeiten und Einbindung der OP-Instrumente erfolgt durch die technischen Partner. Für die Evaluierung des Systems werden drei Use-Case Szenarien entwickelt und überprüft. Zusätzlich wird das System in einem realen OP-Szenario ohne aktive Auswirkung getestet. Wesentlicher Bestandteil des Projektes ist auch die ELSI-Forschung (ethisch, rechtliche, soziale Implikationen), wobei durch iterative Analysezyklen eine Bewertungsmatrix kontinuierlich angepasst und spezifiziert wird, um wichtige Implikationen für das Projekt frühzeitig ableiten zu können.

Das KARVIMIO Projekt wird vom Bundesministerium für Bildung und Forschung gefördert.