Handgesten könnten bald von Chirurgen verwendet werden, um MRI Bilder In oder zu manipulieren
Ärzte können bald mit einem System im Operationssaal , die Handgesten erkennt als Befehle eines Computers, um zu sagen, während einer Operation zu durchsuchen und medizinische Bilder des Patienten.
Chirurgen routinemäßig müssen medizinische Bilder und Aufzeichnungen während der Operation zu überprüfen , aber Schritt vom OP-Tisch und Berühren einer Tastatur und Maus kann das Verfahren zu verzögern und das Risiko der Verbreitung der Infektion verursachenden Bakterien zu erhöhen, sagte Juan Pablo Wachs , ein Assistent Professor für Industrie- Engineering an der Purdue University .
"Eine der am weitesten verbreiteten Teile der Ausrüstung in US- Chirurgiegeräte ist der Computer-Arbeitsplatz , der Zugang zu medizinischer Bilder vor und während der Operation ermöglicht ", sagte er . " Allerdings sind Computern und Peripheriegeräten schwer zu sterilisieren und Tastaturen und Mäuse haben sich als eine Quelle von Verunreinigungen sein. Auch wenn Krankenschwestern oder Erfüllungsgehilfen bedienen die Tastatur für den Chirurgen , der Prozess der Übermittlung von Informationen genau ist schwerfällig und ineffizient erwiesen seit gesprochenen Dialog kann sehr zeitaufwändig sein und führt zu Frustration und Verzögerungen bei der Operation. "
Die Forscher sind die Schaffung eines Systems , das Tiefe -Sensing- Kameras und spezielle Algorithmen verwendet, um Handgesten erkennen als Befehle zu manipulieren MRI Bilder auf einer großen Anzeige . Jüngste Forschungsergebnisse , um die Algorithmen zu entwickeln wurde von Doktorand Mithun George Jacob geleitet.
Die Ergebnisse der Forschung wurden in einem Papier im Dezember im Amtsblatt aufgeführt Journal of the American Medical Informatics Verband. Das Papier wurde von Jacob , Wachs und Rebecca A. Packer, außerordentlicher Professor für Neurologie und Neurochirurgie in Purdue College of Veterinary Medicine geschrieben.
Die Forscher überprüft das System in Zusammenarbeit mit Tierärzten , eine Reihe von Gesten Natur für Ärzte und Chirurgen zu sammeln. Die Chirurgen wurden gebeten, Aufgaben, die sie durchführen mit MRT-Bilder in typischen Operationen anzugeben und Gesten für Befehle vor. Zehn Gesten wurden gewählt : drehen und gegen den Uhrzeigersinn ; durchsuchen nach links und rechts ; nach oben und unten ; erhöhen und die Helligkeit ; und vergrößern und verkleinern .
Entscheidend für die Genauigkeit des Systems ist die Verwendung von " Kontextinformationen " im OP - Kameras beobachten, Rumpf und Kopf des Chirurgen - zu ermitteln und kontinuierlich zu überwachen , was der Arzt tun will.
" Eine der größten Herausforderungen ist es, Computer mit der Fähigkeit, den Kontext, in dem Gesten gemacht und soll zwischen Gesten gegen unbeabsichtigte Bewegungen zu unterscheiden verstehen zu verleihen ", sagte Wachs . "Chirurgen viele Gesten im Laufe einer Operation, um mit anderen Ärzten und Pflegepersonal zu kommunizieren . Die größte Herausforderung ist es, Algorithmen in der Lage , den Unterschied zwischen diesen Gesten und solchen, die speziell als Kommandos soll die Bildbetrachtungssystem zu durchsuchen erstellen. Wir können Rahmen , indem Sie die Position der Oberkörper und der Orientierung des Chirurgen Blick. auf der Grundlage der Richtung des Blicks und der Oberkörperposition können wir beurteilen, ob der Chirurg will medizinische Bilder zugreifen zu bestimmen. "
Der Handgestenerkennungssystemmit einer Kamera von Microsoft entwickelt , genannt Kinect , die den dreidimensionalen Raum erfasst . Die Kamera , in Unterhaltungselektronik- Spiele, die Hände einer Person zu verfolgen finden , bildet den Körper des Chirurgen in 3-D . Die Ergebnisse zeigten, dass die Integration von Kontext können die Algorithmen zur genauen Bild -Browsing- Befehle unterscheiden von nicht verwandten Gesten reduziert False Positives von 20,8 Prozent auf 2,3 Prozent.
" Wenn Sie immer Fehlalarme 20 Prozent der Zeit , das ist ein großer Nachteil ", sagte Wachs . "So konnten wir die Genauigkeit deutlich verbessern bei der Unterscheidung Befehle von anderen Gesten. "
Das System wurde auch gezeigt, daß es eine mittlere Genauigkeit von etwa 93 Prozent in der Übersetzung Gesten in bestimmte Befehle, wie Drehen und gerade Bilder haben .
Der Algorithmus berücksichtigt , welche Phase der Operation ist in , die bei der Bestimmung der richtigen Kontext für die Interpretation der Gesten und der Verringerung der Browser- Zeit hilft.
" Durch die Beobachtung der Fortschritte der Chirurgie können wir sagen, was ist die wahrscheinlichste Bild der Chirurg will nächsten ", sagte Wachs .
Die Forscher untersuchen Zusammenhang mit einem Mock Gehirn Biopsienadel , die im Gehirn verfolgt werden können .
" Die Lage der Nadel bietet Kontext , so dass das System zu antizipieren , welche Bilder der Chirurg müssen neben und Verringerung der Zahl der Gesten nötig ", sagte Wachs . " Anstatt also fünf Minuten, um zu sehen , bekommt der Chirurg es schneller. "
Sensoren in der chirurgischen Nadel zeigen die Position seiner Spitze .
ZUSAMMENFASSUNG
HANDgestenbasierteSTERILE INTERFACE für den OP Verwendung kontextueller CUES für die Navigation radiologischer Bilder
Mithun George Jacob1 , Juan Pablo Wachs1 , Rebecca A Packer2
1School Industrial Engineering , Purdue University
2Departments der Grund Medizinischen Wissenschaften und Veterinary Clinical Sciences, College of Veterinary Medicine , Purdue University
Dieser Beitrag stellt eine Methode, um die Navigation und Manipulation von Röntgenbildern durch einen sterilen HandgestenerkennungSchnittstelle auf Basis von Aufmerksamkeits kontextuelle Hinweise zu verbessern. Wurden Computer Vision Algorithmen entwickelt, um die Absicht und Aufmerksamkeit Hinweise aus Verhalten des Chirurgen zu extrahieren und sie mit sensorischen Daten aus einer Rohstoff Tiefe Kamera. Die entwickelte Schnittstelle wurde in einem Versuch getestet, um die Benutzerfreundlichkeit der Wirksamkeit der neuen Oberfläche zu beurteilen. Ein Bild -Navigation und Manipulation Aufgabe durchgeführt wurde, und die Gestenerkennungsgenauigkeit, False Positives und Aufgabenfertigstellungszeitenwurden berechnet, um die Systemleistung zu bewerten. Experimentelle Ergebnisse zeigen, dass Geste Interaktion und Chirurgen Verhaltensanalyse kann verwendet werden, um genau zu navigieren , zu manipulieren und Zugangs MRI-Bildern , und daher könnte das Modalität der Verwendung von Tastatur und Maus - basierte Schnittstellen ersetzen.