Aktivieren der Blinden zu "sehen" Farben und Formen mit EyeMusic Sensory Substitution Geräte

Mit auditive oder taktile Stimulation , Sinnes Substitution Devices ( SSDs) liefern Darstellungen der visuellen Information und können die blind " finden Sie unter" Farben und Formen zu helfen. SSDs Bilder zu scannen und zu transformieren die Informationen in Audio- oder Touch- Signale , die Benutzer werden ausgebildet, um zu verstehen , so dass sie , um das Bild ohne zu sehen, sie zu erkennen.

Derzeit SSDs sind nicht weit verbreitet , im toten Gemeinde verwendet, weil sie umständlich und unangenehm zu bedienen sein. Allerdings haben ein Team von Forschern an der Hebräischen Universität in Jerusalem die EyeMusic , eine neuartige SSD , die Form und Farbinformationen durch eine Zusammensetzung der angenehme musikalische Töne , oder überträgt entwickelt " Klangwelten ". Eine neue Studie in Restorative Neurology und Neuroscience veröffentlicht berichtet, dass mit Hilfe der EyeMusic SSD , beide blind und mit verbundenen Augen gesichtet Teilnehmer konnten eine Vielzahl von Grundformen und Farben korrekt zu identifizieren schon nach 2-3 Stunden Training .

Die meisten SSDs haben nicht die Fähigkeit, die Farbinformation liefern , und einige der taktilen und akustischen Systemen verwendet werden, die zu unangenehmen nach längerem Gebrauch sein . Die EyeMusic , durch Senior Investigator Prof. Amir Amedi , PhD, und sein Team von der Edmond und Lily Safra Center for Neurowissenschaften ( ELSC ) entwickelt und das Institut für medizinische Forschung Israel und Kanada an der Hebräischen Universität , scannt ein Bild und verwendet Musik Tonhöhe , um die Position der Pixel repräsentieren . Je höher die Pixel auf einer vertikalen Ebene , je höher die Tonhöhe des Musiknote zugeordnet. Timing verwendet wird, um horizontale Pixelposition anzuzeigen. Gespielte Noten näher an der Öffnung Cue stellen die linke Seite des Bildes, während Noten später in der Reihenfolge wiedergegeben stellen die rechte Seite . Darüber hinaus wird die Farbinformation durch die Verwendung von verschiedenen Musikinstrumenten gefördert , um die Töne zu erstellen : weiß (Gesang), blau (Trompete ), Rot ( Reggae- Orgel ), Grün ( synthetisiert Schilf) , gelb (Violine); Schwarz wird durch Stille vertreten.

"Diese Studie ist eine Demonstration der Fähigkeiten zeigen, dass es möglich ist, die Grundbausteine ​​der Form mit dem EyeMusic kodieren ", erklärt Prof. Amir Amedi . " Darüber hinaus hält der Erfolg bei der Zuordnung Farbe Musiktimbre Versprechen zur Erleichterung der Darstellung komplexer Formen. "


Top : Die EyeMusic Jahren gebaut Audiodatei bewahrt sowohl räumliche Informationen und Bildfarben . Das Sensory Substitution Gerät die Größe des Bildes auf X = 40 Pixel (Spalten) von Y = 24 Pixel (Zeilen) und führt eine Farb Cluster-Algorithmus , um eine 6-Farben- Bild.

Mitte: das 2D-Bild der X -Achse wird in den Zeitbereich abgebildet wird, dh Pixel Situation auf der linken Seite des Bildes mit Ton vor der Wieder Lage auf seiner rechten Seite , hier in Wellenform dargestellt .

Unten: Die Y -Achse wird in den Frequenzbereich abgebildet werden, dh Pixel Lage auf der oberen Seite des Bildes mit höherer Frequenz ertönen , während die auf ihrer unteren Seite wird in der Frequenz niedriger klingen , hier in Spektrogrammdarstellung dargestellt .

Bildnachweis : Restorative Neurology und Neurowissenschaften ( Abboud et al.)

Neben der erfolgreichen Identifizierung von Formen und Farben , Benutzer in der neuen EyeMusic Studie zeigte, fanden sie die SSD Klang relativ angenehm und erträglich möglicherweise für eine längere Verwendung sein. " In Soundlandschaften aus Bildern generiert ", sagt Prof. Amedi ", gibt es eine Tendenz für benachbarte Frequenzen zusammen gespielt werden. Mit einem Halbton westlichen Maßstab würde dann Klänge, die als sehr dissonant empfunden werden. Deshalb, um angenehmer Klanglandschaften erzeugen , wir nutzten die pentatonische Tonleiter , die weniger Dissonanz , wenn benachbarte Noten zusammen gespielt erzeugt . "

Während diese neue Studie zeigt , dass die EyeMusic können aktivieren Sie die sehbehinderte visuelle Form und Farbinformationen mit auditiven Klanglandschaften von Objekten zu extrahieren , fühlen Forscher , dass dieses Gerät hält auch sehr vielversprechend für den Bereich der visuellen Rehabilitation im Allgemeinen . Durch die Bereitstellung von zusätzlichen Farbinformation kann der EyeMusic helfen, Objekterkennung und Szenensegmentierung zu erleichtern , während die angenehme Klanglandschaften bieten die Möglichkeit längerer Bedienung.

"Es gibt Hinweise darauf, dass das Gehirn als Task - Maschine organisiert und nicht als Sinnes Maschine. Das stärkt die Auffassung, dass SSDs kann für visuelle Rehabilitation , und deshalb schlagen wir vor , dass die Zeit reif für das Drehen kann Teil der sein SSD Scheinwerfer wieder auf praktische visuelle Rehabilitation ", Prof. Amedi erstellt. "In Zukunft wäre es faszinierend, wie Musik und menschliche Stimme zu testen, ob die Verwendung von Naturgeräusche, kann Lernen und Gehirn die Verarbeitung sich auf die Entwicklung neuronaler Netze für die Musik und menschlichen Sprachverarbeitung zu erleichtern. "

Darüber hinaus wollen die Forscher die EyeMusic kann ein Werkzeug für die Zukunft Neurowissenschaften Forschung. "Es wäre interessant , um die plastischen Veränderungen mit Lernen, Farbinformationen für Gehör Timbre in der von Geburt an blind, die nie Farbe in ihrem Leben erleben zu dekodieren assoziiert zu entdecken. Die Nutzung der EyeMusic und ihren Mehrfarbinformationauf dem Gebiet der Neurowissenschaften konnten erleichtern Ausflüge in mehrere Fragen im toten , die das Potenzial unser Verständnis von Gehirn -Organisation im Allgemeinen zu erweitern ", schließt Prof. Amedi .