Gehirn hängt von Vision zu hören, University of Utah Ingenieure zeigen

University of Utah bioengineers entdeckt unser Verständnis von Sprache kann stärker auf Vision , als bisher angenommen abhängen : unter den richtigen Bedingungen , was Sie sehen, außer Kraft zu setzen , was Sie hören . Diese Ergebnisse legen nahe künstliche Hörgeräte und Spracherkennungssoftware könnte von einer Kamera nicht nur ein Mikrofon profitieren .

" Zum ersten Mal ist es uns gelungen , den akustischen Signal im Gehirn an , was eine Person sagte, sie zu hören, wenn das, was sie eigentlich zu hören etwas anderes war zu verbinden. Wir fanden Vision ist die Beeinflussung der Anhörung Teil des Gehirns , um Ihre Wahrnehmung der Realität ändern - und Sie nicht ausschalten können die Illusion ", sagt der erste Autor der neuen Studie , Elliot Smith, ein Biotechnologie und Neurowissenschaften Doktorand an der University of Utah . " Die Leute denken, es ist diese enge Kopplung zwischen physikalischen Phänomenen in der Welt um uns und was wir erleben subjektiv , und das ist nicht der Fall. "

Das Gehirn berücksichtigt sowohl Bild und Ton bei der Verarbeitung von Sprache. Wenn jedoch die beiden unterscheiden sich geringfügig , visuelle Hinweise dominieren Ton. Dieses Phänomen ist die McGurk -Effekt für Scottish Kognitionspsychologe Harry McGurk , die Studien über den Zusammenhang zwischen Hören und Sehen in der Sprachwahrnehmung in den 1970er Jahren Pionierarbeit benannt. Der McGurk Effekt wird seit Jahrzehnten beobachtet. Allerdings hat seinen Ursprung schon schwer .

In der neuen Studie , die in der Fachzeitschrift PLoS ONE erscheint , der University of Utah Team lokalisiert die Quelle der McGurk -Effekt durch die Aufzeichnung und Analyse von Gehirnsignale in der temporalen Kortex , dem Bereich des Gehirns , die gewöhnlich verarbeitet Sound.

In Zusammenarbeit mit der University of Utah bioengineer Bradley Greger und Neurochirurg Paul House, aufgezeichnet Smith elektrische Signale von den Hirnflächen der vier Schwer erwachsenen Epilepsiepatienten ( zwei männliche , zwei weibliche ) aus Utah und Idaho. Haus platziert Drei-Tasten- großen Elektroden auf der linken, rechten oder beide Gehirnhälften jeder Testperson , je nachdem, wo Anfälle jeden Patienten galten stammen . Das Experiment wurde an Probanden mit schwerer getan Epilepsie , die sich einer Operation wurden , ihre Epilepsie zu heilen.

Diese vier Testpersonen wurden dann gebeten, sehen und hören Sie Videos auf den Mund einer Person ausgerichtet , wie sie sagte, die Silben "ba ", "va ", " ga " und " tha . " Je nachdem, welche von drei verschiedenen Videos beobachtet wurden , hatten die Patienten eine von drei möglichen Erfahrungen , als sie sah, wie die Silben , die den Mund genommen :

• Die Bewegung des Mund abgestimmt des Tons. Zum Beispiel zeigte das Video "ba" und der Ton war auch "ba ", so dass die Patienten gesehen und gehört "ba ".
• Die Bewegung der Mund offensichtlich nicht den entsprechenden Sound passen , wie ein schlecht synchronisierten Film. Zum Beispiel zeigte das Video " ga ", aber die Audio- war "tha ", so dass die Patienten wahrgenommene diese trennen und richtig gehört "tha . "
• Die Bewegung der Mund nur wurde leicht mit dem entsprechenden Sound nicht überein . Zum Beispiel zeigte das Video "ba" aber die Audio- war "va " und Patienten gehört "ba" , obwohl der Sound wirklich "va ". Dies zeigt die McGurk -Effekt - Vision zwingende Anhörung .

Durch die Messung der elektrischen Signale im Gehirn , während jeder Video beobachtet wurde , konnte Smith und Greger ermitteln , ob auditive oder visuelle Signale des Gehirns wurden verwendet, um die Silbe in jedem Video identifizieren. Wenn die Silbe wird formte entsprach dem Ton oder überhaupt nicht entsprechen , erhöhte Aktivität des Gehirns in Korrelation zu der Ton beobachtet zu werden. Wenn jedoch die McGurk -Effekt Video wurde angesehen , änderte sich die Aktivitätsmuster zu ähneln , was die Person gesehen haben, nicht das, was sie hörten . Statistische Analysen bestätigten die Wirkung in allen Testpersonen .

"Wir haben Nervensignale im Gehirn, die durch Klang angesteuert werden sollen, werden durch visuelle Hinweise , die , sagen, außer Kraft gesetzt gezeigt " Hört dies ! ' ", So Greger . "Dein Gehirn ist im Wesentlichen ohne auf die Physik des Schalls in das Ohr und nach , was durch Ihre Vision passiert. "

Greger war leitender Autor der Studie als Assistent Professor für Biotechnik an der Universität von Utah. Vor kurzem nahm er eine Stelle als Professor an der Arizona State University.

Die neuen Erkenntnisse könnten dazu beitragen Forscher verstehen, was die Sprachverarbeitung beim Menschen , vor allem in einem sich entwickelnden Säuglings Gehirn versucht, Sounds und Lippenbewegungen zu verbinden , um die Sprache zu lernen. Diese Ergebnisse könnten auch dazu beitragen, die Forscher klären, wie Sprachverarbeitung geht schief , wenn visuelle und auditive Eingängen nicht richtig integriert , wie zum Beispiel in Dyslexie , So Greger .