Naukowcy stworzyli system, który dekoduje sygnały mózgowe i zamienia je na mowę. W ten sposób możesz dowiedzieć się, co mówi podmiot, nie słuchając jego słów. Z biegiem czasu takie urządzenia mogą stać się syntezatorami mowy dla głupich.
Osiągnięcie zostało opisane w artykule naukowym opublikowanym w czasopiśmie Nature Neuroscience.
Od kilku lat różne grupy badawcze tworzą systemy, które przekształcają obraz aktywności mózgu w słowa, faktycznie zastępując ludzki aparat mowy. Jednak we wcześniejszych pracach najczęściej chodziło o powiązanie sygnałów mózgowych z ruchami narządów mowy lub głosami mówionymi.
Naukowcy z Uniwersytetu Kalifornijskiego w San Francisco zdecydowali się pójść na skróty. Ich konstrukcja odwzorowuje sygnały neuronowe bezpośrednio na frazy. W tym celu zaadaptowali algorytmy używane w tłumaczeniu maszynowym z jednego języka na inny. W takim przypadku podobny problem zostaje rozwiązany. Mózg, który postrzega mowę, tłumaczy ją na język swojej elektrycznej aktywności. Zadaniem sztucznej inteligencji jest wykonywanie tłumaczenia zwrotnego.
Naukowcy zaadaptowali podejście używane do tłumaczenia maszynowego do dekodowania sygnałów neuronowych. Tłumaczenie Vesti. Nauka.
Eksperyment obejmował cztery kobiety z padaczką. Wcześniej lekarze wprowadzali je w celach medycznych do mózgu około 250 elektrod, które teraz służą nauce.
Wszyscy badani odczytują zestaw fraz. W tym czasie elektrody rejestrowały aktywność mózgu związaną z ruchami warg, wymową samogłosek i spółgłosek oraz innymi parametrami.
Wtedy do gry weszły trzy sztuczne sieci neuronowe. W pierwszych podkreślono wzorce zmian sygnału z elektrod w czasie. Drugi przekształcił wynik pierwszego w specjalne struktury matematyczne (szablony). Wreszcie trzecia przekształciła je w tekst w języku angielskim.
Film promocyjny:
Uczestnicy eksperymentu dwukrotnie powtarzali każde z 30-50 zdań. Reakcja komórek nerwowych na pierwsze wypowiedzenie frazy służyła do wyszkolenia systemu, a na drugą wypowiedź do sprawdzenia jego umiejętności.
W rezultacie system mylił się tylko w 3% przypadków. To bardzo dobry wynik jak na tego typu rozwój.
To prawda, że słownictwo użytych zwrotów było ograniczone do 250 słów. Ale przede wszystkim, a to dużo dla osób, które z powodu paraliżu nie mogą dziś w ogóle nic wymówić ani napisać. Po drugie, specjaliści kontynuują swoją pracę.
Autor: Anatoly Glyantsev
