Korzystając z technologii skanowania aktywności mózgu, sztucznej inteligencji i syntezatora mowy, naukowcy z Columbia University (USA) stworzyli urządzenie zdolne do tłumaczenia ludzkich myśli na artykulowaną mowę. Wyniki badań, opublikowane w Scientific Reports, stanowią ważny krok w ulepszaniu interfejsów mózg-komputer. W przyszłości takie urządzenia mogą być używane przez osoby, które utraciły zdolność mówienia w wyniku urazu lub choroby.
Aby opracować urządzenie łączące możliwości syntezatora mowy i sztucznej inteligencji, autor badania, neurobiolog Nima Mesgarani i jego współpracownicy zwrócili się do najnowszych osiągnięć w dziedzinie głębokiego uczenia maszynowego i technologii syntezy mowy. Efektem ich pracy jest wokoder oparty na sztucznej inteligencji, zdolny do dość dokładnej interpretacji aktywności mózgu bezpośrednio z kory słuchowej, a następnie przekładania jej na zrozumiałą mowę. Autorzy pracy zauważają, że mowa w tym przypadku okazuje się bardzo skomputeryzowana, ale w większości przypadków ludzie są w stanie rozpoznać słowa.
Według twórców nowe urządzenie służące do odtwarzania powstałej mowy oparte jest na tej samej technologii, co asystenci cyfrowi, tacy jak Alexa, Siri czy Google Assistant.
Po pierwsze, eksperci przeszkolili vocodera, aby poprawnie interpretował aktywność ludzkiego mózgu. W tym celu naukowcy zaprosili do udziału w eksperymencie pięciu ochotników poddawanych leczeniu z powodu epilepsji. Wszystkim pięciu z nich wszczepiono elektrody do kory słuchowej, aby odczytać elektroencefalogram.
„Poprosiliśmy pacjentów z padaczką, którzy już przechodzą operację mózgu, o wysłuchanie zdań wypowiadanych przez różne osoby. Jednocześnie przeanalizowaliśmy wzorce aktywności mózgu pacjentów. Wokoder został przeszkolony na otrzymanych modelach neuronowych”- wyjaśnia Mesgarani.
Pacjenci zostali poproszeni o odsłuchanie nagrań, w których aktorzy odczytywali sekwencje liczb od 0 do 9. W tym samym czasie naukowcy rejestrowali sygnały z mózgu, a następnie przepuszczali je przez wokoder, dla którego sygnały były korygowane w celu poprawy klarowności przez sieć neuronową analizującą dźwięki samego wokodera, która wytwarzała dźwięki w odpowiedzi na te sygnały. W rezultacie można było usłyszeć głos robota powtarzający sekwencję wypowiadanych liczb. Aby ocenić wyniki, naukowcy zaprosili 11 osób z doskonałym słuchem.
„Okazało się, że ludzie potrafią rozpoznawać słowa w około 75% przypadków, co znacznie przewyższa wszelkie wcześniejsze próby. Czuły wokoder i potężne sieci neuronowe generowały dźwięki, których pacjenci słuchali z zadziwiającą dokładnością”- komentuje Mesgarani.
Film promocyjny:
W przyszłości zespół Mesgaraniego będzie uczył sieć neuronową wymawiania bardziej złożonych słów, wyrażeń, a nawet całych zdań. Następnie chcą opracować implant, który może przełożyć myśli danej osoby na pełną mowę.
„Na przykład, jeśli właściciel implantu myśli:„ Potrzebuję szklanki wody”, nasz system odczytuje sygnały mózgowe i tłumaczy je na mowę. To da każdemu, kto stracił zdolność mówienia z powodu kontuzji lub choroby, nową okazję do komunikowania się z otaczającym światem”- dodaje Mesgarani.
Nikolay Khizhnyak