Starając się pomóc ludziom niemówiącym, neuronaukowcy opracowali urządzenie, które może przekształcić sygnały mózgowe w mowę. Technologia ta nie jest jeszcze wystarczająco rozwinięta do użytku poza laboratorium, chociaż można ją wykorzystać do syntezy całych zdań, które są w większości zrozumiałe, pisze "Nature".
Starając się pomóc ludziom niemówiącym, neuronaukowcy opracowali urządzenie, które może przekształcić sygnały mózgowe w mowę.
Technologia ta nie jest jeszcze wystarczająco dojrzała do użytku poza laboratorium, chociaż można ją wykorzystać do syntezy całych zdań, które są ogólnie rozumiane. Twórcy dekodera mowy przedstawili jego opis w artykule opublikowanym 24 kwietnia w czasopiśmie Nature.
Naukowcy używali w przeszłości sztucznej inteligencji do tłumaczenia sygnałów mózgowych na pojedyncze słowa, składające się głównie z jednej sylaby, mówi Chethan Pandarinath, neuroinżynier z Emory University w Atlancie w stanie Georgia, który napisał komentarz do artykułu. „Przeskakiwanie z jednej sylaby do zdań jest technicznie trudne i po części dlatego praca jest tak imponująca” - mówi.
Zamień ruch na dźwięk
Wiele osób, które utraciły zdolność mówienia, komunikuje się za pomocą urządzenia, które wymaga od nich wykonywania niewielkich ruchów w celu używania kursora do zaznaczania liter lub słów na ekranie. Jednym ze słynnych przykładów był brytyjski fizyk Stephen Hawking, który cierpiał na chorobę neuronu ruchowego. Użył urządzenia mowy, które zostało aktywowane przez mięsień policzka, powiedział kierownik badania Edward Chang, neurochirurg z Uniwersytetu Kalifornijskiego w San Francisco.
Ponieważ ludzie używający takich urządzeń muszą wpisywać słowa litera po literze, mogą one być bardzo powolne, „mówiąc” do dziesięciu słów na minutę, mówi Chang. Mowa naturalna obejmuje średnio 150 słów na minutę. „Wynika to z sprawności przewodu głosowego” - mówi. Dlatego Chang i jego zespół zdecydowali się na symulację systemu głosowego podczas tworzenia dekodera mowy.
Film promocyjny:
Naukowcy pracowali z pięcioma osobami, którym wszczepiono elektrody na powierzchnię mózgu w trakcie leczenia epilepsji. Początkowo, kiedy uczestnicy eksperymentu czytali na głos setki zdań, naukowcy rejestrowali aktywność mózgu. Chang i współpracownicy połączyli następnie te nagrania z danymi z poprzednich eksperymentów, w których oceniano, jak ruchy języka, warg, szczęki i krtani wytwarzają dźwięk.
Korzystając z tych danych, naukowcy „wytrenowali” algorytm głębokiego uczenia, a następnie włączyli ten program do swojego dekodera. Urządzenie przekształca sygnały mózgowe w określone ruchy przewodu głosowego i zamienia te ruchy na syntetyczną mowę. Ludzie, którzy słuchali 101 zsyntetyzowanych zdań, byli w stanie zrozumieć średnio 70% słów, mówi Chang.
W innym eksperymencie naukowcy poprosili jednego z uczestników o przeczytanie na głos zdań, a następnie wyciszenie tych samych zdań ustami. Zdania zsyntetyzowane w tym przypadku były gorszej jakości niż te syntetyzowane z mowy „mówionej”, mówi Chang, ale wyniki są nadal zachęcające.
Zrozumienie mowy syntetyzowanej to kwestia przyszłości
Mowa, syntetyzowana przez przekształcanie sygnałów mózgowych w ruchy dróg głosowych i przekładanie ich na dźwięk, jest łatwiejsza do zrozumienia niż mowa, która jest syntetyzowana poprzez bezpośrednie przekształcanie sygnałów mózgowych w dźwięk - mówi Stephanie Riès, neuronaukowiec z San Diego State University. w Kalifornii.
Nie jest jednak jasne, czy nowy dekoder mowy będzie działał ze słowami, które ludzie „mówią” tylko w myślach, mówi Amy Orsborne, neuroinżynier z University of Washington w Seattle. „Artykuł bardzo dobrze pokazuje, że urządzenie działa z mimiką naśladującą” - mówi. „Ale jak to działa, jeśli osoba nie porusza ustami?”
Marc Slutzky, neurobiolog z Northwestern University w Chicago, Illinois, zgadza się z tym i twierdzi, że dekoder mowy może być bardziej wydajny. Zauważa, że słuchacze identyfikowali mowę syntetyzowaną, wybierając słowa z zestawu opcji, ale wraz ze wzrostem liczby opcji zrozumienie słów stało się trudniejsze.
Te badania „to naprawdę ważny krok, ale nadal wiele pozostaje do zrobienia, zanim syntetyzowana mowa będzie mogła być łatwo zrozumiana” - mówi Słucki.
Georgia Guglielmi (Giorgia Guglielmi)