Inżynierom z Instytutu Studiów Wyższej Aktywności Nerwowej udało się stworzyć system, który przekłada myśli na zrozumiałą i rozpoznawalną mowę. Kontrolując czyjąś aktywność mózgu, technologia rekonstruuje myśli na słowa.
Ten naukowy przełom w połączeniu z mocą sztucznej inteligencji i syntezatorów mowy otwiera nową erę w interakcji między komputerem a mózgiem. Oczywiście otwiera to również nowe możliwości dla osób, które z jakiegoś powodu utraciły zdolność mówienia.
„Nasze głosy pomagają nam pozostać w kontakcie z przyjaciółmi, rodziną i światem wokół nas, więc utrata mocy głosu z powodu urazu lub choroby jest katastrofalna dla ludzi. Jednak przy dzisiejszym zasobie wiedzy mamy potencjalny sposób na przywrócenie tej mocy. Pokazaliśmy, że dzięki odpowiedniej technologii myśli ludzi mogą być rozszyfrowane i zrozumiane przez każdego słuchacza”- mówi dr Nima Mesgarani i jeden z autorów badania przeprowadzonego w Mortimer B. Zuckerman Institute of Mental Behavior na Columbia University.
Dziesięciolecia badań wykazały, że kiedy ludzie mówią, a nawet wyobrażają sobie, że mówią słowa, w ich mózgach pojawiają się charakterystyczne wzorce aktywności. Wyraźny i rozpoznawalny wzór sygnału pojawia się również, gdy słuchamy kogoś mówiącego lub wyobrażamy sobie, że słuchamy. Eksperci próbowali rozszyfrować te wzorce od dziesięcioleci, ale dopiero teraz otworzyła się przed nimi przyszłość, w której myśli nie mogą już być ukryte w mózgu, ale zamiast tego można je dowolnie tłumaczyć na język mówiony.
Ale osiągnięcie tego nie było łatwe. Wczesne próby rozszyfrowania sygnałów mózgowych od dr Mesgaraniego i innych skupiały się na prostych modelach komputerowych analizujących spektrogramy, które są wizualnymi reprezentacjami częstotliwości dźwięku.
Jednak ze względu na fakt, że to podejście nie dało niczego zbliżonego do zrozumiałej mowy, zespół dr Mesgaraniego zamiast tego zwrócił się do vocodera, algorytmu komputerowego, który potrafi syntetyzować mowę po przeszkoleniu w nagrywaniu rozmów.
„Jest to ta sama technologia, której używają Amazon Echo i Apple Siri do udzielania ustnych odpowiedzi na nasze pytania” - powiedział dr Mesgarani, który jest również profesorem nadzwyczajnym elektrotechniki w Columbia School of Engineering and Applied Science w Fu Foundation.
Aby nauczyć wokodera interpretować aktywność mózgu, dr Mesgarani połączył siły z dr Asheshem Dineshem Mehtą, neurochirurgiem z Neuroscience Institute Northwell Health Physician Partners i współautorem dzisiejszego artykułu. Dr Mehta leczy pacjentów z padaczką, z których część musi być poddawana regularnym operacjom.
Film promocyjny:
„Współpracując z dr Mehtą, poprosiliśmy pacjentów z padaczką, którzy przeszli już operację mózgu, o wysłuchanie sugestii różnych osób, podczas gdy mierzyliśmy wzorce aktywności ich mózgu” - mówi dr Mesgarani. „Te wzorce neuronowe wyszkoliły wokodera”.
Następnie naukowcy poprosili tych samych pacjentów, aby słuchali mówców wymawiających cyfry od 0 do 9, jednocześnie rejestrując sygnały mózgowe, które następnie mogą być przekazywane przez wokoder. Dźwięk wytwarzany przez wokoder w odpowiedzi na te sygnały został przeanalizowany i udoskonalony przy użyciu sieci neuronowych, takich jak sztuczna inteligencja, które naśladują strukturę neuronów w mózgu biologicznym.
Efektem końcowym był głos robota powtarzający sekwencję liczb. Aby zweryfikować dokładność nagrania, dr Mesgarani i jej zespół poinstruowali ludzi, aby odsłuchali nagranie i zgłosili to, co usłyszeli.
„Odkryliśmy, że ludzie potrafią rozumieć i powtarzać dźwięki przez około 75% czasu, co znacznie przewyższa wszelkie wcześniejsze próby” - mówi dr Mesgarani. Poprawa zrozumiałości była szczególnie widoczna przy porównaniu nowych nagrań z wcześniejszymi próbami opartymi na spektrogramie. „Czuły wokoder i potężne sieci neuronowe reprezentowały dźwięki, które początkowo słyszeli pacjenci z zadziwiającą dokładnością”.
Dr Mesgarani i jej zespół planują teraz przetestować bardziej złożone słowa i zdania. Zamierzają również przeprowadzić te same testy na sygnałach mózgowych wysyłanych, gdy dana osoba mówi lub wyobraża sobie mowę. Ostatecznie mają nadzieję, że ich system może być częścią implantu, podobnego do tych noszonych przez niektórych pacjentów z padaczką, które przekładają myśli noszącego bezpośrednio na słowa.
„W tym scenariuszu, jeśli właściciel chipa myśli:„ Potrzebuję szklanki wody”, nasz system może przyjąć sygnały mózgowe generowane przez tę myśl i przekształcić je w syntetyzowaną mowę werbalną” - mówi dr Mesgarani. „To przełom i każdemu, kto stracił zdolność mówienia z powodu urazu lub choroby, technologia daje nową szansę na komunikację z otaczającym światem”.
Komentarz redakcyjny
Ponieważ niektórzy z naszych pracowników mają pewien związek z neurofizjologią, możemy absolutnie jednoznacznie stwierdzić, że rozwiązanie problemu czytania myśli i przekładania ich na słowa nie jest problemem, który jakiś doktor filozofii może rozwiązać wspólnie z inteligentnym neurochirurgiem. To zadanie dla instytutu badawczego, który rozwiąże je na sto, dwieście lub więcej lat. Co więcej, wcale nie jest faktem, że instytut badawczy rozwiąże ten problem - nawet jeśli zostaną tam sprowadzone wszystkie superkomputery NASA, na których tłum inżynierów zacznie symulować sieci neuronowe. Jednak artykuł w czasopiśmie naukowym nie będzie kłamał, a fakt rozpoznawania myśli zdecydowanie istnieje. Jak więc można połączyć te dwa fakty?
Bardzo prosty. W ciągu ostatnich 20-30 lat na świecie pojawiła się ogromna liczba całkowicie niesamowitych i bardzo złożonych technologii, takich jak mikroprocesory i dyski twarde. I każdego dnia pojawia się coraz więcej nowych wynalazków, które są spisywane niektórym „utalentowanym studentom”, którzy siedząc w garażu, zbierają kawałek złomu, o który walczą instytuty badawcze od 50 lat. W tym przypadku mamy wynalazek o podobnej genezie. Czyli rozwój, który był wykonywany (lub przekazywany ludziom) przez wiele lat, nie jest jasne, kto, ale który został zarejestrowany u cioci i wujka z Kolumbii.
W rzeczywistości nie ma absolutnie żadnej różnicy, kogo Wikipedia napisze jako „wynalazców” technologii. Najważniejsze, że technologia została zaprezentowana światu za pomocą czasopisma naukowego. Co więcej, jakaś chińska firma zacznie produkować takie „gadżety”, które przyzwyczają ludzi do samej idei, że ich głowa stała się teraz całkowicie przezroczysta. Wreszcie trzeci etap będzie tym samym orwellowskim „Rokiem 1984”, w którym nawet myśli dowolnej osoby można swobodnie czytać z daleka. Na przykład, umieszczając specjalne czujniki w mieszkaniach lub integrując specjalny chip, który reaguje na impulsy mózgowe do organizmu. Ponadto.
Każda technologia ma z reguły odwrotne zastosowanie. Na przykład, jeśli istnieje technologia zamiany impulsów nerwowych na słowa, to stosując tę samą zasadę, możesz zamienić dowolne słowa w czyjeś myśli. W tej sytuacji prezydenci różnych krajów mają olbrzymią perspektywę wsparcia absolutnie całego elektoratu, bo teraz istnieje techniczna możliwość, by każdy wyborca nawet myślał tak jak on - wystarczy włożyć do gniazdka odpowiednio zmodulowany sygnał.
Ogólnie rzecz biorąc, jest rzeczą oczywistą, że otwierają się najwspanialsze perspektywy świata i z zainteresowaniem śledzimy rozwój wydarzeń.