Programiści z Purdue University stworzyli sieć neuronową, która może analizować obrazy fMRI mózgu wykonane podczas oglądania wideo, a następnie określać w czasie rzeczywistym, co oglądała osoba.
Eksperyment obejmował trzy osoby, którym pokazano około tysiąca małych filmów. Podczas pokazu naukowcy byli w stanie uzyskać ogromną ilość danych fMRI, które następnie zaczęły demonstrować konwolucyjną sieć neuronową wyszkoloną do dopasowywania aktywności mózgu do wykresów wideo. Korzystając z obrazu fMRI, sieć nauczyła się bardzo szybko i poprawnie, aby określić, co dokładnie ochotnik obserwował w czasie wykonywania zdjęcia.
Ponadto sieć neuronowa nauczyła się rozszyfrowywać dane innych osób na podstawie informacji uzyskanych z fMRI innych ochotników, podczas gdy wynik był równie wysoki zarówno w przypadku danych fMRI osób zdrowych, jak i osób z wadami wzroku.
Dzięki tym badaniom naukowcy byli w stanie rozszyfrować myśli, a jednocześnie zorientowali się, które części mózgu są odpowiedzialne za rozpoznawanie obrazów i filmów. Chodzi o to, że mózg dzieli wideo na oddzielne komponenty. Na przykład, jeśli dana osoba widzi samochód poruszający się na tle ściany, to jeden obszar mózgu rozpoznaje ścianę, a drugi samochód - w ten sposób naukowcy byli w stanie prześledzić pracę mózgu, porównując oddzielne bloki informacji i łącząc je w jeden obraz.
Viacheslav Larionov
