Natychmiast, gdy dr Blake Richards usłyszał o głębokim uczeniu się, zdał sobie sprawę, że ma do czynienia z czymś więcej niż tylko metodą, która zrewolucjonizuje sztuczną inteligencję. Uświadomił sobie, że patrzy na coś fundamentalnego z ludzkiego mózgu. To był początek XXI wieku, a Richards prowadził kurs na Uniwersytecie w Toronto z Jeffem Hintonem. Hintonowi, który stał za stworzeniem algorytmu, który podbił świat, zaproponowano wprowadzenie do jego metody nauczania, inspirowanej ludzkim mózgiem.
Kluczowe słowa są tutaj „inspirowane mózgiem”. Pomimo przekonania Richardsa, zakład rozegrał się przeciwko niemu. Jak się okazało, ludzki mózg nie ma ważnej funkcji zaprogramowanej w algorytmach głębokiego uczenia. Pozornie algorytmy te naruszały podstawowe fakty biologiczne, które zostały już udowodnione przez neuronaukowców.
Ale co, jeśli głębokie uczenie się i mózg są rzeczywiście zgodne?
I tak w nowym badaniu opublikowanym w eLife Richards we współpracy z DeepMind zaproponował nowy algorytm oparty na biologicznej strukturze neuronów w korze nowej. Kora mózgowa jest domem dla wyższych funkcji poznawczych, takich jak rozumowanie, prognozowanie i elastyczne myślenie.
Zespół połączył swoje sztuczne neurony w warstwową sieć i wyzwał ją do zadania klasycznego widzenia komputerowego - identyfikacji odręcznych liczb.
Nowy algorytm wykonał świetną robotę. Ale ważna jest inna rzecz: przeanalizował przykłady uczenia się w taki sam sposób, jak robią to algorytmy głębokiego uczenia, ale został całkowicie zbudowany na fundamentalnej biologii mózgu.
"Głębokie uczenie się jest możliwe w strukturze biologicznej" - podsumowali naukowcy.
Ponieważ model ten jest obecnie wersją komputerową, Richards ma nadzieję przekazać pałeczkę eksperymentalnym neuronaukowcom, którzy mogliby sprawdzić, czy taki algorytm działa w prawdziwym mózgu.
Film promocyjny:
Jeśli tak, dane mogą zostać przekazane informatykom w celu opracowania masowo równoległych i wydajnych algorytmów, na których będą działać nasze maszyny. To pierwszy krok w kierunku połączenia tych dwóch obszarów w „cnotliwym tańcu” odkryć i innowacji.
Znalezienie kozła ofiarnego
Chociaż prawdopodobnie słyszałeś, że sztuczna inteligencja ostatnio pokonała najlepszych z najlepszych w Go, prawie nie wiesz dokładnie, jak działają algorytmy tej sztucznej inteligencji.
W skrócie, głębokie uczenie się opiera się na sztucznej sieci neuronowej z wirtualnymi „neuronami”. Podobnie jak wysoki wieżowiec, sieć ma strukturę hierarchiczną: neurony niskiego poziomu przetwarzają dane wejściowe - na przykład poziome lub pionowe paski tworzące cyfrę 4 - a neurony wysokiego poziomu przetwarzają abstrakcyjne aspekty liczby 4.
Aby przeszkolić sieć, podajesz przykłady tego, czego szukasz. Sygnał rozchodzi się po sieci (wspina się po stopniach budynku), a każdy neuron próbuje dostrzec coś fundamentalnego w pracy „czwórki”.
Kiedy dzieci uczą się nowych rzeczy, sieć początkowo nie radzi sobie dobrze. Wydaje wszystko, co jej zdaniem wygląda jak cyfra cztery - a dostajesz obrazy w duchu Picassa.
Ale właśnie tak przebiega uczenie się: algorytm dopasowuje wynik do idealnego wejścia i oblicza różnicę między nimi (czytaj: błędy). Błędy „powracają” przez sieć, ucząc każdy neuron, mówią, że to nie jest to, czego szukasz, wyglądaj lepiej.
Po milionach przykładów i powtórzeń sieć zaczyna działać bez zarzutu.
Sygnał błędu jest niezwykle ważny podczas nauki. Bez efektywnej „wstecznej propagacji błędu” sieć nie będzie wiedziała, który z jej neuronów jest nieprawidłowy. W poszukiwaniu kozła ofiarnego sztuczna inteligencja doskonali się.
Mózg też to robi. Ale jak? Nie mamy pojęcia.
Biologiczna ślepa uliczka
Oczywistą rzeczą jest to, że rozwiązanie do głębokiego uczenia się nie działa.
Powrotne propagowanie błędu jest niezwykle ważną funkcją. Wymaga określonej infrastruktury do prawidłowego działania.
Po pierwsze, każdy neuron w sieci musi otrzymać powiadomienie o błędzie. Ale w mózgu neurony są połączone tylko z kilkoma (jeśli w ogóle) partnerami w dalszym ciągu. Aby propagacja wsteczna zadziałała w mózgu, neurony na pierwszych poziomach muszą odbierać informacje z miliardów połączeń w kanałach dolnych - a jest to biologicznie niemożliwe.
I chociaż niektóre algorytmy głębokiego uczenia dostosowują lokalną formę wstecznej propagacji błędów - zasadniczo między neuronami - wymaga to, aby ich połączenia tam iz powrotem były symetryczne. W synapsach mózgu prawie nigdy się to nie zdarza.
Bardziej nowoczesne algorytmy dostosowują nieco inną strategię, wdrażając oddzielną ścieżkę sprzężenia zwrotnego, która pomaga neuronom wykrywać błędy lokalnie. Chociaż jest to bardziej wykonalne z biologicznego punktu widzenia, mózg nie ma oddzielnej sieci komputerowej przeznaczonej do wyszukiwania kozłów ofiarnych.
Ale ma neurony o złożonych strukturach, w przeciwieństwie do jednorodnych „kulek”, które są obecnie używane w uczeniu głębokim.
Sieci rozgałęziające
Naukowcy czerpią inspirację z komórek piramidalnych, które wypełniają ludzką korę.
„Większość tych neuronów ma kształt drzew, z„ korzeniami”głęboko w mózgu i„ gałęziami”wychodzącymi na powierzchnię” - mówi Richards. „Co ciekawe, korzenie otrzymują jeden zestaw danych wejściowych, a gałęzie zmieniają się”.
To ciekawe, ale struktura neuronów często okazuje się być „dokładnie taka, jaka jest potrzebna”, aby skutecznie rozwiązać problem obliczeniowy. Weźmy na przykład przetwarzanie sensoryczne: dna neuronów piramidalnych są tam, gdzie powinny, aby odbierać bodźce sensoryczne, a wierzchołki są wygodnie ustawione, aby przekazywać błędy poprzez sprzężenie zwrotne.
Czy ta złożona struktura może być ewolucyjnym rozwiązaniem radzenia sobie z niewłaściwym sygnałem?
Naukowcy stworzyli wielowarstwową sieć neuronową w oparciu o poprzednie algorytmy. Ale zamiast jednorodnych neuronów, dali jej neurony w środkowych warstwach - wciśnięte między wejście a wyjście - podobne do prawdziwych. Ucząc się na podstawie odręcznych liczb, algorytm działał znacznie lepiej niż sieć jednowarstwowa, pomimo braku klasycznej wstecznej propagacji błędu. Same struktury komórkowe mogą zidentyfikować błąd. Następnie, w odpowiednim momencie, neuron połączył oba źródła informacji, aby znaleźć najlepsze rozwiązanie.
Istnieją ku temu podstawy biologiczne: neuronaukowcy od dawna wiedzą, że gałęzie wejściowe neuronu wykonują lokalne obliczenia, które można zintegrować z sygnałami propagacji wstecznej z gałęzi wyjściowych. Ale nie wiemy, czy mózg naprawdę działa w ten sposób - więc Richards zlecił neurobiologom sprawdzenie tego.
Co więcej, ta sieć rozwiązuje problem w podobny sposób, jak tradycyjna metoda głębokiego uczenia: wykorzystuje strukturę warstwową, aby stopniowo wyodrębniać bardziej abstrakcyjne idee dotyczące każdej liczby.
„Jest to cecha uczenia głębokiego” - wyjaśniają autorzy.
Mózg uczenia głębokiego
Bez wątpienia w tej historii będzie więcej zwrotów akcji, ponieważ informatycy wprowadzą więcej biologicznych szczegółów do algorytmów sztucznej inteligencji. Richards i jego zespół przyglądają się odgórnej funkcji predykcyjnej, w której sygnały z wyższych poziomów bezpośrednio wpływają na to, jak niższe poziomy reagują na dane wejściowe.
Sprzężenie zwrotne z wyższych warstw nie tylko poprawia sygnalizację błędów; Richards mówi, że może również zachęcać neurony o niższym przetwarzaniu do „lepszego” działania w czasie rzeczywistym. Jak dotąd sieć nie osiągnęła lepszych wyników niż inne niebiologiczne sieci głębokiego uczenia. Ale to nie ma znaczenia.
„Uczenie głębokie wywarło ogromny wpływ na sztuczną inteligencję, ale do tej pory jego wpływ na neurobiologię był ograniczony” - twierdzą autorzy badania. Teraz neuronaukowcy będą mieli pretekst do przeprowadzenia eksperymentalnego testu i sprawdzenia, czy struktura neuronów leży u podstaw naturalnego algorytmu uczenia głębokiego. Być może w ciągu najbliższych dziesięciu lat rozpocznie się wzajemnie korzystna wymiana danych między neuronaukowcami a badaczami sztucznej inteligencji.
Ilya Khel
