Sztuczna inteligencja. Ile o nim powiedziano, ale tak naprawdę jeszcze nie zaczęliśmy rozmawiać. Prawie wszystko, co słyszysz o postępach w dziedzinie sztucznej inteligencji, opiera się na przełomie, który ma trzydzieści lat. Utrzymanie tempa postępu będzie wymagało obejścia poważnych ograniczeń i poważnych ograniczeń. Następnie w pierwszej osobie - James Somers.
Stoję tam, gdzie wkrótce będzie centrum świata, albo po prostu w dużym pokoju na siódmym piętrze lśniącej wieży w centrum Toronto - na którą patrzysz. Towarzyszy mi Jordan Jacobs, współzałożyciel tego miejsca: The Vector Institute, który otwiera swoje podwoje jesienią tego roku i obiecuje stać się globalnym epicentrum sztucznej inteligencji.
Jesteśmy w Toronto, ponieważ Jeffrey Hinton jest w Toronto. A Jeffrey Hinton jest ojcem „głębokiego uczenia”, techniki stojącej za szumem sztucznej inteligencji. „Za 30 lat spojrzymy wstecz i powiemy, że Jeff jest Einsteinem w dziedzinie sztucznej inteligencji, głębokiego uczenia, czegokolwiek nazywamy sztuczną inteligencją” - mówi Jacobs. Ze wszystkich badaczy sztucznej inteligencji Hinton jest cytowany częściej niż trzech następujących po nim łącznie. Jego studenci i doktoranci idą do pracy w laboratorium AI w Apple, Facebook i OpenAI; Sam Hinton jest głównym naukowcem w zespole Google Brain AI. Niemal każdy postęp w sztucznej inteligencji w ciągu ostatniej dekady - w tłumaczeniu, rozpoznawaniu mowy, rozpoznawaniu obrazu i grach - ma coś wspólnego z pracą Hintona.
Vector Institute, pomnik narodzin idei Hintona, to centrum badawcze, w którym firmy z całych Stanów Zjednoczonych i Kanady - takie jak Google, Uber i NVIDIA - sponsorują wysiłki na rzecz komercjalizacji technologii AI. Pieniądze napływają szybciej, niż Jacobs może o nie poprosić; dwóch jej współzałożycieli przeprowadziło ankietę wśród firm z okolic Toronto, a zapotrzebowanie na ekspertów AI było 10 razy większe niż dostawy w Kanadzie każdego roku. Vector Institute to w pewnym sensie niewykorzystana dziewicza kraina, w której można spróbować zmobilizować świat wokół głębokiego uczenia się: zainwestować, uczyć, doskonalić i stosować tę technikę. Powstają centra danych, w wieżowcach powstają startupy, do regionu napływają pokolenia studentów.
Kiedy stoisz na podłodze Vectora, masz wrażenie, że jesteś na początku czegoś. Jednak uczenie głębokie jest w istocie bardzo stare. Przełomowy artykuł Hintona, napisany z Davidem Rumelhartem i Ronaldem Williamsem, został opublikowany w 1986 roku. W pracy szczegółowo opisano metodę wstecznej propagacji błędu (ang. Backpropagation), w skrócie. Backprop, według Johna Cohena, to „wszystko, na czym opiera się głębokie uczenie się - wszystko”.
U podstaw sztucznej inteligencji jest dziś głębokie uczenie się, a głębokie uczenie się jest wsparciem wstecznym. Co jest zdumiewające, biorąc pod uwagę, że tylna podpórka ma ponad 30 lat. Trzeba po prostu zrozumieć, jak to się stało: jak technologia mogła czekać tak długo, a następnie spowodować eksplozję? Ponieważ kiedy poznasz historię backpropu, zrozumiesz, co dzieje się teraz z AI, a także, że być może nie jesteśmy na początku rewolucji. Być może jesteśmy na końcu jednego.
Spacer z Vector Institute do biura Hintona w Google, w którym spędza większość czasu (obecnie jest emerytowanym profesorem na Uniwersytecie w Toronto), jest rodzajem żywej reklamy miasta, przynajmniej latem. Staje się jasne, dlaczego Hinton, który pochodzi z Wielkiej Brytanii, przeniósł się tutaj w latach 80. po pracy na Carnegie Mellon University w Pittsburghu.
Film promocyjny:
Może nie jesteśmy na samym początku rewolucji
Toronto jest czwartym co do wielkości miastem w Ameryce Północnej (po Meksyku, Nowym Jorku i Los Angeles) iz pewnością jest bardziej zróżnicowane: ponad połowa populacji urodziła się poza Kanadą. I widać to spacerując po mieście. Tłum jest wielonarodowy. Jest bezpłatna opieka zdrowotna i dobre szkoły, ludzie są przyjaźni, politycy są względnie lewicowi i stabilni; wszystko to przyciąga ludzi takich jak Hinton, który mówi, że opuścił Stany Zjednoczone z powodu Irangate (Iran-Contra to poważny skandal polityczny w Stanach Zjednoczonych w drugiej połowie lat osiemdziesiątych; wtedy okazało się, że niektórzy członkowie administracji USA zorganizowali tajne dostawy broni do Iranu, naruszając tym samym embargo na broń nałożone na ten kraj). Tutaj nasza rozmowa zaczyna się przed obiadem.
„Wielu uważało, że Stany Zjednoczone mogą zaatakować Nikaraguę” - mówi. „Z jakiegoś powodu wierzyli, że Nikaragua należy do Stanów Zjednoczonych”. Mówi, że niedawno dokonał wielkiego przełomu w projekcie: „Zaczął ze mną pracować bardzo dobry młodszy inżynier” - kobieta o imieniu Sarah Sabour. Sabur jest Irańczykiem i odmówiono mu wizy do pracy w Stanach Zjednoczonych. Biuro Google w Toronto to wyciągnęło.
Hinton ma 69 lat. Ma ostrą, szczupłą angielską twarz z wąskimi ustami, dużymi uszami i dumnym nosem. Urodził się w Wimbledonie iw rozmowie przypomina narratora dziecięcej książki o nauce: ciekawy, kuszący, próbujący wszystko wyjaśnić. Jest zabawny i trochę gra przed publicznością. Siedzenie boli go z powodu problemów z plecami, więc nie może latać, aw gabinecie dentystycznym kładzie się na urządzeniu przypominającym deskę surfingową.
W latach osiemdziesiątych Hinton był, tak jak jest teraz, ekspertem w dziedzinie sieci neuronowych, znacznie uproszczonego modelu sieci neuronów i synaps w naszych mózgach. Jednak w tamtym czasie stanowczo zgadzano się, że sieci neuronowe są ślepą uliczką w badaniach nad sztuczną inteligencją. Chociaż pierwsza sieć neuronowa, Perceptron, została opracowana w latach 60. XX wieku i została uznana za pierwszy krok w kierunku inteligencji maszynowej na poziomie człowieka, w 1969 r. Marvin Minsky i Seymour Papert udowodnili matematycznie, że takie sieci mogą wykonywać tylko proste funkcje. Sieci te miały tylko dwie warstwy neuronów: warstwę wejściową i warstwę wyjściową. Sieci z dużą liczbą warstw między neuronami wejściowymi i wyjściowymi mogłyby teoretycznie rozwiązywać różnorodne problemy, ale nikt nie wiedział, jak je trenować, więc w praktyce były bezużyteczne. Z powodu Perceptronów prawie wszyscy porzucili ideę sieci neuronowych z kilkoma wyjątkami.w tym Hinton.
Przełomem Hintona w 1986 roku było pokazanie, że propagacja wsteczna może trenować głęboką sieć neuronową z więcej niż dwoma lub trzema warstwami. Ale zanim moc obliczeniowa wzrosła, minęło kolejne 26 lat. W artykule z 2012 roku Hinton i dwóch studentów z Toronto wykazali, że głębokie sieci neuronowe, trenowane z wykorzystaniem backprop, radziły sobie lepiej niż najlepsze systemy rozpoznawania obrazu. Deep Learning zaczął zyskiwać na popularności. Świat postanowił z dnia na dzień, że AI rano przejmie kontrolę. Dla Hintona było to mile widziane zwycięstwo.
Pole zniekształcenia rzeczywistości
Sieć neuronowa jest zwykle przedstawiana jako kanapka, której warstwy nakładają się na siebie. Warstwy te zawierają sztuczne neurony, które są zasadniczo małymi jednostkami obliczeniowymi, które uruchamiają się - jak prawdziwy neuron - i przekazują to podniecenie innym neuronom, z którymi są połączone. Wzbudzenie neuronu jest reprezentowane przez liczbę, powiedzmy 0,13 lub 32,39, która określa stopień pobudzenia neuronu. I jest jeszcze jedna ważna liczba, na każdym z połączeń między dwoma neuronami, która określa, ile wzbudzenia powinno być przenoszone z jednego do drugiego. Ta liczba odzwierciedla siłę synaps między neuronami w mózgu. Im wyższa liczba, tym silniejsze połączenie, co oznacza, że więcej emocji przepływa z jednego do drugiego.
Jednym z najbardziej udanych zastosowań głębokich sieci neuronowych jest rozpoznawanie obrazu. Obecnie istnieją programy, które potrafią rozpoznać, czy na zdjęciu jest hot dog. Jakieś dziesięć lat temu były niemożliwe. Aby działały, musisz najpierw zrobić zdjęcie. Dla uproszczenia załóżmy, że jest to czarno-biały obraz o wymiarach 100 x 100 pikseli. Dostarczasz go do sieci neuronowej, ustawiając odpalanie każdego symulowanego neuronu w warstwie wejściowej tak, aby było równe jasności każdego piksela. To jest dolna warstwa kanapki: 10 000 neuronów (100 x 100) reprezentujących jasność każdego piksela na obrazie.
Następnie łączysz tę dużą warstwę neuronów z inną dużą warstwą neuronów, już wyższą, powiedzmy, kilka tysięcy, a one z kolei z kolejną warstwą kilku tysięcy neuronów, ale mniej, i tak dalej. Wreszcie, górna warstwa kanapki - warstwa wyjściowa - będzie składać się z dwóch neuronów - jeden reprezentujący hot doga, a drugi nie hot doga. Chodzi o to, aby wyszkolić sieć neuronową tak, aby odpalała tylko pierwszy z tych neuronów, jeśli na obrazie znajduje się hot dog, a drugi, jeśli nie. Backprop, technika wstecznej propagacji, na której Hinton zbudował swoją karierę, właśnie to robi.
Backprop jest niezwykle prosty, choć najlepiej sprawdza się przy dużych ilościach danych. Właśnie dlatego duże zbiory danych są tak ważne dla sztucznej inteligencji - dlaczego Facebook i Google tak pasjonują się tym i dlaczego Vector Institute zdecydował się połączyć z czterema największymi kanadyjskimi szpitalami i udostępnić dane.
W tym przypadku dane przybierają postać milionów obrazów, niektóre z hot dogami, inne bez; sztuka polega na tym, aby oznaczyć te obrazy jako przedstawiające hot dogi. Kiedy po raz pierwszy tworzysz sieć neuronową, połączenia między neuronami mają losowe wagi - losowe liczby, które mówią, ile pobudzenia jest przesyłane przez każde połączenie. Jakby synapsy mózgu nie zostały jeszcze dostrojone. Celem podpory tylnej jest zmiana tych wag tak, aby sieć działała: tak, że kiedy podajesz obraz hot doga do najniższej warstwy, neuron hot-doga w najwyższej warstwie odpala.
Załóżmy, że robisz pierwsze zdjęcie samouczka gry na pianinie. Konwertujesz intensywności pikseli obrazu 100 x 100 na 10000 liczb, po jednej dla każdego neuronu w dolnej warstwie sieci. Gdy wzbudzenie rozprzestrzenia się w sieci zgodnie z siłą połączenia neuronów w sąsiednich warstwach, wszystko stopniowo dochodzi do ostatniej warstwy, jednego z dwóch neuronów, które określają, czy na obrazie jest hot dog. Ponieważ jest to zdjęcie fortepianu, neuron hot doga powinien wskazywać zero, a neuron nie-hot doga powinien wykazywać wyższą liczbę. Powiedzmy, że coś tak nie działa. Powiedzmy, że sieć pomyliła się co do obrazu. Backprop to procedura wzmacniająca siłę każdego połączenia w sieci, pozwalająca skorygować błąd w podanym przykładzie treningowym.
Jak to działa? Zaczynasz od dwóch ostatnich neuronów i odkrywasz, jak bardzo się mylą: jaka jest różnica między ich liczbą wyładowań a tym, jaka powinna być. Następnie przyjrzyj się każdemu połączeniu, które prowadzi do tych neuronów - schodząc w dół warstw - i określ ich wkład w błąd. Robisz to, aż dojdziesz do pierwszego zestawu połączeń na samym dole sieci. W tym momencie wiesz, jak pojedyncze połączenie przyczynia się do ogólnego błędu. Na koniec zmieniasz wszystkie wagi, aby zmniejszyć ogólną szansę na błąd. Ta tak zwana „technika propagacji błędów” polega na tym, że w pewnym sensie uruchamiasz błędy w sieci, zaczynając od tyłu, na zewnątrz.
Niesamowite zaczyna się dziać, gdy robisz to z milionami lub miliardami obrazów: sieć zaczyna dobrze określać, czy zdjęcie jest hot dogiem, czy nie. Jeszcze bardziej niezwykłe jest to, że poszczególne warstwy tych sieci rozpoznawania obrazów zaczynają „widzieć” obrazy w taki sam sposób, jak robi to nasz własny system wizualny. Oznacza to, że pierwsza warstwa wykrywa kontury - neurony są odpalane, gdy istnieją kontury i nie są odpalane, gdy ich nie ma; następna warstwa definiuje zestawy ścieżek, takie jak narożniki; następna warstwa zaczyna rozróżniać formy; następna warstwa wyszukuje różnego rodzaju elementy, takie jak „otwarta bułka” lub „zamknięta bułka”, ponieważ odpowiednie neurony są aktywowane. Sieć organizuje się w hierarchiczne warstwy, nawet nie będąc w ten sposób programowana.
Prawdziwa inteligencja nie jest zdezorientowana, gdy problem się nieznacznie zmienia.
To właśnie tak wszystkich zdumiało. Nie chodzi o to, że sieci neuronowe są dobre w klasyfikowaniu obrazów hot doga: tworzą reprezentacje pomysłów. W przypadku tekstu staje się to jeszcze bardziej oczywiste. Możesz wprowadzić tekst Wikipedii, wiele miliardów słów, do prostej sieci neuronowej, ucząc ją, jak nadawać każdemu słowu liczby odpowiadające wzbudzeniom każdego neuronu w warstwie. Jeśli pomyślisz o tych wszystkich liczbach jako o współrzędnych w złożonej przestrzeni, znajdziesz punkt, zwany w tym kontekście wektorem, dla każdego słowa w tej przestrzeni. Następnie trenujesz sieć tak, aby słowa, które pojawiają się obok siebie na stronach Wikipedii, miały podobne współrzędne - i voila, dzieje się coś dziwnego: słowa o podobnym znaczeniu pojawią się obok siebie w tej przestrzeni. Będą tam „szalony” i „zdenerwowany”; „Trzy” i „siedem” też. Ponadto,arytmetyka wektorów pozwala odjąć wektor „Francja” od „Paryża”, dodać go do „Włochy” i znaleźć w pobliżu „Rzym”. Nikt nie powiedział sieci neuronowej, że Rzym jest dla Włoch tym samym, co Paryż dla Francji.
„To niesamowite” - mówi Hinton. „To szokujące”. Sieci neuronowe można postrzegać jako próbę pobrania rzeczy - obrazów, słów, nagrań rozmów, danych medycznych - i umieszczenia ich, jak mówią matematycy, w wielowymiarowej przestrzeni wektorowej, w której bliskość lub oddalenie rzeczy będzie odzwierciedlać najważniejsze aspekty realnego świata. Hinton uważa, że to właśnie robi mózg. „Jeśli chcesz wiedzieć, czym jest myśl”, mówi, „mogę ci ją przekazać w serii słów. Mogę powiedzieć: „John pomyślał„ ups”. Ale jeśli zapytasz: co się myśli? Co to znaczy dla Jana, że ma taką myśl? W końcu w jego głowie nie ma cudzysłowów otwierających, „ups”, cudzysłowów zamykających, w ogóle nie ma czegoś takiego. W jego głowie zachodzi pewna aktywność neuronalna”. Duże obrazy aktywności neuronowej, jeśli jesteś matematykiem, można uchwycić w przestrzeni wektorowej,gdzie aktywność każdego neuronu będzie odpowiadać liczbie, a każda liczba będzie odpowiadać współrzędnej bardzo dużego wektora. Dla Hintona myśl jest tańcem wektorów.
Teraz jest jasne, dlaczego tak nazwano Vector Institute?
Hinton tworzy rodzaj pola do zniekształcania rzeczywistości, przekazuje nam poczucie pewności i entuzjazmu, zaszczepiając wiarę, że dla wektorów nie ma rzeczy niemożliwych. W końcu stworzyli już samojezdne samochody, komputery wykrywające raka, natychmiastowe tłumacze mówione.
Dopiero gdy wychodzisz z pokoju, przypominasz sobie, że te systemy uczenia głębokiego są nadal dość głupie pomimo ich demonstracyjnej siły myśli. Komputer, który widzi stos pączków na stole i automatycznie określa go jako „stos pączków na stole”, wydaje się rozumieć świat; ale kiedy ten sam program widzi dziewczynę myjącą zęby i mówi, że jest „chłopcem z kijem baseballowym”, zdajesz sobie sprawę, jak nieuchwytne jest to zrozumienie.
Sieci neuronowe to po prostu bezmyślne i niejasne urządzenia do rozpoznawania wzorców, a jak przydatne mogą być takie urządzenia rozpoznające wzorce - ponieważ starają się zintegrować je z dowolnym oprogramowaniem - są w najlepszym przypadku ograniczonym rodzajem inteligencji, którą można łatwo oszukać. Głęboka sieć neuronowa, która rozpoznaje obrazy, może zostać całkowicie zdezorientowana, jeśli zmienisz jeden piksel lub dodasz wizualny szum, który jest niewidoczny dla ludzi. Niemal tak często, jak znajdujemy nowe sposoby wykorzystania głębokiego uczenia, często napotykamy jego ograniczenia. Samochody autonomiczne nie mogą jeździć w niespotykanych wcześniej warunkach. Maszyny nie potrafią analizować zdań, które wymagają zdrowego rozsądku i zrozumienia, jak działa świat.
Deep Learning naśladuje to, co dzieje się w ludzkim mózgu w pewien sposób, ale powierzchownie - co być może wyjaśnia, dlaczego jego inteligencja jest czasami tak powierzchowna. Backprop nie został odkryty podczas zanurzenia mózgu, próbując odszyfrować samą myśl; wyrosła z modeli uczenia się zwierząt metodą prób i błędów w staromodnych eksperymentach. A większość ważnych kroków, które podjęto od czasu jej powstania, nie zawierała niczego nowego w neurobiologii; były to ulepszenia techniczne, na które zasłużyła wieloletnia praca matematyków i inżynierów. To, co wiemy o inteligencji, jest niczym w porównaniu z tym, czego jeszcze o niej nie wiemy.
David Duvenaud, adiunkt na tym samym wydziale co Hinton na Uniwersytecie w Toronto, mówi, że głębokie uczenie się jest podobne do inżynierii przed wprowadzeniem fizyki. „Ktoś pisze pracę i mówi: 'Zrobiłem ten most i jest tego wart!' Inny pisze: „Zrobiłem ten most i się zawalił, ale dodałem podpory i stoi”. I wszyscy szaleją za podporami. Ktoś dodaje łuk - i wszyscy są tacy: łuki są fajne! Dzięki fizyce możesz dowiedzieć się, co zadziała i dlaczego. Dopiero niedawno zaczęliśmy zmierzać w kierunku przynajmniej pewnego zrozumienia sztucznej inteligencji”.
A sam Hinton mówi: „Większość konferencji mówi o wprowadzaniu małych zmian, zamiast o intensywnym myśleniu i zadawaniu pytań:„ Dlaczego to, co teraz robimy, nie działa? Jaki jest tego powód? Skoncentrujmy się na tym”.
Trudno jest uzyskać perspektywę zewnętrzną, gdy wszystko, co widzisz, to postęp za postępem. Jednak najnowsze osiągnięcia w dziedzinie sztucznej inteligencji były mniej naukowe, a bardziej techniczne. Chociaż lepiej rozumiemy, jakie zmiany poprawią systemy uczenia głębokiego, nadal mamy niejasne pojęcie o tym, jak działają te systemy i czy kiedykolwiek mogą się połączyć w coś tak potężnego jak ludzki umysł.
Ważne jest, aby zrozumieć, czy byliśmy w stanie wyodrębnić wszystko, co możemy z tylnej podpory. Jeśli tak, to będziemy mieli plateau w rozwoju sztucznej inteligencji.
Cierpliwość
Jeśli chcesz zobaczyć kolejny przełom, coś w rodzaju ramy dla maszyn o znacznie bardziej elastycznej inteligencji, powinieneś teoretycznie zwrócić się do badań podobnych do badań backprop w latach 80.: kiedy inteligentni ludzie poddali się, ponieważ ich pomysły jeszcze nie zadziałały. …
Kilka miesięcy temu odwiedziłem Centre for Minds, Brains and Machines, wielofunkcyjną instytucję stacjonującą na MIT, aby zobaczyć, jak mój przyjaciel Eyal Dechter broni swojej pracy doktorskiej z kognitywistyki. Przed rozpoczęciem występu jego żona Amy, pies Ruby i córka Suzanne wspierali go i życzyli powodzenia.
Eyal rozpoczął swoje przemówienie od fascynującego pytania: jak to się stało, że Suzanne, która ma zaledwie dwa lata, nauczyła się mówić, bawić się, śledzić historie? Co jest w ludzkim mózgu, co pozwala mu tak dobrze się uczyć? Czy komputer kiedykolwiek nauczy się uczyć tak szybko i płynnie?
Rozumiemy nowe zjawiska w kategoriach rzeczy, które już rozumiemy. Dzielimy domenę na części i badamy ją kawałek po kawałku. Eyal jest matematykiem i programistą, myśli o zadaniach - takich jak robienie sufletu - jak o złożonych programach komputerowych. Ale nie nauczysz się, jak zrobić suflet, zapamiętując setki minutowych instrukcji programu, takich jak „obróć łokieć o 30 stopni, następnie spójrz na blat, następnie wyciągnij palec, a następnie …”. Gdybyś musiał to robić w każdym nowym przypadku, nauka stałaby się nie do zniesienia i przestałbyś się rozwijać. Zamiast tego w programie widzimy kroki wysokiego poziomu, takie jak „bicie białek”, które same składają się z podprogramów, takich jak „rozbijanie jajek” i „oddzielanie białek od żółtek”.
Komputery tego nie robią i dlatego wydają się głupie. Aby nauczyć się rozpoznawać hot doga, musisz podać mu 40 milionów zdjęć z hot dogami. To, co Suzanne rozpoznała hot doga, po prostu pokaż jej hot doga. I na długo przedtem będzie miała zrozumienie języka, które idzie znacznie głębiej niż rozpoznawanie pojawiania się razem oddzielnych słów. W przeciwieństwie do komputera, jej głowa ma pojęcie o tym, jak działa świat. „Zaskakuje mnie, że ludzie boją się, że komputery zabiorą im pracę” - mówi Eyal. „Komputery nie będą w stanie zastąpić prawników, ponieważ prawnicy robią coś trudnego. Ale ponieważ prawnicy słuchają i rozmawiają z ludźmi. W tym sensie jesteśmy bardzo daleko od tego wszystkiego”.
Prawdziwa inteligencja nie zostanie zdezorientowana, jeśli nieznacznie zmienisz wymagania dotyczące rozwiązania problemu. A kluczową tezą Eyala było zademonstrowanie dokładnie tego, w zasadzie, jak sprawić, by komputer działał w ten sposób: żywo zastosuj wszystko, co już wie, do rozwiązywania nowych problemów, szybko opanuj w locie, zostań ekspertem w zupełnie nowej dziedzinie.
Zasadniczo nazywa to algorytmem eksploracji i kompresji. Daje komputerowi funkcję programisty, budując bibliotekę komponentów modułowych wielokrotnego użytku, aby można było tworzyć bardziej złożone programy. Nie wiedząc nic o nowej domenie, komputer próbuje uporządkować wiedzę o niej, po prostu ją studiując, utrwalając to, co odkrył i dalej badając, jak dziecko.
Jego doradca, Joshua Tenenbaum, jest jednym z najczęściej cytowanych badaczy AI. Imię Tenenbauma pojawiło się w połowie rozmów, które prowadziłem z innymi naukowcami. Pod jego kierownictwem pracowało kilka kluczowych osób w DeepMind - zespół programistów AlphaGo, który legendarnie pokonał mistrza świata w Go w 2016 roku. Jest zaangażowany w startup, który stara się dać autonomicznym samochodom intuicyjne zrozumienie podstaw fizyki i intencji innych kierowców, aby mogli lepiej przewidywać, co dzieje się w sytuacjach, z którymi wcześniej się nie spotkali.
Teza Eyala nie została jeszcze zastosowana w praktyce, nie została nawet wprowadzona do programów. „Problemy, nad którymi pracuje Eyal, są bardzo, bardzo trudne” - mówi Tenenbaum. „Mija wiele pokoleń”.
Kiedy usiedliśmy na filiżankę kawy, Tenenbaum powiedział, że szuka inspiracji w historii backpropa. Przez dziesięciolecia backprop był formą fajnej matematyki, z której większość nie jest zdolna do niczego. W miarę jak komputery stawały się szybsze, a technologia trudniejsza, sytuacja się zmieniła. Ma nadzieję, że coś podobnego stanie się z jego własną pracą i pracą jego uczniów, ale „może to zająć jeszcze kilka dekad”.
Hinton jest przekonany, że przezwyciężanie ograniczeń sztucznej inteligencji polega na stworzeniu „pomostu między informatyką a biologią”. Z tego punktu widzenia Backprop był triumfem komputerów inspirowanych biologicznie; pomysł pierwotnie nie pochodził z inżynierii, ale z psychologii. Więc teraz Hinton próbuje powtórzyć tę sztuczkę.
Obecnie sieci neuronowe składają się z dużych, płaskich warstw, ale w ludzkiej korze nowej prawdziwe neurony układają się nie tylko poziomo, ale także pionowo w kolumnach. Hinton domyśla się, do czego służą te kolumny - na przykład w wizji pozwalają one rozpoznawać obiekty, nawet jeśli zmienisz punkt widzenia. Dlatego tworzy sztuczną wersję - i nazywa je „kapsułkami” - aby przetestować tę teorię. Jak dotąd nic nie wychodzi: kapsuły nie poprawiły znacznie wydajności jego sieci. Ale 30 lat temu było tak samo z backpropem.
„Powinno działać” - mówi o teorii kapsułki, śmiejąc się z własnej brawury. „A to, co jeszcze nie działa, to tylko chwilowa irytacja”.
Na podstawie materiałów z Medium.com
Ilya Khel
