Największą lekcją, jaką można wyciągnąć z 70 lat badań nad sztuczną inteligencją, jest to, że ogólne metody wykorzystujące obliczenia są ostatecznie najbardziej wydajne - i to z dużym marginesem. Ostatecznym tego powodem jest prawo Moore'a. A raczej jego uogólnienie: ciągłe, wykładnicze obniżanie kosztów procesorów obliczeniowych. Tą „gorzką lekcją” podzielił się Richard Sutton, kanadyjski informatyk. Dalej - od pierwszej osoby.
Dlaczego badania nad sztuczną inteligencją stoją w bezruchu od 70 lat?
Większość badań nad sztuczną inteligencją była przeprowadzana tak, jakby obliczenia dostępne dla agenta były trwałe (iw tym przypadku wykorzystanie ludzkiej wiedzy byłoby jednym z jedynych sposobów na poprawę wydajności). Jednak z biegiem czasu - znacznie więcej niż wymaga to typowy projekt badawczy - nieuchronnie dostępnych jest znacznie więcej obliczeń. W poszukiwaniu ulepszeń, które mogą pomóc w krótkiej perspektywie, naukowcy starają się zmaksymalizować ludzką wiedzę w tej dziedzinie, ale jedyną rzeczą, która ma znaczenie w dłuższej perspektywie, jest rosnące wykorzystanie komputerów. Te dwa aspekty nie powinny być ze sobą sprzeczne, ale w praktyce tak. Czas spędzony na jednym z nich nie jest równy czasowi spędzonemu na drugim. Istnieją psychologiczne obowiązki inwestowania w takie czy inne podejście. A podejście oparte na wiedzy ludzkiej ma tendencję do komplikowania metod w taki sposób, że stają się one mniej odpowiednie do wykorzystywania ogólnych metod wykorzystujących obliczenia.
Było wiele przykładów badaczy sztucznej inteligencji, którzy z opóźnieniem zrozumieli tę gorzką lekcję. Pouczające będzie rozważenie niektórych z najważniejszych przykładów.
W szachach komputerowych metody, które pokonały mistrza świata Kasparowa w 1997 roku, opierały się na masowych, głębokich poszukiwaniach. W tamtym czasie byli oni traktowani z konsternacją przez większość badaczy szachów komputerowych, którzy stosowali metody oparte na zrozumieniu przez człowieka specyficznej struktury szachów. Kiedy prostsze, oparte na wyszukiwaniu podejście ze specjalistycznym sprzętem i oprogramowaniem okazało się znacznie skuteczniejsze, badacze, którzy opierali się na ludzkim rozumieniu szachów, nie przyznali się do porażki. Powiedzieli: „Tym razem podejście brutalnej siły mogło wygrać, ale nie stanie się ogólną strategią i na pewno ludzie nie grają w szachy w ten sposób. Naukowcy ci chcieli, aby metody oparte na ludziach wygrywały, i byli bardzo rozczarowani, gdy się nie udało.
Film promocyjny:
Podobny obraz postępu badań pojawił się w przypadku komputera, tylko z opóźnieniem o kolejne 20 lat. Początkowo dołożono wszelkich starań, aby uniknąć wyszukiwania z wykorzystaniem ludzkiej wiedzy lub rozgrywki, ale wszystkie te wysiłki były niepotrzebne lub nawet gorsze, gdy wyszukiwanie zostało zastosowane skutecznie i na dużą skalę. Istotne było również wykorzystanie uczenia się w procesie samodzielnej gry, aby poznać funkcję wartości (jak to miało miejsce w wielu innych grach, a nawet w szachach, dopiero uczenie się nie odegrało dużej roli w programie w 1997 roku, który po raz pierwszy pokonał mistrza świata). Nauka zabawy samym sobą, uczenie się jako całość, jest jak poszukiwanie, które pozwala zastosować ogromne tablice obliczeń. Wyszukiwanie i uczenie się to dwie najważniejsze klasy technik, które wymagają ogromnych ilości obliczeń w badaniach nad sztuczną inteligencją. W komputerze idźPodobnie jak w przypadku szachów komputerowych, początkowe wysiłki badaczy miały na celu wykorzystanie ludzkiego rozumienia (tak, aby było mniej poszukiwań), a znacznie większy sukces osiągnięto dopiero znacznie później dzięki wykorzystaniu wyszukiwania i uczenia się.
W dziedzinie rozpoznawania mowy w latach 70. zorganizowano konkurs sponsorowany przez DARPA. Uczestnicy przedstawili różne metody wykorzystujące ludzką wiedzę - znajomość słów lub fonemów, ludzki przewód głosowy i tak dalej. Po drugiej stronie barykad były nowsze metody, o charakterze statystycznym i wykonujące więcej obliczeń, oparte na ukrytych modelach Markowa (HMM). Ponownie metody statystyczne wygrały z metodami opartymi na wiedzy. Doprowadziło to do poważnych zmian w całym przetwarzaniu języka naturalnego, które były stopniowo wprowadzane przez dziesięciolecia, aż w końcu statystyki i obliczenia zaczęły dominować w tej dziedzinie. Niedawny rozwój głębokiego uczenia się w rozpoznawaniu mowy jest najnowszym krokiem w tym konsekwentnym kierunku. Uczenie głębokie w jeszcze mniejszym stopniu opiera się na ludzkiej wiedzy i wykorzystuje jeszcze więcej obliczeń, wraz ze szkoleniem na ogromnych zestawach próbek i tworzy niesamowite systemy rozpoznawania mowy.
Richard Sutton, kanadyjski informatyk.
Podobnie jak w grach, naukowcy zawsze próbowali stworzyć systemy, które będą działały tak, jak sobie wyobrażali w swoich głowach - starali się umieścić tę wiedzę w swoich systemach - ale wszystko to wyszło wyjątkowo bezproduktywne, naukowcy po prostu tracili czas, podczas gdy - zgodnie z prawem Moore'a - coraz bardziej masywne obliczenia były dostępne i znalazły doskonałe zastosowania.
Podobny obraz był w dziedzinie widzenia komputerowego. Pierwsze metody postrzegane były jako poszukiwanie pewnych konturów, uogólnionych walców lub wykorzystanie możliwości SIFT (niezmiennej skali transformacji cech). Ale dzisiaj wszystko to zostało wrzucone do pieca. Nowoczesne sieci neuronowe uczenia głębokiego wykorzystują tylko koncepcję splotu i pewnych niezmienników i działają znacznie lepiej.
To świetna lekcja.
Gdziekolwiek spojrzymy, wszędzie popełniamy te same błędy. Aby to zobaczyć i skutecznie sobie z tym poradzić, musisz zrozumieć, dlaczego te błędy są tak atrakcyjne. Musimy wyciągnąć gorzką lekcję, że budowanie tego, jak myślimy na podstawie tego, jak myślimy, nie zadziała na dłuższą metę. Gorzka lekcja oparta na obserwacjach historycznych pokazuje, że: 1) badacze sztucznej inteligencji często próbowali wbudować wiedzę w swoich agentów; 2) zawsze pomagało w krótkim okresie i przynosiło satysfakcję naukowcom; 3) ale w dłuższej perspektywie wszystko się zatrzymało i zahamowało dalszy postęp; 4) przełomowy postęp nieuchronnie nadszedł przy odwrotnym podejściu opartym na skalowaniu obliczeń poprzez wyszukiwanie i uczenie się. Sukces miał gorzki smak i często nie był w pełni wchłaniany.ponieważ jest to sukces informatyki, a nie sukces podejść skoncentrowanych na człowieku.
Jedna rzecz, jakiej można się nauczyć z tej gorzkiej lekcji, to ogromna moc metod ogólnego przeznaczenia, metod, które skalują się wraz z rozwojem obliczeń, nawet gdy dostępne obliczenia stają się bardzo duże. Dwie metody, które wydają się być dowolnie skalowane w ten sposób, to poszukiwanie i uczenie się.
Drugą rzeczą, jakiej można się nauczyć z tej gorzkiej lekcji, jest to, że rzeczywista treść umysłu jest niezwykle i niepotrzebnie złożona; powinniśmy przestać szukać prostych sposobów nadawania sensu treści umysłu, podobnie jak proste sposoby nadawania sensu przestrzeni, przedmiotom, wielu czynnikom lub symetriom. Wszystkie są częścią arbitralnie złożonego świata zewnętrznego. Nie powinniśmy próbować na nich budować, ponieważ ich złożoność jest nieskończona; powinniśmy budować na meta-metodach, które mogą znaleźć i uchwycić tę arbitralną złożoność. Metody te mogą znaleźć dobre przybliżenia, ale ich poszukiwanie powinno być prowadzone naszymi metodami, a nie przez nas. Potrzebujemy agentów sztucznej inteligencji, którzy mogą odkrywać w ten sam sposób, co my, ale nie zawierają tego, co odkryliśmy. Budowanie na naszych odkryciach tylko komplikuje proces odkrywania i poszukiwania.
Ilya Khel