Prawie wszystko, co słyszysz dziś o sztucznej inteligencji, pochodzi z głębokiego uczenia się. Ta kategoria algorytmów współpracuje ze statystykami w celu znajdowania wzorców w danych i okazała się niezwykle potężna w naśladowaniu ludzkich umiejętności, takich jak zdolność widzenia i słyszenia. W bardzo wąskim zakresie może nawet naśladować naszą zdolność rozumowania. Algorytmy te obsługują wyszukiwarkę Google, kanał wiadomości na Facebooku, silnik rekomendacji Netflix i kształtują branże, takie jak służba zdrowia i edukacja.
Jak rozwija się głębokie uczenie się
Pomimo tego, że głębokie uczenie się praktycznie samodzielnie udostępniło publicznie sztuczną inteligencję, stanowi tylko niewielki błysk w historycznym zadaniu ludzkości, jakim jest odtworzenie własnej inteligencji. Znajduje się w czołówce tych poszukiwań od mniej niż dziesięciu lat. Jeśli odłożymy na bok całą historię tego obszaru, łatwo zrozumieć, że wkrótce może on również zniknąć.
Powiedział, że nagłe wzloty i upadki różnych metod od dawna charakteryzują badania nad sztuczną inteligencją. Każdej dekady istnieje intensywna rywalizacja między różnymi pomysłami. Następnie, od czasu do czasu, przełącznik się odwraca i cała społeczność zaczyna robić jedną rzecz.
Nasi koledzy z MIT Technology Review chcieli zwizualizować te problemy i początki. W tym celu zwrócili się do jednej z największych baz danych otwartych artykułów naukowych, znanej jako arXiv. Pobrali fragmenty łącznie 16 625 artykułów dostępnych w sekcji sztucznej inteligencji do 18 listopada 2018 r. I wyśledzili słowa wspomniane przez lata, aby zobaczyć, jak ewoluowała ta dziedzina.
W wyniku ich analizy wyłoniły się trzy główne trendy: przejście na uczenie maszynowe w późnych latach 90. i na początku 2000 r., Wzrost popularności sieci neuronowych, który rozpoczął się na początku 2010 r., Oraz wzrost uczenia się ze wzmocnieniem w ciągu ostatnich kilku lat.
Film promocyjny:
Ale najpierw kilka zastrzeżeń. Po pierwsze, sekcja arXiv ze sztuczną inteligencją pochodzi z 1993 roku, a termin „sztuczna inteligencja” sięga lat pięćdziesiątych XX wieku, więc sama baza danych reprezentuje tylko ostatnie rozdziały historii tej dziedziny. Po drugie, dokumenty dodawane co roku do bazy danych stanowią zaledwie ułamek pracy, jaka jest obecnie wykonywana w tej dziedzinie. Jednak arXiv stanowi doskonałe źródło informacji do identyfikacji niektórych głównych trendów badawczych i do obserwacji przeciągania liny między różnymi obozami ideologicznymi.
Paradygmat uczenia maszynowego
Największą zmianą, jaką odkryli naukowcy, było odejście od systemów opartych na wiedzy na początku XXI wieku. Takie systemy komputerowe opierają się na założeniu, że całą ludzką wiedzę można zakodować w systemie reguł. Zamiast tego naukowcy zwrócili się ku uczeniu maszynowemu, nadrzędnej kategorii algorytmów, które obejmują uczenie głębokie.
Spośród wymienionych 100 słów najbardziej zmniejszyły się te związane z systemami opartymi na wiedzy - „logika”, „ograniczenia” i „reguła”. Najbardziej wzrosły te związane z uczeniem maszynowym - „dane”, „sieć”, „wydajność”.
Przyczyna tej zmiany pogody jest bardzo prosta. W latach 80-tych systemy oparte na wiedzy zyskiwały popularność wśród fanów, dzięki ekscytacji związanej z ambitnymi projektami, które próbowały odtworzyć zdrowy rozsądek w maszynach. Kiedy jednak te projekty się rozwinęły, naukowcy stanęli przed poważnym wyzwaniem: trzeba było zakodować zbyt wiele reguł, aby system mógł zrobić cokolwiek pożytecznego. Doprowadziło to do wzrostu kosztów i znacznego spowolnienia trwających procesów.
Odpowiedzią na ten problem jest uczenie maszynowe. Zamiast wymagać od ludzi ręcznego kodowania setek tysięcy reguł, takie podejście programuje maszyny do automatycznego wyodrębniania tych reguł ze stosu danych. Podobnie, ta dziedzina odeszła od systemów opartych na wiedzy i zajęła się ulepszaniem uczenia maszynowego.
Boom sieci neuronowych
W ramach nowego paradygmatu uczenia maszynowego przejście do uczenia głębokiego nie nastąpiło z dnia na dzień. Zamiast tego analiza kluczowych terminów wykazała, że naukowcy przetestowali wiele metod oprócz sieci neuronowych, głównych mechanizmów głębokiego uczenia się. Inne popularne metody obejmowały sieci bayesowskie, maszyny wektorów nośnych i algorytmy ewolucyjne, z których wszystkie wykorzystują różne podejścia do znajdowania wzorców w danych.
W latach 90. i 2000. istniała silna konkurencja między tymi metodami. Następnie, w 2012 roku, dramatyczny przełom doprowadził do kolejnej zmiany pogody. Podczas corocznego konkursu ImageNet, mającego na celu przyspieszenie postępów w dziedzinie widzenia komputerowego, badacz Jeffrey Hinton wraz ze swoimi kolegami z University of Toronto osiągnął najwyższą dokładność rozpoznawania obrazu z marginesem błędu wynoszącym nieco ponad 10%.
Technika głębokiego uczenia się, której użył, dała początek nowej fali badań, najpierw w społeczności zajmującej się wizualizacjami, a następnie poza nią. W miarę jak coraz więcej naukowców zaczęło stosować ją do osiągania imponujących wyników, popularność tej techniki, wraz z popularnością sieci neuronowych, gwałtownie wzrosła.
Rozwój uczenia się przez wzmacnianie
Analiza wykazała, że kilka lat po rozkwicie głębokiego uczenia nastąpiła trzecia i ostatnia zmiana w badaniach nad sztuczną inteligencją.
Oprócz różnych metod uczenia maszynowego istnieją trzy różne typy: uczenie nadzorowane, uczenie bez nadzoru i uczenie ze wzmocnieniem. Uczenie nadzorowane, które obejmuje dostarczanie oznaczonych danych do maszyny, jest najczęściej używane i ma obecnie najbardziej praktyczne zastosowania. Jednak w ciągu ostatnich kilku lat uczenie się przez wzmacnianie, które naśladuje proces uczenia się zwierząt za pomocą marchewek i kijów, kar i nagród, doprowadziło do szybkiego wzrostu liczby odniesień w pracach.
Sam pomysł nie jest nowy, ale nie sprawdzał się od wielu dziesięcioleci. „Nadzorowani specjaliści ds. Uczenia się śmiali się ze specjalistów ds. Uczenia się przez wzmacnianie” - mówi Domingos. Ale podobnie jak w przypadku głębokiego uczenia się, jeden punkt zwrotny nagle wysunął metodę na pierwszy plan.
Ten moment nadszedł w październiku 2015 roku, kiedy AlphaGo z DeepMind, trenowany ze wzmocnieniami, pokonał mistrza świata w starożytnej grze go. Wpływ na społeczność naukową był natychmiastowy.
Następne dziesięć lat
MIT Technology Review dostarcza jedynie najświeższego obrazu konkurencji wśród pomysłów charakteryzujących badania nad sztuczną inteligencją. Jednak ilustruje to niekonsekwencję w dążeniu do powielania inteligencji. „Ważne jest, aby zrozumieć, że nikt nie wie, jak rozwiązać ten problem” - mówi Domingos.
Wiele metod stosowanych od 25 lat pojawiło się mniej więcej w tym samym czasie w latach pięćdziesiątych XX wieku i nie sprostało wyzwaniom i sukcesom każdej dekady. Na przykład sieci neuronowe osiągnęły szczyt w latach 60. i nieco w latach 80., ale prawie umarły, zanim odzyskały popularność dzięki głębokiemu uczeniu się.
Innymi słowy, w każdej dekadzie dominowała inna technika: sieci neuronowe w późnych latach pięćdziesiątych i sześćdziesiątych, różne próby symboliczne w latach siedemdziesiątych, systemy oparte na wiedzy w latach osiemdziesiątych, sieci bayesowskie w latach dziewięćdziesiątych, wektory odniesienia w sieci zerowe i neuronowe ponownie w 2010 roku.
Lata 20-te nie będą inne, mówi Domingos. Oznacza to, że era głębokiego uczenia się może wkrótce się skończyć. Ale co będzie dalej - stara technika w nowej chwale czy zupełnie nowy paradygmat - to temat zaciekłych kontrowersji w społeczności.
Ilya Khel
