Oddział sztucznej inteligencji Google zapowiedział stworzenie nowej metody szkolenia sieci neuronowych, łączącej wykorzystanie zaawansowanych algorytmów i starych gier wideo. Stare gry wideo Atari są używane jako środowisko do nauki.
Twórcy DeepMind (przypomnijmy sobie, że ci ludzie stworzyli sieć neuronową AlphaGo, która wielokrotnie pokonała najlepszych graczy w logicznej grze go) uważają, że maszyny mogą uczyć się tak samo jak ludzie. Korzystając z systemu szkoleniowego DMLab-30 opartego na strzelance Quake III i grach zręcznościowych Atari (używanych jest 57 różnych gier), inżynierowie opracowali nowy algorytm uczenia maszynowego IMPALA (Importance Weighted Actor-Learner Architectures). Pozwala poszczególnym częściom nauczyć się wykonywania kilku zadań jednocześnie, a następnie wymieniać między sobą wiedzę.
Nowy system był pod wieloma względami oparty na wcześniejszym systemie architektury Asynchronous Actor-Critic Agents (A3C), w którym poszczególni agenci badają otoczenie, następnie proces jest wstrzymywany i wymieniają się wiedzą z centralnym komponentem, „studentem”. Jeśli chodzi o IMPALĘ, to może mieć więcej agentów, a sam proces uczenia się przebiega w nieco inny sposób. W nim agenci wysyłają informacje jednocześnie do dwóch „studentów”, którzy następnie wymieniają się danymi. Dodatkowo, jeśli w A3C obliczenie gradientu funkcji straty (innymi słowy rozbieżności między przewidywanymi a uzyskanymi wartościami parametrów) jest wykonywane przez samych agentów, którzy przesyłają informacje do centralnego rdzenia, to w systemie IMPALA zadanie to wykonują „studenci”
Przykład osoby grającej w grę:
Oto jak system IMPALA radzi sobie z tym samym zadaniem:
Jednym z głównych wyzwań w rozwoju sztucznej inteligencji jest czas i potrzeba dużej mocy obliczeniowej. Nawet autonomiczne maszyny potrzebują reguł, których mogą przestrzegać podczas własnych eksperymentów i znajdowania sposobów rozwiązywania problemów. Ponieważ nie możemy po prostu budować robotów i pozwalać im się uczyć, programiści używają symulacji i technik głębokiego uczenia.
Aby nowoczesne sieci neuronowe mogły się czegoś nauczyć, muszą przetworzyć ogromną ilość informacji, w tym przypadku miliardy ramek. Im szybciej to robią, tym mniej czasu zajmuje im nauka.
Film promocyjny:
Przy wystarczającej liczbie procesorów, DeepMind twierdzi, że IMPALA osiąga 250 000 klatek na sekundę, czyli 21 miliardów klatek dziennie. Według The Next Web to absolutny rekord dla tego typu zadań. Sami deweloperzy komentują, że ich system AI radzi sobie z zadaniem lepiej niż podobne maszyny i ludzie.
W przyszłości podobne algorytmy sztucznej inteligencji mogą być wykorzystywane w robotyce. Dzięki optymalizacji systemów uczenia maszynowego roboty szybciej dostosują się do otoczenia i będą pracować wydajniej.
Nikolay Khizhnyak
