Na zachodnim wybrzeżu Ameryki najcenniejsze firmy świata próbują uczynić sztuczną inteligencję mądrzejszą. Google i Facebook chwalą się eksperymentami wykorzystującymi miliardy zdjęć i tysiące wydajnych procesorów. Ale pod koniec zeszłego roku projekt we wschodnim Tennessee po cichu przekroczył skalę jakiegokolwiek korporacyjnego laboratorium AI. I był zarządzany przez rząd USA.
Superkomputer rządu USA bije rekordy
Rekordowy projekt dotyczył najpotężniejszego superkomputera na świecie Summit w Oak Ridge National Laboratory. Ten samochód zdobył koronę w czerwcu ubiegłego roku, przywracając tytuł Stanom Zjednoczonym pięć lat później, kiedy na szczycie listy znalazły się Chiny. W ramach projektu badań klimatycznych gigantyczny komputer uruchomił eksperyment z uczeniem maszynowym, który był szybszy niż kiedykolwiek wcześniej.
Szczyt, obejmujący obszar odpowiadający dwóm kortom tenisowym, wykorzystał w tym projekcie ponad 27 000 wydajnych procesorów graficznych. Wykorzystał ich moc do trenowania algorytmów głębokiego uczenia, tej samej technologii, która stanowi podstawę zaawansowanej sztucznej inteligencji. W uczeniu głębokim algorytmy wykonują ćwiczenia z prędkością miliarda miliardów operacji na sekundę, co w kręgach superkomputerów jest znane jako eksaflop.
„Uczenie głębokie nigdy wcześniej nie osiągało takiego poziomu wydajności” - mówi Prabhat, lider zespołu badawczego w National Energy Research Center w Lawrence Berkeley National Laboratory. Jego zespół współpracował z naukowcami w siedzibie Summit, Oak Ridge National Laboratory.
Jak można się domyślić, szkolenie w zakresie sztucznej inteligencji na najpotężniejszym komputerze na świecie skupiało się na jednym z największych wyzwań na świecie - zmianie klimatu. Firmy technologiczne szkolą algorytmy rozpoznawania twarzy lub znaków drogowych; Rządowi naukowcy wyszkolili ich w rozpoznawaniu wzorców pogodowych, takich jak cyklony, na podstawie modeli klimatu, które kompresują prognozy dotyczące atmosfery ziemskiej na stulecie do trzech godzin. (Nie jest jednak jasne, ile energii wymagał projekt i ile węgla uwolniło się do powietrza w tym procesie).
Film promocyjny:
Eksperyment na szczycie ma implikacje dla przyszłości sztucznej inteligencji i klimatologii. Projekt demonstruje potencjał naukowy adaptacji głębokiego uczenia się do superkomputerów, które tradycyjnie symulują procesy fizyczne i chemiczne, takie jak wybuchy jądrowe, czarne dziury lub nowe materiały. Pokazuje również, że uczenie maszynowe może skorzystać z większej mocy obliczeniowej - jeśli możesz ją znaleźć - i zapewnić przełom w przyszłości.
„Nie wiedzieliśmy, że da się to zrobić na taką skalę, dopóki tego nie zrobiliśmy” - mówi Rajat Monga, CTO w Google. On i inni Googlersi pomogli w realizacji projektu, dostosowując oprogramowanie TensorFlow do uczenia maszynowego firmy Open Source na gigantyczną skalę Summit.
Znaczna część pracy nad skalowaniem głębokiego uczenia się została wykonana w centrach danych firm internetowych, gdzie serwery pracują razem nad problemami, oddzielając je, ponieważ są stosunkowo rozłączne, a nie połączone w jeden gigantyczny komputer. Superkomputery, takie jak Summit, mają inną architekturę, ze specjalistycznymi szybkimi połączeniami łączącymi tysiące procesorów w jeden system, który może pracować jako całość. Do niedawna pracowano stosunkowo niewiele nad dostosowaniem uczenia maszynowego do pracy z tego rodzaju sprzętem.
Monga twierdzi, że prace nad dostosowaniem TensorFlow do skali Summit będą również wspierać wysiłki Google w zakresie rozbudowy wewnętrznych systemów sztucznej inteligencji. Inżynierowie Nvidii również zaangażowali się w ten projekt, upewniając się, że dziesiątki tysięcy procesorów graficznych Nvidia w tej maszynie działają płynnie.
Znalezienie sposobów na wykorzystanie większej mocy obliczeniowej w algorytmach głębokiego uczenia odegrało zasadniczą rolę w obecnym rozwoju technologii. Ta sama technologia, której Siri używa do rozpoznawania głosu i samochodów Waymo do odczytywania znaków drogowych, stała się użyteczna w 2012 roku po tym, jak naukowcy przystosowali ją do pracy z procesorami graficznymi Nvidia.
W analizie opublikowanej w maju ubiegłego roku naukowcy z OpenAI, instytutu badawczego założonego przez Elona Muska w San Francisco, oszacowali, że ilość mocy obliczeniowej w największych publicznych eksperymentach z uczeniem maszynowym podwajała się mniej więcej co 3,43 miesiąca od 2012 r.; oznaczałoby to 11-krotny wzrost w ciągu roku. Ten postęp pomógł botowi Alphabet pokonać mistrzów w wymagających grach planszowych i wideo, a także znacznie poprawił dokładność tłumacza Google.
Google i inne firmy tworzą obecnie nowe rodzaje chipów obsługujących sztuczną inteligencję, aby kontynuować ten trend. Google twierdzi, że strąki z tysiącami swoich chipów sztucznej inteligencji blisko siebie - zduplikowane procesory tensorowe lub TPU - mogą zapewnić 100 petaflopów mocy obliczeniowej, jedną dziesiątą prędkości osiągniętej przez Summit.
Wkład szczytu w klimatologię pokazuje, jak gigantyczna sztuczna inteligencja może poprawić nasze zrozumienie przyszłych warunków pogodowych. Kiedy naukowcy generują stuletnie prognozy pogody, odczytanie uzyskanej prognozy staje się wyzwaniem. „Wyobraź sobie, że masz film na YouTube, który jest wyświetlany od 100 lat. Nie ma sposobu, aby ręcznie znaleźć wszystkie koty i psy w tym filmie”- mówi Prabhat. Zwykle do automatyzacji tego procesu używa się oprogramowania, ale nie jest ono doskonałe. Wyniki szczytu pokazały, że uczenie maszynowe może to zrobić znacznie lepiej, co powinno pomóc w przewidywaniu burz, takich jak powodzie.
Według Michaela Pritcharda, profesora na Uniwersytecie Kalifornijskim w Irvine, uruchomienie głębokiego uczenia na superkomputerach to stosunkowo nowy pomysł, który pojawił się w dogodnym dla klimatologów czasie. Spowolnienie w rozwoju tradycyjnych procesorów skłoniło inżynierów do wyposażania superkomputerów w coraz większą liczbę układów graficznych, aby konsekwentnie poprawiać wydajność. „Nadszedł czas, kiedy nie można już zwiększać mocy obliczeniowej w zwykły sposób” - mówi Pritchard.
Ta zmiana spowodowała zastój w tradycyjnym modelowaniu i dlatego musiała się dostosować. Otwiera również drzwi do wykorzystania mocy głębokiego uczenia, które naturalnie nadaje się do układów graficznych. Być może uzyskamy jaśniejszy obraz przyszłości naszego klimatu.
Ilya Khel