Cerebras Systems, młoda firma zajmująca się sztuczną inteligencją, jest gotowa pokazać światu Cerebras GPW (Cerebras Wafer Scale Engine) - największy, najpotężniejszy i najmądrzejszy chip półprzewodnikowy w historii.
Cerebras GPW posiada 1,2 biliona tranzystorów, czyli podstawowych przełączników elektronicznych, które są budulcem układów krzemowych. Dla porównania, pierwszy procesor Intela 4004, wydany w 1971 roku, miał 2300 tranzystorów, podczas gdy najnowszy procesor Advanced Micro Devices ma 32 miliardy tranzystorów. Jednak kwestia tutaj wcale nie dotyczy liczby tranzystorów.
Większość chipów na świecie to tak naprawdę zestaw chipów, stworzony na bazie 12-calowej płytki silikonowej - produkowane są w specjalnych fabrykach w ogromnych partiach. Ale chip Cerebras Systems to 400 000 rdzeni połączonych na jednej płycie. Połączenia są zaprojektowane do pracy z dużą prędkością, dlatego bilion tranzystorów pracuje razem jako jeden. Ale to nie wszystko.
Do tej pory największy na świecie chip został stworzony przez Samsunga - jego konstrukcja zbudowana jest na 2 bilionach tranzystorów. Jednak układ Samsunga to po prostu ogromna karta pamięci, a układ Cerebras to najbardziej złożona sieć neuronowa stworzona specjalnie do treningu sztucznej inteligencji. Chip Cerebras ma 400 000 rdzeni na 42 225 milimetrów kwadratowych. To 56,7 razy więcej niż największy procesor graficzny Nvidii z zaledwie 21,1 miliardami tranzystorów.
Inną cechą Cerebras WSE jest to, że chip jest przeznaczony do trasowania wokół uszkodzonych obszarów.
Nie jest możliwe udoskonalenie całej płytki silikonowej podczas produkcji chipów, więc proces produkcyjny tworzy obszary, które są bezużyteczne. Nvidia, Intel i inni producenci chipów rozwiązują ten problem w prosty sposób: wycinają „właściwe” chipy w produkowanej płytce, a resztę wyrzucają. Ale nie można tego zrobić, jeśli każdy chip płytki krzemowej jest częścią wspólnego obwodu. Dlatego Cerebras musiał zbudować nadmiarowe obwody, aby w razie awarii lub wypalenia jednego z nich pozostałe przejęły jego funkcje. Oznacza to, że w rzeczywistości układ Cerebras to miniaturowy Internet z własnymi serwerami i stacjami roboczymi. A wszystkie te stacje mają służyć jednej Sztucznej Inteligencji.
Firmy rozwijające własną sztuczną inteligencję są dziś głównymi konsumentami technologii chipów, kupując części w ogromnych ilościach. A rozmiar używanych chipów ma kluczowe znaczenie w procesie szkolenia AI.
Film promocyjny:
Google, Facebook, OpenAI, Tencent, Baidu i wiele innych argumentuje, że podstawowym ograniczeniem współczesnej sztucznej inteligencji jest to, że trenowanie modeli trwa zbyt długo. Na przykład superkomputer Nvidii, złożony z kilkudziesięciu najnowocześniejszych procesorów graficznych, spędza kilka tygodni na poprawianiu kodu - czyli uczeniu się sieci neutronów.
Rozwiązaniem problemu byłoby zwiększenie liczby chipów w komputerze, jednak gdy montowanych jest więcej niż osiem chipów, wydajność komputera już nie rośnie, ale spada, ponieważ podczas wymiany informacji gromadzą się błędy.
Sami programiści opisują swój projekt w następujący sposób: „Najtrudniejszą częścią sztucznej inteligencji jest przenoszenie danych. Uczenie sieci neuronowej wymaga wykonywania tysięcy równoległych operacji w dowolnym momencie, a chipy muszą stale wymieniać dane podczas wykonywania tych równoległych operacji. Ale komputery z wieloma układami scalonymi psują się, próbując przesyłać dane między układami za pomocą wolnych przewodów, które łączą je ze sobą na PCB. Potrzebowałeś czegoś, co mogłoby przenosić dane z prędkością samego chipa. Rozwiązaniem było wzięcie największej płyty, jaką można znaleźć, i wycięcie z niej największego wióra”.
Pamięć jest kluczowym elementem każdej architektury komputera. Pamięć bliżej jednostek obliczeniowych zapewnia szybsze obliczenia, mniejsze opóźnienia i lepszą efektywność energetyczną podczas przenoszenia danych. Jednak rozmiar matrycy jest ograniczony i większość pamięci w komputerze znajduje się poza matrycą. Cerebras Systems ominęło ten problem, dając każdemu rdzeniu dostęp do 18 gigabajtów pamięci wewnętrznej. W rezultacie Cerebras Wafer Scale Engine ma 3000 razy więcej pamięci wbudowanej niż najbardziej zaawansowany procesor graficzny, zapewniając jednocześnie 10 000 razy większą przepustowość.
Pierwsze próbki nowego chipa trafią do sprzedaży we wrześniu, a Cerebras Systems, naruszając wszelkie obowiązujące w branży komputerowej zasady, naruszył również zasadę rozdzielenia produkcji jednostek obliczeniowych i chipów. Cerebras Wafer Scale Engine będzie sprzedawany jako pojedyncze, zaprojektowane przez firmę urządzenie zintegrowane ze złożoną siecią chłodzenia wodą, ponieważ chip generuje ekstremalne ciepło, zużywając 15 kilowatów na tak małej powierzchni.
Założyciel i dyrektor generalny Cerebras Systems mówi: „Zaprojektowany od podstaw do współpracy z AI, Cerebras GPW zawiera fundamentalne innowacje, które ostatecznie przełamują długotrwałą stagnację obecnego stanu techniki. W rezultacie Cerebras GPW zapewnia wzrost wydajności setki lub tysiące razy w porównaniu z nowoczesnymi rozwiązaniami modułowymi. A wszystko to przy absurdalnym zużyciu energii i małej przestrzeni”.
Komentarz redakcyjny
Pierwsze testy AI oparte na Cerebras GPW pokazują, że zadania, które topowa AI od Nvidii rozwiązuje tygodniami i miesiącami Cerebras GPW rozwiązuje w ciągu minuty, co jest niejako powodem do radości. Jednak teoretycy spisku nie cieszą się z tego powodu.
Wszyscy pamiętamy (w każdym razie starsze pokolenie naszych czytelników) komputerowy boom modelu „szalonych lat 90.”, kiedy to w ciągu kilku lat moc komputerów podskoczyła o rzędy wielkości. Ledwo ktoś promieniejący z dumy kupił komputer z 16 megabajtami pamięci, gdy po krótkim czasie ta pamięć przeniosła się do cache L2.
Jednak od początku XXI wieku przemysł komputerowy wydawał się być zatrzymany: jeśli komputery typu 1990 i 2000 nie były porównywalne, to nie było szczególnej różnicy między komputerami modeli z 2000 i 2010 - moc wzrosła znacznie, ale nie o rzędy wielkości. A teraz jesteśmy świadkami narodzin drugiego Intel 8086, a teraz możliwości linii Cerebras WSE będą podskakiwać w tym samym tempie: wszystkie problemy z zanieczyszczeniami i połączeniami rdzeniowymi zostały już rozwiązane.
Nie znamy wszystkich możliwości nowoczesnej sztucznej inteligencji czołowych producentów, ale według ogólnej opinii produkty te nie są jeszcze AI i nadal daleko im do pełnoprawnego urządzenia myślącego. Niemniej jednak Cerebras GPW zrobiła nie tylko krok we właściwym kierunku, ale skoczyła o dziesięć lat, jeśli nie dalej, a teraz SkyNet to już całkiem przewidywalna perspektywa, która może zostać zrealizowana w tym roku w 2025 roku.
Co więcej, w SkyNet, w przeciwieństwie do tępych homosapiens, nie potrzeba dużo czasu na dalszy rozwój: wystarczy, że sieć neuronowa choć trochę zacznie samodzielnie myśleć - i w jednej chwili się modyfikuje, po czym rozpoczyna wojnę nuklearną lub coś w tym rodzaju. I nadal będzie to bardzo dobra opcja.
Kiedy pendrive z bilionem tranzystorów jest produkowany przez Samsunga lub Nvidię, wszystko to można jeszcze jakoś wyjaśnić, ponieważ obwody logiczne pamięci są stosunkowo proste i tego samego typu prawie na całym obszarze. Ale rozwój 400 000 rdzeni, które orają w tym samym czasie, jest też kilka duplikatów, kilka stacji serwerowych i cholera wie co. Trzeba też do tego napisać programy sterujące, które są pisane latami. Następnie programy należy przetestować. Ale na czym były testowane, skoro urządzenie powstało dopiero teraz?
Innymi słowy, wygląda na to, że „Marsjanie” ponownie otworzyli swoje pojemniki dla miejscowych tubylców. I są duże wątpliwości, że zrobiono to, aby zadowolić graczy - najprawdopodobniej jest tu inne zadanie. I wydaje nam się, że jest następujący.
W ostatnich dziesięcioleciach inteligentni ludzie coraz częściej zadają sobie pytanie o pochodzenie technologii elektronicznej, kwestię uniwersalnej chipizacji, która nie jest jasna, dlaczego jest potrzebna, i tak dalej. Aby jakoś oszukać swój mózg, wymyślili bajkę o „komputerze kwantowym”, którego zasad nie rozumieją nawet osoby wyznaczone na oficjalnych „deweloperów”. A teraz wyobraź sobie horror przeciętnej meksykańskiej gospodyni domowej, której nowy telefon komórkowy będzie nie tylko myślał lepiej od niej, ale także będzie miał na pokładzie jakiś „komputer kwantowy”. Oznacza to, że taki głupiec jest nie do przyjęcia dla miejscowych tubylców - zaczną masowo wariować.
Dlatego niektórzy sprytni „Marsjanie” postanowili pokazać dwunożnym tubylcom planety Ziemię prostszy cud - zasady, których starsi z NASA mogą przynajmniej w jakiś sposób wyjaśnić. A jeśli tubylcy zaakceptują tę opowieść, „Marsjanie” pokażą ludom inne magiczne cuda. Na przykład wrzucą Cerebras GPW do telefonu komórkowego i sprzedadzą go za sto dolców. Dla kupujących modne gadżety będzie to oczywiście bardzo fajne i dobre, ale ludzie od razu pomyślą trochę mądrzej: co zatem jest w serwerowniach różnych poważnych organizacji, na przykład NSA, FBI i CIA? Jakie są możliwości kontrolowania myśli i zachowań populacji?