Mała, samoorganizująca się sieć sztucznych synaps pamięta ich doświadczenia i może rozwiązywać proste problemy. Jego twórcy mają nadzieję, że kiedyś na bazie tego sztucznego mózgu powstaną urządzenia, które w swojej sprawności energetycznej nie ustępują mocy obliczeniowej mózgu. Ogólnie rzecz biorąc, mózgi, jeśli pominiemy ich osiągnięcia w myśleniu i rozwiązywaniu problemów, są doskonałe pod względem wydajności energetycznej. Mózg potrzebuje do pracy takiej samej ilości energii, jaką pochłania 20-watowa żarówka. Z kolei jeden z najpotężniejszych i najszybszych superkomputerów na świecie, Computer K w Kobe w Japonii, zużywa do 9,89 megawatów mocy - mniej więcej tyle samo, co 10 000 domów. Ale w 2013 roku, nawet przy tej energii, maszyna potrzebowała 40 minut, aby zasymulować 1% aktywności ludzkiego mózgu w ciągu 1 sekundy.
Dlatego inżynierowie naukowcy z Kalifornijskiego Instytutu NanoSystems na Uniwersytecie Kalifornijskim w Los Angeles mają nadzieję konkurować z możliwościami obliczeniowymi i energooszczędnymi mózgu, dzięki systemom odzwierciedlającym strukturę mózgu. Tworzą urządzenie, być może pierwsze w swoim rodzaju, „zainspirowane mózgiem do generowania właściwości, które pozwalają mózgowi robić to, co robi” - mówi Adam Stig, naukowiec i profesor nadzwyczajny w instytucie, który prowadzi projekt z Jimem Gimrzewskim, profesorem chemii na Uniwersytecie Kalifornijskim. W Los Angeles.
Ich konstrukcja wcale nie przypomina zwykłych komputerów, które są oparte na małych drutach drukowanych na krzemowych mikroukładach w wysoce uporządkowanych obwodach. Obecna wersja eksperymentalna to siatka 2 x 2 mm srebrnych nanodrutów połączonych sztucznymi synapsami. W przeciwieństwie do obwodów krzemowych z jego geometryczną precyzją, to urządzenie jest utkane jak „dobrze zmiksowane naczynie do spaghetti” - mówi Stig. Co więcej, jego drobna struktura jest zorganizowana z przypadkowych procesów chemicznych i elektrycznych i nie jest starannie zaprojektowana.
W swojej złożoności ta srebrna sieć przypomina mózg. Na centymetr kwadratowy siatki przypada miliard sztucznych synaps, co różni się o kilka rzędów wielkości od prawdziwego mózgu. Aktywność elektryczna sieci wykazuje również właściwość unikalną dla złożonych systemów, takich jak mózg: „krytyczność”, stan między porządkiem a chaosem, który wskazuje na maksymalną wydajność.
Ta sieć silnie splecionych nanoprzewodów może wyglądać chaotycznie i przypadkowo, ale jej struktura i zachowanie przypomina neurony w mózgu. Naukowcy z NanoSystems opracowują go jako urządzenie mózgowe do nauki i przetwarzania.
Ponadto wstępne eksperymenty pokazują, że ta neuromorficzna (tj. Przypominająca mózg) srebrna siatka druciana ma ogromny potencjał funkcjonalny. Potrafi już wykonywać proste operacje edukacyjne i logiczne. Może usunąć niechciany szum z odebranego sygnału, ważną zdolność do rozpoznawania głosu i podobnych zadań, które powodują problemy w tradycyjnych komputerach. A jego istnienie potwierdza zasadę, że pewnego dnia będzie można tworzyć urządzenia o sprawności energetycznej zbliżonej do mózgu.
Te zalety są szczególnie ciekawe na tle zbliżającej się granicy miniaturyzacji i wydajności krzemowych mikroprocesorów. „Prawo Moore'a jest martwe, półprzewodniki nie mogą się już zmniejszać, a ludzie zaczynają narzekać, co robić” - mówi Alex Nugent, dyrektor generalny Knowm, firmy zajmującej się komputerami neuromorficznymi, która nie jest zaangażowana w projekt UCLA. „Podoba mi się ten pomysł, ten kierunek. Konwencjonalne platformy komputerowe są miliard razy mniej wydajne”.
Film promocyjny:
Przełącza się jako synapsy
Kiedy Gimrzewski rozpoczynał pracę nad swoim projektem srebrnej sieci 10 lat temu, w ogóle nie interesował go efektywność energetyczna. On się nudził. Używając skaningowego mikroskopu tunelowego do badania elektroniki w skali atomowej przez 20 lat, w końcu powiedział: „Jestem zmęczony perfekcją i precyzyjną kontrolą i trochę zmęczony redukcjonizmem”.
Należy założyć, że u podstaw wszystkich nowoczesnych mikroprocesorów leży redukcjonizm, w którym złożone zjawiska i obwody można wyjaśnić za pomocą prostych zjawisk i elementów.
W 2007 roku poproszono go o zbadanie pojedynczych przełączników atomowych (lub przełączników) opracowanych przez grupę Masakazu Aono z Międzynarodowego Centrum Materiałów Nanoarchitektoniki w Tsukuba w Japonii. Te przełączniki zawierały ten sam składnik, który zmienia kolor srebrnej łyżki na czarny po dotknięciu jajka: siarczek żelaza umieszczony pomiędzy twardym metalicznym srebrem.
Przyłożenie napięcia do urządzeń wypycha dodatnio naładowane jony srebra w siarczku srebra w kierunku warstwy srebrnej katody, gdzie są redukowane do metalicznego srebra. Włókna atomowego srebra rosną, ostatecznie zamykając lukę między bokami metalicznego srebra. Przełącznik jest włączony i prąd może płynąć. Odwrócenie prądu ma odwrotny skutek: srebrne mostki są skracane, a wyłącznik wyłączany.
Jednak wkrótce po opracowaniu przełącznika grupa Aono zaczęła obserwować niezwykłe zachowanie. Im częściej używany był przełącznik, tym łatwiej było go włączyć. Jeśli nie był używany przez jakiś czas, stopniowo się wyłączał. Zasadniczo przełącznik pamiętał swoją historię. Aono i jego koledzy odkryli również, że przełączniki wydają się ze sobą współdziałać, tak że włączenie jednego przełącznika czasami blokuje lub wyłącza inne w pobliżu.
Większość w grupie Aono chciała skonstruować te dziwne właściwości poza przełącznikami. Ale Gimrzewski i Stig (który właśnie ukończył doktorat w grupie Gimrzewskiego) pamiętali synapsy, przełączniki między komórkami nerwowymi w ludzkim mózgu, które również zmieniają relacje z doświadczeniem i interakcją. I tak narodził się pomysł. „Pomyśleliśmy, dlaczego nie spróbować przetłumaczyć tego wszystkiego na strukturę przypominającą korę mózgową ssaków i zbadać ją?” - mówi Stig.
Zbudowanie tak złożonej konstrukcji było zdecydowanie trudne, ale Stig i Odrius Avicenis, którzy właśnie dołączyli do grupy jako doktorant, opracowali odpowiedni protokół. Wlewając azotan srebra na maleńkie miedziane kulki, mogą powodować wzrost mikroskopijnie cienkich, krzyżujących się srebrnych drutów. Następnie mogli przepompować gaz siarkowy przez tę siatkę, aby utworzyć warstwę srebrzystego siarczku między srebrnymi drutami, jak w oryginalnym przełączniku atomowym zespołu Aono.
Krytyczność samoorganizująca się
Kiedy Gimzewski i Stig opowiadali innym o swoim projekcie, nikt nie wierzył, że się uda. Niektórzy twierdzili, że urządzenie będzie pokazywać jeden rodzaj statycznej aktywności i się na nim dostosowuje, wspomina Stig. Inni sugerowali coś przeciwnego: „Mówili, że przełącznik będzie kaskadowy i cała konstrukcja po prostu się wypali” - mówi Gimzewski.
Ale urządzenie się nie stopiło. Natomiast gdy Gimzewski i Stig obserwowali go przez kamerę na podczerwień, prąd wejściowy nadal zmieniał ścieżki, które przeszedł przez urządzenie - udowadniając, że aktywność w sieci nie była zlokalizowana, ale raczej rozproszona, jak w mózgu.
Pewnego jesiennego dnia 2010 roku, gdy Avicenis i jego kolega Henry Sillin zwiększali napięcie wejściowe do urządzenia, nagle zauważyli, że napięcie wyjściowe zaczęło przypadkowo wibrować, jakby siatka druciana ożyła. „Usiedliśmy i przyjrzeliśmy się temu, byliśmy w szoku” - mówi Sillin.
Domyślali się, że znaleźli coś interesującego. Kiedy Avicenis analizował dane z monitoringu przez kilka dni, stwierdził, że sieć utrzymywała ten sam poziom aktywności przez krótkie okresy częściej niż przez długie okresy. Później odkryli, że małe obszary działalności były bardziej powszechne niż duże.
„Opadła mi szczęka” - mówi Avicenis, ponieważ po raz pierwszy nauczyli się prawa mocy ze swojego urządzenia. Prawa potęgowe opisują zależności matematyczne, w których jedna zmienna zmienia się wraz z potęgą innej. Dotyczą systemów, w których większe skale, dłuższe zdarzenia są mniej powszechne niż mniejsze i krótsze, ale są powszechne i nieprzypadkowe. Per Bac, duński fizyk, który zmarł w 2002 roku, jako pierwszy zaproponował prawa mocy jako znak rozpoznawczy wszelkiego rodzaju złożonych układów dynamicznych, które mogą organizować się w dużych skalach i na duże odległości. To zachowanie, powiedział, wskazuje, że złożony system balansuje i funkcjonuje na złotym środku między porządkiem a chaosem, w stanie „krytyczności”, a wszystkie jego części współdziałają i łączą się ze sobą w celu uzyskania maksymalnej wydajności.
Zgodnie z przewidywaniami Buck'a w ludzkim mózgu zaobserwowano zachowanie prawa mocy: w 2003 roku Dietmar Plenz, neurofizjolog z National Institutes of Health, zauważył, że grupy komórek nerwowych aktywowały inne, co z kolei aktywowało inne, często wyzwalając systemowe kaskady aktywacji. Plenz odkrył, że rozmiary tych kaskad są zgodne z rozkładem prawa mocy, a mózg działał w sposób maksymalizujący rozprzestrzenianie się aktywności bez ryzyka utraty kontroli nad jej rozprzestrzenianiem.
Fakt, że urządzenie Uniwersytetu Kalifornijskiego pokazało również, jak działa prawo mocy, jest bardzo ważny, mówi Plentz. Wynika z tego, że podobnie jak w mózgu ma on delikatną równowagę między aktywacją a hamowaniem, dzięki czemu suma jego części działa. Aktywność nie wygasza zbioru, ale też się nie zatrzymuje.
Gimrzewski i Stig odkryli później inne podobieństwo między srebrną siecią a mózgiem: tak jak uśpiony ludzki mózg wykazuje mniej krótkich kaskad aktywacji niż mózg na jawie, tak krótki stan aktywacji w srebrnej sieci staje się mniej powszechny przy niższych energiach wejściowych. W pewien sposób zmniejszenie zużycia energii przez urządzenie może wywołać stan przypominający stan uśpienia ludzkiego mózgu.
Uczenie się i przetwarzanie danych
A oto pytanie: jeśli sieć srebrnych drutów ma właściwości podobne do mózgu, czy może rozwiązać problemy obliczeniowe? Wstępne eksperymenty wykazały, że odpowiedź brzmi tak, chociaż oczywiście urządzenie nie jest nawet w najmniejszym stopniu porównywalne ze zwykłym komputerem.
Po pierwsze, nie ma oprogramowania. Zamiast tego naukowcy wykorzystują fakt, że sieć może zniekształcać przychodzący sygnał na różne sposoby, w zależności od tego, gdzie mierzony jest sygnał wyjściowy. Daje to możliwość wykorzystania do rozpoznawania głosu lub obrazu, ponieważ urządzenie musi być w stanie oczyścić zaszumiony sygnał wejściowy.
Z tego też wynika, że urządzenie można wykorzystać do tzw. Obliczeń zbiornikowych. Ponieważ pojedyncze wejście może w zasadzie generować wiele milionów różnych wyników (stąd zbiornik), użytkownicy mogą wybierać lub łączyć wyjścia, tak aby wynikiem były żądane obliczenia wejściowe. Na przykład, jeśli stymulujesz urządzenie w dwóch różnych lokalizacjach w tym samym czasie, istnieje szansa, że jeden z milionów różnych wyników będzie reprezentował sumę dwóch wejść.
Wyzwanie polega na znalezieniu właściwych wniosków i odkodowaniu ich oraz ustaleniu, jak najlepiej zakodować informacje, aby sieć mogła je zrozumieć. Można to zrobić, ucząc urządzenie: uruchamiając zadanie setki lub tysiące razy, najpierw z jednym typem danych wejściowych, a następnie z innym, i porównując, które wyjście lepiej radzi sobie z zadaniem. „Nie programujemy urządzenia, ale wybieramy najlepszy sposób kodowania informacji, tak aby zachowanie sieci było użyteczne i interesujące” - mówi Gimrzewski.
W pracy, która zostanie wkrótce opublikowana, naukowcy wyjaśnią, w jaki sposób wyszkolili sieć przewodów do wykonywania prostych operacji logicznych. W niepublikowanych eksperymentach nauczyli sieć rozwiązywania prostego problemu z pamięcią, zwykle zadawanego szczurom (labirynt T). W teście T-labiryntu szczur jest nagradzany, jeśli wykona prawidłowy obrót w odpowiedzi na światło. Dzięki własnej wersji szkoleniowej sieć może dokonać właściwego wyboru w 94% przypadków.
Jak dotąd wyniki te były niczym więcej, jak tylko dowodem zasad, mówi Nugent. „Mały szczur podejmujący decyzję w labiryncie T nigdy nie zbliża się do czegoś w uczeniu maszynowym, które może ocenić jego systemy” - mówi na tradycyjnym komputerze. Wątpi, by w ciągu najbliższych kilku lat urządzenie mogło stać się użytecznym chipem.
Ale potencjał jest ogromny - podkreśla. Ponieważ sieć, podobnie jak mózg, nie oddziela przetwarzania od pamięci. Tradycyjne komputery muszą przesyłać informacje między różnymi domenami obsługującymi te dwie funkcje. „Cała ta dodatkowa komunikacja narasta, ponieważ kable wymagają zasilania” - mówi Nugent. Biorąc tradycyjne komputery, musiałbyś wyłączyć Francję, aby zasymulować cały ludzki mózg w przyzwoitej rozdzielczości. Jeśli urządzenia takie jak Silver Network mogą rozwiązać problemy z wydajnością algorytmów uczenia maszynowego działających na tradycyjnych komputerach, mogą zużywać miliard razy mniej energii. A potem sprawa jest mała.
Odkrycia naukowców potwierdzają również pogląd, że w sprzyjających okolicznościach inteligentne systemy można tworzyć w drodze samoorganizacji bez żadnego szablonu lub procesu ich rozwoju. Silver Network „pojawiła się spontanicznie” - mówi Todd Hilton, były kierownik DARPA, który wcześnie wspierał projekt.
Gimrzewski uważa, że sieć srebrnych drutów lub podobnych urządzeń może być lepsza niż tradycyjne komputery w przewidywaniu złożonych procesów. Tradycyjne komputery modelują świat za pomocą równań, które często opisują złożone zjawiska tylko w przybliżeniu. Sieci neuromorficzne z przełącznikami atomowymi dostosowują swoją wewnętrzną złożoność strukturalną do zjawiska, które symulują. Robią to też szybko - stan sieci może się zmieniać z szybkością do kilkudziesięciu tysięcy zmian na sekundę. „Używamy złożonego systemu, aby zrozumieć złożone zjawiska” - mówi Gimrzewski.
Wcześniej w tym roku na spotkaniu American Chemical Society w San Francisco Gimzewski, Stig i ich koledzy zaprezentowali wyniki eksperymentu, w którym zasilili urządzenie z pierwszych trzech lat sześcioletniego zbioru danych o ruchu w Los Angeles w postaci serii impulsów wskazujących liczbę przejeżdżające samochody na godzinę. Po setkach godzin treningu wynik ostatecznie przewidział trend statystyczny drugiej połowy zbioru danych i całkiem dobrze, chociaż nie został on pokazany urządzeniu.
Może kiedyś, żartuje Gimrzewski, użyje sieci do prognozowania giełdowego.
Ilya Khel