Za oknem 2022 rok. Jak zwykle jeździsz po mieście autonomicznym samochodem. Samochód zbliża się do znaku stop, który mijał wiele razy, ale tym razem nie zatrzymuje się przed nim. Dla ciebie ten znak stopu jest jak inne. Ale w przypadku samochodu jest zupełnie inaczej. Kilka minut wcześniej, nie ostrzegając nikogo, napastnik nakleił na szyld niewielką tabliczkę, niewidoczną dla ludzkiego oka, ale której technologia nie może nie zauważyć. Oznacza to, że mała naklejka na znaku zamieniła znak stop w coś zupełnie innego niż znak stop.
Wszystko to może wydawać się niesamowite. Jednak rosnący obszar badań udowadnia, że sztuczną inteligencję można oszukać w coś takiego, jeśli dostrzeże jakiś drobny szczegół, który jest całkowicie niewidoczny dla ludzi. Ponieważ algorytmy uczenia maszynowego coraz częściej pojawiają się na naszych drogach, w naszych finansach, w naszym systemie opieki zdrowotnej, informatycy mają nadzieję dowiedzieć się więcej o tym, jak chronić ich przed takimi atakami - zanim ktoś naprawdę spróbuje ich oszukać.
„Jest to coraz większy problem w społeczności uczenia maszynowego i sztucznej inteligencji, zwłaszcza że te algorytmy są coraz częściej używane” - mówi Daniel Lode, adiunkt na Wydziale Informatyki i Informatyki Uniwersytetu w Oregonie. „Jeśli spam przechodzi lub jest blokowany przez kilka e-maili, to jeszcze nie koniec świata. Ale jeśli polegasz na systemie wizyjnym w samojezdnym samochodzie, który podpowiada mu, jak jechać bez zderzenia się z niczym, stawka jest znacznie wyższa”.
Niezależnie od tego, czy maszyna się zepsuje, czy zostanie zhakowana, algorytmy uczenia maszynowego, które „widzą” świat, ucierpią. I tak do samochodu panda wygląda jak gibon, a szkolny autobus wygląda jak struś.
W jednym eksperymencie naukowcy z Francji i Szwajcarii pokazali, jak takie zakłócenia mogą spowodować, że komputer pomyli wiewiórkę z szarym lisem, a dzbanek z kawą za papugę.
Jak to jest możliwe? Pomyśl o tym, jak Twoje dziecko uczy się rozpoznawać liczby. Patrząc na symbole jeden po drugim, dziecko zaczyna dostrzegać pewne wspólne cechy: niektóre są wyższe i szczuplejsze, szóstki i dziewiątki zawierają jedną dużą pętlę, a ósemki zawierają dwie i tak dalej. Gdy zobaczą wystarczającą liczbę przykładów, mogą szybko rozpoznać nowe liczby jako czwórki, ósemki lub trojaczki - nawet jeśli dzięki czcionce lub pismu nie wyglądają dokładnie jak inne czwórki, ósemki lub trojaczki, jakie kiedykolwiek miały. widział.
Algorytmy uczenia maszynowego uczą się odczytywać świat w podobny sposób. Naukowcy podają komputerowi setki lub tysiące (zwykle oznaczonych) przykładów tego, co chcieliby znaleźć na komputerze. Kiedy maszyna przegląda dane - to jest liczba, to nie jest, to jest liczba, to nie jest - zaczyna dostrzegać cechy, które prowadzą do odpowiedzi. Wkrótce może spojrzeć na zdjęcie i powiedzieć: „To pięć!” z dużą precyzją.
Film promocyjny:
W ten sposób zarówno ludzkie dzieci, jak i komputery mogą nauczyć się rozpoznawać szeroki wachlarz obiektów - od liczb po koty, od łodzi po indywidualne ludzkie twarze.
Jednak w przeciwieństwie do ludzkiego dziecka komputer nie zwraca uwagi na szczegóły na wysokim poziomie - takie jak futrzane uszy kotów czy charakterystyczny kanciasty kształt czwórki. Nie widzi całego obrazu.
Zamiast tego analizuje poszczególne piksele obrazu - i jest to najszybszy sposób na oddzielenie obiektów. Jeśli przytłaczająca większość jednostek ma czarny piksel w pewnym punkcie i kilka białych pikseli w innych punktach, maszyna bardzo szybko nauczy się określać je za pomocą kilku pikseli.
Wróćmy teraz do znaku stop. Niezauważalnie korygując piksele obrazu - eksperci nazywają tę interferencję „zakłóceniami” - można oszukać komputer, aby pomyślał, że w rzeczywistości nie ma znaku stop.
Podobne badania z Evolutionary Artificial Intelligence Lab na University of Wyoming i Cornell University dostarczyły sporo iluzji optycznych dla sztucznej inteligencji. Te psychodeliczne obrazy abstrakcyjnych wzorów i kolorów nie przypominają niczego dla ludzi, ale są szybko rozpoznawane przez komputer jako węże lub karabiny. Sugeruje to, w jaki sposób sztuczna inteligencja może patrzeć na coś, a nie widzieć obiektu, lub zamiast tego widzieć coś innego.
Ta słabość jest powszechna we wszystkich typach algorytmów uczenia maszynowego. „Można by oczekiwać, że każdy algorytm będzie miał dziurę w zbroi” - mówi Jewgienij Vorobeychik, adiunkt informatyki i informatyki na Uniwersytecie Vanderbilt. „Żyjemy w bardzo złożonym, wielowymiarowym świecie, a algorytmy z natury mają wpływ tylko na niewielką jego część.
Sparrow jest „niezwykle przekonany”, że jeśli te luki istnieją, ktoś wymyśli, jak je wykorzystać. Prawdopodobnie ktoś już to zrobił.
Weź pod uwagę filtry antyspamowe, automatyczne programy, które odfiltrowują wszelkie niewygodne wiadomości e-mail. Spamerzy mogą próbować obejść tę barierę, zmieniając pisownię słów (zamiast Viagra - vi @ gra) lub dodając listę „dobrych słów”, które zwykle można znaleźć zwykłymi literami, np. „Aha”, „ja”, „zadowolony”. W międzyczasie spamerzy mogą próbować usuwać słowa, które często pojawiają się w spamie, takie jak „telefon komórkowy” lub „wygrana”.
Gdzie oszuści mogą dostać się pewnego dnia? Samojezdny samochód oszukany przez naklejkę ze znakiem stopu to klasyczny scenariusz wymyślony przez ekspertów w tej dziedzinie. Dodatkowe dane mogą pomóc pornografii przedostać się przez bezpieczne filtry. Inni mogą próbować zwiększyć liczbę czeków. Hakerzy mogą modyfikować kod złośliwego oprogramowania, aby ominąć organy ścigania.
Atakujący mogą dowiedzieć się, jak stworzyć brakujące dane, jeśli otrzymają kopię algorytmu uczenia maszynowego, który chcą oszukać. Ale nie musi to być przejście przez algorytm. Można go po prostu złamać brutalną siłą, rzucając w niego nieco różnymi wersjami e-maili lub obrazów, aż przejdą. Z biegiem czasu można go nawet użyć do zupełnie nowego modelu, który wie, czego szukają dobrzy faceci i jakie dane wygenerować, aby ich oszukać.
„Ludzie manipulują systemami uczenia maszynowego od momentu ich wprowadzenia” - mówi Patrick McDaniel, profesor informatyki i inżynierii na University of Pennsylvania. „Jeśli ludzie używają tych metod, możemy nawet o tym nie wiedzieć”.
Z metod tych mogą korzystać nie tylko oszuści - ludzie mogą ukryć się przed rentgenowskimi oczami nowoczesnych technologii.
„Jeśli jesteś jakimś dysydentem politycznym w represyjnym reżimie i chcesz prowadzić wydarzenia bez wiedzy służb wywiadowczych, być może będziesz musiał unikać automatycznych metod obserwacji opartych na uczeniu maszynowym” - mówi Lode.
W jednym z projektów opublikowanych w październiku naukowcy z Carnegie Mellon University stworzyli parę okularów, które mogą subtelnie wprowadzić w błąd system rozpoznawania twarzy, powodując, że komputer pomylił aktorkę Reese Witherspoon z Russellem Crowe. Brzmi to absurdalnie, ale taka technologia może się przydać każdemu, kto desperacko chce uniknąć cenzury ze strony rządzących.
Co z tym wszystkim zrobić? „Jedynym sposobem całkowitego uniknięcia tego jest stworzenie idealnego modelu, który zawsze będzie poprawny” - mówi Lode. Nawet gdybyśmy mogli stworzyć sztuczną inteligencję, która pod każdym względem przewyższa ludzi, świat wciąż może poślizgnąć się świni w nieoczekiwanym miejscu.
Algorytmy uczenia maszynowego są zwykle oceniane na podstawie ich dokładności. Program rozpoznający krzesła w 99% przypadków będzie wyraźnie lepszy niż program, który rozpoznaje 6 krzeseł na 10. Jednak niektórzy eksperci sugerują inny sposób oceny zdolności algorytmu do radzenia sobie z atakiem: im mocniej, tym lepiej.
Innym rozwiązaniem może być umożliwienie ekspertom nadawania tempa programom. Stwórz własne przykłady ataków w laboratorium w oparciu o możliwości przestępców, a następnie pokaż je algorytmowi uczenia maszynowego. Może to pomóc mu z czasem stać się bardziej odpornym - oczywiście pod warunkiem, że ataki testowe będą tego typu, które będą testowane w prawdziwym świecie.
„Systemy uczenia maszynowego to narzędzie do myślenia. Musimy być inteligentni i racjonalni w kwestii tego, co im dajemy i co nam mówią”- powiedział McDaniel. „Nie powinniśmy traktować ich jako doskonałych wyroczni prawdy”.
ILYA KHEL
