Przez kilka lat w latach osiemdziesiątych kandydaci do St George's Hospital Medical School w Londynie byli wybierani przy użyciu zaawansowanej technologii. Program komputerowy, jeden z pierwszych w swoim rodzaju, skanował życiorysy, wybierając spośród wszystkich zgłoszeń około 2000 kandydatów rocznie. W programie dokonano przeglądu zapisów przyjęć, zbadano cechy wybranych kandydatów i dostosowano, dopóki jego decyzje nie były zgodne z opinią komisji rekrutacyjnej.
Jednak program nauczył się znajdować więcej niż dobre oceny i oznaki osiągnięć akademickich. Cztery lata po wdrożeniu programu dwóch lekarzy w szpitalu stwierdziło, że program miał tendencję do odrzucania kandydatek i osób o nazwiskach pozaeuropejskich, niezależnie od ich osiągnięć naukowych. Lekarze odkryli, że około 60 kandydatów co roku po prostu odmawiano wywiadów ze względu na ich płeć lub rasę. Program uwzględnił uprzedzenia płciowe i rasowe w danych wykorzystywanych do szkolenia - w rzeczywistości dowiedział się, że lekarze i obcokrajowcy nie są najlepszymi kandydatami na lekarzy.
Trzydzieści lat później stajemy przed podobnym problemem, ale programy z wewnętrznymi uprzedzeniami są teraz bardziej rozpowszechnione i podejmują decyzje o jeszcze wyższej stawce. Algorytmy sztucznej inteligencji oparte na uczeniu maszynowym są wykorzystywane we wszystkim, od agencji rządowych po opiekę zdrowotną, podejmowanie decyzji i prognozowanie na podstawie danych historycznych. Badając wzorce w danych, absorbują również odchylenia w danych. Na przykład Google wyświetla więcej reklam nisko płatnych ofert pracy kobietom niż mężczyznom; Jednodniowa wysyłka Amazon omija czarne dzielnice, a aparaty cyfrowe mają problem z rozpoznaniem twarzy innych niż białe.
Trudno powiedzieć, czy algorytm jest stronniczy, czy sprawiedliwy, i nawet eksperci komputerowi tak uważają. Jednym z powodów jest to, że szczegóły tworzenia algorytmu są często uważane za informacje zastrzeżone, więc są starannie strzeżone przez właścicieli. W bardziej złożonych przypadkach algorytmy są tak złożone, że nawet twórcy nie wiedzą dokładnie, jak działają. To jest problem tak zwanej „czarnej skrzynki” sztucznej inteligencji - naszej niemożności zobaczenia wnętrza algorytmu i zrozumienia, jak dochodzi do rozwiązania. Pozostawione w zamknięciu nasze społeczeństwo mogłoby zostać poważnie zniszczone: środowisko cyfrowe jest ucieleśnieniem historycznej dyskryminacji, z którą walczyliśmy przez wiele lat, od niewolnictwa i pańszczyzny po dyskryminację kobiet.
Obawy te, wcześniej wyrażane w małych społecznościach informatycznych, teraz nabierają rozpędu. W ciągu ostatnich dwóch lat ukazało się sporo publikacji w tej dziedzinie na temat przejrzystości sztucznej inteligencji. Wraz z tą świadomością rośnie poczucie odpowiedzialności. „Czy jest coś, czego nie powinniśmy budować?” - pyta Keith Crawford, badacz w firmie Microsoft i współzałożyciel AI Now Insitute w Nowym Jorku.
„Uczenie maszynowe wreszcie doszło do głosu. Teraz próbujemy używać go do setek różnych zadań w prawdziwym świecie”- mówi Rich Caruana, starszy naukowiec w firmie Microsoft. „Jest możliwe, że ludzie będą w stanie wdrożyć złośliwe algorytmy, które w dłuższej perspektywie znacząco wpłyną na społeczeństwo. Wygląda na to, że nagle wszyscy zdali sobie sprawę, że jest to ważny rozdział w naszej dziedzinie”.
Film promocyjny:
Nieautoryzowany algorytm
Od dawna używamy algorytmów, ale problem czarnej skrzynki jest bezprecedensowy. Pierwsze algorytmy były proste i przejrzyste. Wciąż korzystamy z wielu z nich - np. Do oceny zdolności kredytowej. Przy każdym nowym zastosowaniu w grę wchodzą przepisy.
„Od dziesięcioleci ludzie używają algorytmów do oceny zdolności kredytowej, ale w tych obszarach doszło do dość silnych ustaleń, które rosły równolegle z wykorzystaniem algorytmów predykcyjnych” - mówi Caruana. Reguły regulacyjne zapewniają, że algorytmy predykcyjne dostarczają wyjaśnienia dla każdego wyniku: zostałeś odrzucony, ponieważ masz dużo kredytu lub zbyt mały dochód.
W innych obszarach, takich jak system prawny i reklama, nie ma przepisów zabraniających stosowania celowo nieczytelnych algorytmów. Możesz nie wiedzieć, dlaczego odmówiono Ci pożyczki lub nie zostałeś zatrudniony, ponieważ nikt nie zmusza właściciela algorytmu do wyjaśnienia, jak to działa. „Ale wiemy, że ponieważ algorytmy są uczone na rzeczywistych danych, muszą być stronnicze - ponieważ rzeczywisty świat jest stronniczy” - mówi Caruana.
Weźmy pod uwagę na przykład język, jedno z najbardziej oczywistych źródeł uprzedzeń. Kiedy algorytmy są uczone na podstawie tekstu pisanego, tworzą pewne skojarzenia między słowami, które częściej pojawiają się razem. Na przykład dowiadują się, że „dla mężczyzny bycie programistą to to samo, co dla kobiety bycie gospodynią domową”. Kiedy ten algorytm ma za zadanie znaleźć odpowiednie CV do pracy programisty, prawdopodobnie zostanie ono wybrane spośród męskich kandydatów.
Takie problemy są dość łatwe do naprawienia, ale wiele firm po prostu tego nie robi. Zamiast tego będą ukrywać takie niespójności za osłoną chronionych informacji. Bez dostępu do szczegółów algorytmu eksperci w wielu przypadkach nie będą w stanie określić, czy istnieje błąd, czy nie.
Ponieważ algorytmy te są tajne i pozostają poza jurysdykcją organów regulacyjnych, obywatele są prawie niemożliwe, aby pozwać twórców algorytmów. W 2016 roku Sąd Najwyższy stanu Wisconsin odrzucił wniosek osoby o dokonanie przeglądu wewnętrznego funkcjonowania COMPAS. Mężczyzna, Eric Loomis, został skazany na sześć lat więzienia, częściowo dlatego, że COMPAS uznał go za „wysokiego ryzyka”. Loomis twierdzi, że jego prawo do rzetelnego procesu zostało naruszone przez zależność sędziego od nieprzejrzystego algorytmu. Ostateczna skarga do Sądu Najwyższego Stanów Zjednoczonych nie powiodła się w czerwcu 2017 roku.
Ale tajne firmy nie będą cieszyć się swoją wolnością w nieskończoność. Do marca UE uchwali przepisy, które będą wymagały od firm wyjaśnienia zainteresowanym klientom, jak działają ich algorytmy i jak podejmowane są decyzje. W USA nie ma takich przepisów.
Kryminalistyka czarnej skrzynki
Niezależnie od tego, czy organy regulacyjne zaangażują się w to wszystko, zmiana kulturowa w sposobie projektowania i wdrażania algorytmów może zmniejszyć rozpowszechnienie algorytmów stronniczych. Ponieważ coraz więcej firm i programistów zobowiązuje się do uczynienia swoich algorytmów przejrzystymi i możliwymi do wyjaśnienia, niektórzy mają nadzieję, że firmy, które tego nie zrobią, stracą dobrą reputację w oczach opinii publicznej.
Wzrost mocy obliczeniowej umożliwił tworzenie algorytmów, które są zarówno precyzyjne, jak i możliwe do wyjaśnienia - jest to wyzwanie techniczne, któremu deweloperzy w przeszłości nie potrafili sprostać. Niedawne badania sugerują, że można stworzyć możliwe do wyjaśnienia modele, które przewidują nawrót przestępstw tak dokładnie, jak czarna skrzynka naukowców medycyny sądowej, takich jak COMPAS.
„Skończyliśmy - wiemy, jak tworzyć modele bez czarnych skrzynek” - mówi Cynthia Rudin, adiunkt w dziedzinie informatyki i elektrotechniki na Duke University. „Ale nie jest łatwo zwrócić uwagę ludzi na tę pracę. Pomogłoby to, gdyby agencje rządowe przestały płacić za modele czarnych skrzynek. Jeśli sędziowie odmówią stosowania modeli czarnej skrzynki do orzekania, to też pomoże”.
Inni pracują nad wymyśleniem sposobów testowania poprawności algorytmów, tworząc system kontroli i bilansów, zanim algorytm zostanie wypuszczony na świat, tak jak testowany jest każdy nowy lek.
„Modele są teraz tworzone i wdrażane zbyt szybko. Nie ma odpowiedniej weryfikacji przed opublikowaniem algorytmu”- mówi Sarah Tan z Cornell University.
Idealnie byłoby, gdyby programiści odłożyli na bok znane uprzedzenia - takie jak płeć, wiek i rasa - i uruchomili wewnętrzne symulacje, aby przetestować swoje algorytmy pod kątem innych problemów.
W międzyczasie, zanim dojdziemy do punktu, w którym wszystkie algorytmy zostaną dokładnie przetestowane przed wydaniem, można już określić, które z nich będą narażone na błędy.
W swojej ostatniej pracy Tan, Caruana i ich koledzy opisali nowy sposób zrozumienia, co może się dziać pod maską algorytmów czarnej skrzynki. Naukowcy stworzyli model naśladujący algorytm czarnej skrzynki, ucząc się szacowania ryzyka recydywy na podstawie danych COMPAS. Stworzyli również inny model, który wyszkolił się na rzeczywistych danych, aby pokazać, czy przewidywany recydywa rzeczywiście wystąpił. Porównanie tych dwóch modeli pozwoliło naukowcom ocenić dokładność przewidywanego wyniku bez analizy algorytmu. Różnice w wynikach obu modeli mogą wskazywać, które zmienne, takie jak rasa czy wiek, mogą mieć większe znaczenie w danym modelu. Ich wyniki pokazały, że COMPAS dyskryminuje czarnych.
Dobrze zaprojektowane algorytmy mogą wyeliminować długotrwałe uprzedzenia w wymiarze sprawiedliwości, policji i wielu innych dziedzinach życia społecznego.
Ilya Khel