Sztuczna inteligencja Amazona, zaprojektowana do sortowania życiorysów osób poszukujących pracy, stawia mężczyzn wyżej niż kobiety. W szczególności odrzucił życiorysy ze słowem „żeński” i zaproponował zatrudnienie kandydatów, którzy w swoich wypowiedziach używali typowych męskich czasowników, nawet jeśli osoby te nie miały odpowiednich umiejętności. W rezultacie firma musiała zamknąć projekt.
Sztuczna inteligencja HR
Eksperci Amazon ds. Uczenia maszynowego odkryli, że sztuczna inteligencja, która przetwarza życiorysy kandydatów na stanowiska w firmie, dyskryminuje kobiety poszukujące pracy, podał Reuters. Ta funkcja nie została celowo włączona do systemu - była wynikiem uczenia maszynowego.
Bazujący na sztucznej inteligencji silnik do sortowania CV jest rozwijany w Amazon od 2014 roku przez 12-osobowy zespół z Edynburga. Już w 2015 roku firma zauważyła, że nowy system nie przestrzegał zasady neutralności płci przy ocenie kandydatów na stanowiska programistyczne i inne wolne stanowiska techniczne.
Wkrótce zrozumieli powód: faktem jest, że system został przeszkolony na podstawie życiorysów wprowadzonych przez firmę w ciągu ostatnich 10 lat. Większość z tych życiorysów była w posiadaniu mężczyzn, co ogólnie odzwierciedla stan rzeczy w branży IT. W rezultacie sztuczna inteligencja Amazona dowiedziała się, że mężczyźni poszukujący pracy są bardziej preferowani niż kobiety.
Odrzucenie językowe
Film promocyjny:
W rezultacie sztuczna inteligencja zaczęła odrzucać życiorysy zawierające słowo „kobieta” w takich wyrażeniach, jak „kapitan kobiecego klubu szachowego”. Mechanizm obniżył również stopnie absolwentów dwóch żeńskich uczelni, ale źródła Reutera nie podały ich nazwisk. Przy ocenie życiorysów sztuczna inteligencja przyznała im od jednej do pięciu gwiazdek - bardzo podobnie do tego, jak kupujący oceniają produkty na Amazon.
System zwrócił też uwagę na inne słowa. Twórcy stworzyli 500 modeli komputerowych dla różnych obowiązków zawodowych i lokalizacji geograficznych. Każdy model został przeszkolony w rozpoznawaniu około 50 tysięcy słów sygnałowych, które były obecne w życiorysie skarżącego.
Warto zauważyć, że mechanizm zignorował słowa oznaczające umiejętności, które często pojawiają się w życiorysach informatyków, takie jak umiejętność pisania różnych kodów, itp. Zamiast tego system śledził np. Typowe czasowniki dla męskiej mowy w samoopisie kandydatów, np. „Spełniony” (straceni) lub „schwytani”, jak regularnie widywano w starych życiorysach, z których maszyna się uczyła. Przy takim podejściu dyskryminacja ze względu na płeć nie była jedynym problemem - mechanizm często rekomendował osoby, które nie miały niezbędnych umiejętności na danym stanowisku.
Dalsze losy projektu
Amazon dostosował system tak, aby nie reagował już na słowa ostrzegawcze. Nie było to jednak gwarancją, że mechanizm nie znajdzie innego sposobu identyfikacji życiorysów należących do kobiet. Na początku 2017 roku firma rozczarowała się projektem i rozwiązała zespół. Źródła Reutera podają, że specjaliści HR brali pod uwagę zalecenia systemu, ale nigdy nie polegali wyłącznie na nich.
Jedno ze źródeł podaje, że projekt jest zamknięty. Inny argumentuje, że w Edynburgu utworzono nowy zespół w celu dalszego rozwijania mechanizmu, ale tym razem z naciskiem na równość i integrację. Inne źródło informuje, że mocno zmodyfikowana wersja silnika jest obecnie używana do wykonywania rutynowych prac, takich jak usuwanie zduplikowanych życiorysów z bazy danych.