Sztuczna inteligencja przeczytała agresywne komentarze użytkowników Reddita i zrozumiała, jak mówią ludzie, którzy nienawidzą innych ludzi. Trudniej go oszukać niż zwykłego moderatora bota.
Internet jest zamieszkany przez grube i chude trolle oraz po prostu niegrzeczni ludzie, którzy nie szukają słów w kieszeniach. Ręczne moderowanie Internetu to ciężka i niewdzięczna praca. Boty zaprogramowane do wyszukiwania słów z „listy zabronionych” radzą sobie lepiej, ale nie mogą wiedzieć, kiedy srogi komentarz ze słowami-kodem jest nieszkodliwym żartem, a kiedy złym atakiem werbalnym.
Naukowcy z Kanady nauczyli sztuczną inteligencję, jak odróżniać niegrzeczne dowcipy od krzywdzących żartów i tego, co socjologowie nazywają „mową nienawiści”.
Dana Wormsley, jeden z twórców AI, zauważa, że „mowa nienawiści” jest trudna do sformalizowania. Rzeczywiście, formalnie obraźliwych słów można używać zarówno z ironią, jak iw ich łagodniejszym znaczeniu; tylko niektóre teksty zawierające takie słowa poważnie podżegają i poniżają. Nie będziemy podawać przykładów, ponieważ organizacje rządowe, które regulują Internet w Rosji, nie mają jeszcze sztucznej inteligencji).
Sieć neuronowa została przeszkolona na próbkach wypowiedzi członków społeczności znanych z wrogości wobec różnych grup ludności. Sieć neuronowa wyciągnęła wnioski z postów Reddit, platformy, na której można znaleźć wiele różnych grup interesu, od obrońców praw obywatelskich po radykalnych mizoginów. Teksty, które trafiały do systemu, najczęściej obrażały Afroamerykanów, osoby z nadwagą i kobiety.
Trenowana w ten sposób sieć neuronowa dawała mniej fałszywych alarmów niż programy określające „mowę nienawiści” za pomocą słów kluczowych. System złapał rasizm tam, gdzie w ogóle nie było słów wskazujących. Jednak mimo dobrej wydajności twórcy moderatora AI nie są pewni, czy ich rozwój znajdzie szerokie zastosowanie. Jak dotąd udało jej się znaleźć mowę nienawiści na Reddicie, ale nie wiadomo, czy będzie mogła zrobić to samo na Facebooku i innych platformach. Ponadto system jest niedoskonały, czasami pomijając wiele pozornie niegrzecznych rasistowskich stwierdzeń, których wyszukiwarka słów kluczowych nie mogłaby przegapić. Jedyny, który jest w stanie odróżnić zniewagę od niewinnego żartu, gdy osoba pozostaje.
