Wynik był ogólnie oczekiwany, chociaż wskaźniki błędów są imponujące.
Amerykański Narodowy Instytut Standardów i Technologii rozpoczął serię badań, których celem było sprawdzenie, jak dobrze algorytmy rozpoznawania twarzy działają w trybie maski. Pytanie jest dziś niezwykle istotne, a niektórzy producenci twierdzą, że opracowali już systemy zdolne do rozpoznawania zamaskowanych twarzy. Ale NIST zaczął działać po kolei iw pierwszym badaniu przetestował 89 algorytmów stworzonych jeszcze przed rozpoczęciem pandemii.
W teście wykorzystano ponad sześć milionów zdjęć, a algorytmy musiały określić, w jaki sposób jedno zdjęcie osoby odpowiada drugiemu - najczęstsze zadanie w takich przypadkach, wykorzystywane w szczególności do odblokowywania smartfonów. Z trudniejszego zadania - znalezienia dopasowania dla jednego w całej bazie danych - badacze zdecydowali się odmówić. Dziewięć wariantów masek, różniących się kształtem i kolorem, zostało cyfrowo nałożonych na obrazy.
W rezultacie nawet najlepszy z 89 algorytmów, które normalnie rozpoznawały twarze z dokładnością do 99,7%, mylił się podczas używania masek przez co najmniej 5% czasu. Jednak w przypadku większości poziom błędu wahał się od 20% do 50%.
Głównym powodem był brak informacji o charakterystycznych cechach twarzy, które w rzeczywistości są niezbędne do algorytmów rozpoznawania. Jednocześnie specjaliści NIST zauważyli, że kształt i kolor maski wpływa na poziom błędu - im większa maska i im wyżej zakrywa nos, tym trudniej algorytmowi rozpoznać obraz. Liczba błędów była również większa w przypadku stosowania czarnych masek, ale jak przyznają sami autorzy badania, nie mieli wystarczająco dużo czasu na dokładniejsze przestudiowanie zagadnienia „koloru”.
W kolejnym badaniu specjaliści NIST zamierzają przetestować nowe algorytmy, które już zawierają funkcję rozpoznawania zamaskowanych twarzy.