Sztuczna inteligencja aktywnie rozwija się w Rosji i na świecie - w tym emocjonalna. Interesują go duże firmy i ambitne startupy, które wprowadzają nowe rozwiązania w handlu detalicznym, marketingu, edukacji, bankowości i rekrutacji. Według Mordor Intelligence, rynek rozpoznawania emocji został wyceniony na 12 miliardów dolarów w 2018 roku i wzrośnie do 92 miliardów dolarów do 2024 roku.
Czym jest emocjonalna sztuczna inteligencja
Emotion AI (Emotion AI) to sztuczna inteligencja, która umożliwia komputerowi rozpoznawanie, interpretowanie i reagowanie na ludzkie emocje. Kamera, mikrofon lub czujnik do noszenia odczytują stan osoby, a sieć neuronowa przetwarza dane w celu określenia emocji.
Istnieją dwa główne sposoby analizowania emocji:
- Kontakt. Osoba jest umieszczana na urządzeniu, które odczytuje jego puls, impulsy elektryczne ciała i inne wskaźniki fizjologiczne. Takie technologie mogą determinować nie tylko emocje, ale także poziom stresu czy prawdopodobieństwo wystąpienia napadu padaczkowego.
- Zbliżeniowy. Emocje są analizowane na podstawie nagrań wideo i audio. Komputer uczy się mimiki, gestów, ruchów oczu, głosu i mowy.
Aby wytrenować sieć neuronową, naukowcy zajmujący się danymi zbierają próbkę danych i ręcznie zaznaczają zmianę w stanie emocjonalnym danej osoby. Program bada wzorce i rozumie, które znaki należą do jakich emocji.
Sieć neuronową można trenować na różnych danych. Niektóre firmy i laboratoria używają taśm wideo, inne badają głos, a inne korzystają z wielu źródeł. Ale im bardziej zróżnicowane dane, tym dokładniejszy wynik.
Rozważ dwa główne źródła:
Film promocyjny:
Zdjęcia i kadry z wideo
Obrazy są przetwarzane jako pierwsze, aby ułatwić pracę sztucznej inteligencji. Rysy twarzy - brwi, oczy, usta itd. - są zaznaczone kropkami. Sieć neuronowa określa położenie punktów, porównuje je ze znakami emocji z szablonu i wnioskuje, która emocja jest odzwierciedlona - złość, strach, zdziwienie, smutek, radość czy spokój.
Jest też inne podejście. Znaki emocji są natychmiast zauważane na twarzy - na przykład uśmiech lub zmarszczone brwi. Następnie sieć neuronowa wyszukuje markery na obrazie, analizuje ich kombinacje i określa stan osoby.
Badanie markerów emocji rozpoczęło się w XX wieku. To prawda, że rozważano je oddzielnie od sieci neuronowych. Naukowcy Paul Ekman i Wallace Friesen opracowali system kodowania czynności twarzy (FACS) w 1978 roku. Rozbija mimikę twarzy na poszczególne ruchy mięśni lub jednostki działania. Badaczka bada jednostki motoryczne i porównuje je z emocjami.
Głos i mowa
Sieć neuronowa wyodrębnia wiele parametrów głosu z sygnału akustycznego - na przykład ton i rytm. Bada ich zmianę w czasie i określa stan mówiącego.
Czasami do treningu używany jest spektrogram - obraz, który pokazuje siłę i częstotliwość sygnału w czasie. Ponadto sztuczna inteligencja analizuje słownictwo w celu uzyskania dokładniejszych wyników.
Gdzie jest używana technologia
Sprzedaż i reklama
Najbardziej oczywistym zastosowaniem technologii rozpoznawania emocji jest marketing. Za ich pomocą możesz określić, jak film reklamowy wpływa na osobę. W tym celu można np. Zainstalować konstrukcję z kamerą, która będzie zmieniać reklamy w zależności od nastroju, płci i wieku przechodzących osób.
Podobny projekt opracowały startupy Cloverleaf i Affectiva. Wprowadzili elektroniczną reklamę na półce o nazwie shelfPoint, która gromadzi dane o emocjach kupujących. Nowe technologie zostały przetestowane przez Procter & Gamble, Walmart i inne duże firmy. Według Cloverleaf sprzedaż wzrosła o 10-40%, a zaangażowanie klientów wzrosło 3-5 razy.
Bardziej nietypową opcją jest konsultant robota ze sztuczną inteligencją. Będzie wchodził w interakcje z klientami, odczytywał ich emocje i wpływał na nich. A także przygotuj spersonalizowane oferty.
Robota serwisowego zaprezentował rosyjski startup Promobot. Wykorzystuje sieć neuronową opracowaną przez Neurodata Lab, która określa emocje z kilku źródeł naraz: nagrań twarzy, głosu, ruchów, a także oddechów i tętna.
Promobot aktywnie sprzedaje swoje roboty za granicą. W 2018 roku startup podpisał kontrakt z amerykańską firmą Intellitronix na 56,7 mln dolarów, aw kolejnym zgodził się na dostawę urządzeń do Arabii Saudyjskiej, Izraela, Kuwejtu i Szwecji - za nie firma otrzyma 1,1 mln dolarów. Według Promobot obecnie pracują 492 roboty w 34 krajach na całym świecie jako przewodnicy, konsjerże, konsultanci i promotorzy.
Banki
Technologie rozpoznawania emocji pomagają bankom uzyskiwać opinie klientów bez ankiet i ulepszać usługi. Na oddziałach zainstalowane są kamery wideo, a algorytmy nagrywania decydują o satysfakcji gości. Sieci neuronowe mogą również analizować głos i mowę klienta i operatora podczas połączenia z contact center.
W Rosji od dawna próbują wdrożyć emocjonalną sztuczną inteligencję: testowano ją w Sbierbanku w 2015 r., A trzy lata później Alfa-Bank uruchomił pilotaż do analizy emocji z wideo. Oprócz nagrań z kamer monitorujących wykorzystywane są również nagrania rozmów. VTB uruchomiło pilotażowy projekt wdrożenia emocjonalnej sztucznej inteligencji w 2019 roku. A Rosbank wraz z Neurodata Lab przetestowali już sposób określania emocji klientów za pomocą głosu i mowy. Klient zadzwonił do banku, a sieć neuronowa przeanalizowała jego stan i znaczenie rozmowy. Dodatkowo sztuczna inteligencja zauważyła przerwy w mowie operatora, głośności głosu i czasie komunikacji. Pozwoliło to nie tylko sprawdzić satysfakcję z usługi, ale także monitorować pracę operatorów contact center.
Teraz Rosbank wdrożył własne rozwiązanie do rozpoznawania emocji. Zamiast sygnału akustycznego system analizuje tekst, przy czym dokładność pozostaje wysoka.
Centrum Technologii Mowy zajmuje się również rozpoznawaniem emocji w mowie (Sberbank posiada większościowy pakiet akcji). Usługa Smart Logger analizuje głos i słownictwo klientów i operatorów, czas rozmów oraz pauzy w celu ustalenia satysfakcji z usługi.
Sfera rozrywki
Systemy rozpoznawania emocji mogą służyć do oceny reakcji publiczności na film. Disney w 2017 roku we współpracy z naukowcami przeprowadził eksperyment: zainstalował kamery w kinie i połączył algorytmy głębokiego uczenia się, aby ocenić emocje widzów. System mógł przewidywać reakcje ludzi, obserwując ich zaledwie przez kilka minut. Podczas eksperymentu zebraliśmy imponujący zestaw danych: 68 znaczników od każdego z 3179 widzów. W sumie uzyskano 16 milionów zdjęć twarzy.
W tym samym celu hosting wideo YouTube stworzył własną sztuczną inteligencję o nazwie YouFirst. Umożliwia blogerom wideo i firmom testowanie treści przed wydaniem na platformę. Użytkownicy klikają specjalny link, zgadzają się nakręcić film i obejrzeć film. W tym momencie sieć neuronowa określa ich reakcje i wysyła dane do właściciela kanału.
Wśród firm rosyjskich reakcje na filmy można analizować np. Przez Neurobotics. Firma opracowała program EmoDetect, który rozpoznaje radość, smutek, zaskoczenie, strach, złość, wstręt i neutralność. Program bada do 20 lokalnych rysów twarzy w zamrożonych klatkach i serii obrazów. System analizuje jednostki motoryczne i wykorzystuje technologię kodowania twarzy FACS. Możliwe jest nagrywanie wideo z kamery internetowej. EmoDetect API pozwala na integrację produktu z aplikacjami zewnętrznymi.
Emocjonalna sztuczna inteligencja zaczyna być również stosowana w branży gier. Pomaga spersonalizować grę i dodać więcej interakcji z graczem.
Na przykład amerykańska emocjonalna firma AI Affectiva pomogła stworzyć psychologiczny thriller Nevermind. Napięcie zależy od stanu gracza: fabuła staje się ciemniejsza, gdy jest pod wpływem stresu i odwrotnie.
Edukacja
Rozpoznawanie emocji dotyczy również edukacji. Może służyć do badania nastroju i uwagi uczniów podczas zajęć.
Rosyjscy programiści zastosowali emocjonalną sztuczną inteligencję w Permie. Impulsem do rozwoju technologii były ataki uczniów na uczniów szkół podstawowych i nauczyciela. Rostelecom i startup New Vision opracowały program Inteligentna i bezpieczna szkoła do monitorowania stanu emocjonalnego dzieci. Pomoże to zidentyfikować aspołeczne nastolatki, zanim nastąpi tragedia.
Został oparty na systemie Paula Ekmana. Sieć neuronowa przeanalizowała najmniejsze ruchy mięśni przy użyciu 150 punktów na twarzy. Podczas lekcji zebrano dużą ilość danych: 5-6 tysięcy klatek na każdego ucznia. Program przeanalizował zbiór danych i obliczył stan emocjonalny każdego dziecka. Według twórców dokładność wyniosła 72%.
HR
Emocjonalna sztuczna inteligencja może być przydatna w pracy z personelem. Pomaga określić stan pracownika, dostrzec w czasie jego zmęczenie lub niezadowolenie oraz efektywniej redystrybuować zadania.
Ponadto technologia pomaga w rekrutacji. Za pomocą emocjonalnej sztucznej inteligencji możesz sprawdzić kandydata do pracy lub złapać kłamstwo podczas rozmowy kwalifikacyjnej.
Amerykańska firma HireVue wykorzystuje sztuczną inteligencję do oceny kandydatów. Skarżący przeprowadza wywiad wideo, a sieć neuronowa określa jego stan za pomocą słów kluczowych, intonacji głosu, ruchów i mimiki. Sztuczna inteligencja podkreśla cechy, które są ważne dla danej pracy i wystawia oceny, a menedżer HR wybiera odpowiednich kandydatów.
Londyński startup Human wykorzystuje wideo do identyfikowania emocji i dopasowywania ich do cech charakteru. Po rozmowie wideo rekruterzy otrzymują raport, który mówi, jak szczery, zaciekawiony, podekscytowany, entuzjastyczny lub pewny siebie był kandydat i jak odpowiadał na pytania.
Medycyna
W tym obszarze przydatne będą nie tylko bezkontaktowe, ale także kontaktowe metody określania emocji. Są aktywnie wdrażane przez zagraniczne startupy - na przykład Affectiva i Brain Power. Rozwój firm obejmuje okulary AI, które pomagają dzieciom i dorosłym z autyzmem rozpoznawać emocje innych ludzi i rozwijać umiejętności społeczne.
Ale sieci neuronowe mogą pomóc pacjentom bez czujników do noszenia. Naukowcy z Massachusetts Institute of Technology stworzyli sieć neuronową, która wykrywa depresję poprzez analizę mowy danej osoby. Dokładność wyniku wyniosła 77%. A startup Beyond Verbal wykorzystuje sztuczną inteligencję do analizy zdrowia psychicznego pacjentów. W tym przypadku sieć neuronowa wybiera tylko biomarkery głosu z nagrania audio.
Samochody
Massachusetts Institute of Technology opracowuje sztuczną inteligencję zwaną AutoEmotive, która określi stan kierowcy i pasażerów. Będzie nie tylko monitorował poziom stresu, ale także będzie starał się go redukować - puszczając łagodną muzykę, regulując temperaturę w kabinie czy wybierając mniej uczęszczaną trasę.
Ograniczenia emocjonalnej sztucznej inteligencji
Sieć neuronowa nie może uwzględniać kontekstu
Sztuczna inteligencja nauczyła się rozpoznawać podstawowe ludzkie emocje i stany, ale jak dotąd nie radzi sobie dobrze w bardziej złożonych sytuacjach. Naukowcy zauważają, że mimika nie zawsze dokładnie pokazuje, jak dana osoba naprawdę się czuje. Jego uśmiech może być udawany lub sarkastyczny, a to może być określone tylko przez kontekst.
Eksperci NtechLab uważają, że nadal trudno jest dokładnie określić przyczynę tej lub innej emocji.
NtechLab podkreśla, że konieczne jest rozpoznawanie nie tylko mimiki twarzy, ale także ruchów człowieka. Różnorodne dane sprawią, że emocjonalna sztuczna inteligencja będzie znacznie wydajniejsza. Daniil Kireev, czołowy badacz w firmie VisionLabs zajmującej się rozwojem produktów do rozpoznawania twarzy, zgadza się z tym. Jego zdaniem przy dużej ilości danych dokładność algorytmów wzrasta.
„Występują błędy, ich liczba zależy od wielu czynników: jakości próbki szkoleniowej, wytrenowanej sieci neuronowej, danych, na których działa finalny system. Dodając informacje z różnych źródeł - na przykład głos - możesz poprawić jakość systemu. Jednocześnie ważne jest, aby zrozumieć, że na podstawie twarzy określamy raczej jej wyraz niż ostateczną emocję. Algorytm może próbować określić symulowaną emocję, ale w tym celu rozwój technologii musi zrobić mały krok naprzód”- mówi Daniil Kireev.
Zły sprzęt
Na jakość algorytmów wpływają czynniki zewnętrzne. Aby dokładność rozpoznawania emocji była wysoka, kamery wideo i mikrofony muszą być wysokiej jakości. Ponadto na wynik wpływa oświetlenie, umiejscowienie aparatu. Według Daniila Kireeva niekontrolowane warunki komplikują proces określania stanów człowieka.
Do rozwoju emocjonalnej sztucznej inteligencji potrzebny jest wysokiej jakości sprzęt. Jeśli znajdziesz dobry sprzęt i skonfigurujesz go poprawnie, dokładność wyników będzie bardzo wysoka. A kiedy stanie się bardziej dostępny i powszechny, technologie rozpoznawania emocji zostaną ulepszone i wdrożone aktywniej.
„Dokładność systemu zależy od wielu czynników. Podstawową jest jakość nieruchomych klatek z aparatu, które są przekazywane do systemu do rozpoznania. Na jakość kadrów z kolei wpływają ustawienia i charakterystyka aparatu, matryca, oświetlenie, umiejscowienie urządzenia, ilość twarzy w kadrze. Przy prawidłowej konfiguracji sprzętu i oprogramowania możliwe jest osiągnięcie dokładności wykrywanych emocji do 90-95%”- zauważa Witalij Vinogradow, menedżer produktu w usłudze nadzoru wideo i analizy wideo w chmurze Ivideon.
Perspektywa technologii
Obecnie w Rosji emocjonalna sztuczna inteligencja dopiero nabiera rozpędu. Startupy opracowują technologie i sprzedają swoje produkty, a klienci ostrożnie je testują.
Jednak Gartner szacuje, że do 2024 r. Ponad połowa reklam internetowych będzie tworzona z wykorzystaniem emocjonalnej sztucznej inteligencji. Wizja komputerowa, która służy do wykrywania emocji, stanie się jedną z najważniejszych technologii w ciągu najbliższych 3-5 lat. MarketsandMarkets przewiduje, że do 2024 r. Rynek analizy emocji podwoi się - z 2,2 miliarda dolarów do 4,6 miliarda dolarów.
Ponadto duże firmy wykazują zainteresowanie rozpoznawaniem emocji - na przykład Procter & Gamble, Walmart, VTB, Rosbank, Sberbank i Alfa-Bank. A rodzime startupy opracowują projekty pilotażowe, które w przyszłości staną się gotowymi rozwiązaniami dla biznesu.
Evgeniya Khrisanfova