Zanim zmierzono smartfony? Rdzenie, megapiksele, gigaherc. Teraz wszystko pospieszyło do przodu tak bardzo, jeśli chodzi o technologię, że każdy ma optymalne wartości dla tych wskaźników, a to, co próbują przekroczyć normę, jest tylko chwytem marketingowym.
Jednak teraz jest jedno stanowisko, na którym smartfony zaczynają się wyróżniać jako fajniejsze - to sztuczna inteligencja.
Pamiętaj o współczesnych hasłach reklamowych: „procesor z neuromodułem”, „aparat z AI”, „inteligentne algorytmy” i inne „magiczne” frazy, które skłaniają nas do zakupu nowego urządzenia.
Ale jak to działa, a co najważniejsze, jaki jest pożytek ze sztucznej inteligencji?
Jak AI znalazła się w smartfonie?
Zwykły program rozwiązuje problem według określonego algorytmu napisanego przez osobę. A jeśli takich zadań jest wiele, czy też początkowe dane i warunki ciągle się zmieniają? Osoba nie może przetwarzać ton informacji i pisać tysięcy algorytmów. Więc pozwól bezdusznej maszynie to zrobić!
Najważniejsze jest, aby ustawić go poprawnie, a następnie sam zacznie szukać optymalnego rozwiązania. Tak powstała sztuczna inteligencja i jej podsekcja machine learning. Jednym z algorytmów uczenia maszynowego są sieci neuronowe, o których prawdopodobnie słyszałeś.
Film promocyjny:
Od dawna używamy AI w naszym smartfonie. Wyznaczanie trasy z uwzględnieniem korków, wyszukiwanie kotów wśród zdjęć w „chmurze”, komunikacja z asystentem głosowym - to wszystko byłoby niemożliwe bez sprytnych algorytmów. Zadania te są rozwiązywane zdalnie: żądanie jest wysyłane do serwera, przetwarzane, a odpowiedź wraca.
Dlaczego nie umieścić sztucznej inteligencji bezpośrednio w smartfonie? Wiele się już nauczył „od razu po wyjęciu z pudełka”, ciągle się z nami uczy. Na to pozwalają możliwości nowoczesnych urządzeń. Natychmiast uzyskujemy dwie korzyści:
- jest szybki: nie trzeba tracić czasu i ruchu na transmisję danych;
- jest bezpieczny: wszystkie dane są przechowywane wewnątrz smartfona, nie udostępniasz ich usługom stron trzecich.
Producenci przeznaczyli nawet oddzielną jednostkę dla AI wewnątrz procesora mobilnego - NPU (Neural Processing Unit, moduł neuronowy). To akcelerator algorytmów uczenia maszynowego, dzięki niemu smartfon jeszcze szybciej rozwiązuje problemy i zużywa mniej energii.
Wersja premium Mate 20 Pro z 512 GB pamięci i skórzanymi wkładkami - Porsche Design Huawei Mate 20 RS.
Pierwszym procesorem z NPU był Huawei Kirin 970. Zainstalowano go m.in. w smartfonach Huawei P20 Pro i nova 3. A w 2018 roku pojawił się pierwszy na świecie procesor z podwójnym neuromodułem Kirin 980. Wydajność NPU wzrosła o 226%, a energooszczędność - o 182 %. Flagowe Huawei Mate 20 Pro i Mate 20 są wyposażone w taki procesor.
Dlaczego więc smartfon potrzebuje sztucznej inteligencji?
Rozpoznawanie twarzy
Prawie wszystkie nowoczesne smartfony obsługują odblokowywanie twarzą. W niedrogich modelach technologia jest prosta: przedni aparat robi zdjęcie twarzy, a specjalne algorytmy porównują je z danym wzorem za pomocą kluczowych punktów. Zbiegło się - twoje własne, nie zbiegło się - obcy.
Ta technologia nie radzi sobie dobrze w ciemności i jest problem z bezpieczeństwem: jeśli na smartfonie pojawi się zdjęcie właściciela lub podobnej osoby, jest szansa na zbieg okoliczności.
Droższe smartfony korzystają z innej metody. Na przykład w Huawei nova 3 dwie przednie kamery tworzą obraz 3D, a oświetlacz podczerwieni pomaga w ciemności. Flagowy Huawei Mate 20 Pro generalnie rzutuje na twarz 30 tysięcy punktów, buduje model 3D, a następnie porównuje go z oryginalnym modelem.
A jeśli skomplikujesz zadanie? Nosić okulary lub kapelusz, zapuszczać brodę lub malować się? Okazuje się, że to zupełnie inna twarz. Wtedy na ratunek przychodzi uczenie maszynowe. AI zauważa takie zmiany, wprowadza poprawki w modelu i zdaje sobie sprawę, że przed nim jest właściciel smartfona. Dzięki NPU operacje te trwają ułamek sekundy.
Poprawa autonomii
Sieci neuronowe mogą również przewidywać przyszłość. Radzą sobie z tym lepiej niż medium. AI w smartfonie analizuje nasze przyzwyczajenia, zauważa scenariusze zachowań (uruchamianie aplikacji o określonej godzinie, brak aktywności podczas snu itp.) I sama rozumie, które aplikacje są potrzebne w danym momencie, a które nie.
Ważne programy i procesy zostaną wcześniej załadowane do pamięci, aby otwierały się szybciej, a niepotrzebne zostaną usunięte, aby nie zużywać energii. Sprawdź pocztę e-mail w pracy? Aplikacja już na Ciebie czeka. Czy Mapy i Instagram działają w nocy? Z pamięci, teraz nie jest na to czas.
Jeszcze głębiej, sztuczna inteligencja przewiduje obciążenie procesora na podstawie liczby klatek na sekundę. W rezultacie dynamiczne sceny wydają się nam gładkie, bez „drgań”. Jest to szczególnie ważne w grach.
Optymalizacja wydajności
Sztuczna inteligencja wpływa nawet na wydajność. Wyjaśnijmy na przykładzie Kirin 980: główny procesor (CPU) ma tylko 8 rdzeni, z których 2 pracują z wysoką częstotliwością, 2 ze średnią i 4 z wysoką. Wyraźnie - na zdjęciu (im wyższa kolumna - tym większa moc):
Czytanie książek i słuchanie muzyki w tle nie wymaga dużych nakładów. Po co ładować wszystkie rdzenie? Niech działają tylko niskie częstotliwości. Facebook, Vkontakte są „cięższe” - wtedy „średni” są podłączeni do pracy.
Ale trudne hacki w PUBG lub epickie bitwy w WoT przy maksymalnych ustawieniach, renderowanie wideo to zadania wymagające dużej ilości zasobów, wtedy wszyscy „tańczą”: CPU i GPU (procesor graficzny) pracują z maksymalną mocą. AI zauważa to wszystko i optymalnie rozdziela moc.
Poprawa jakości dźwięku
Obrazy mogą być czymś więcej niż tylko obrazem. AI odpowiada również za jakość dźwięku.
Kiedy rozmawiasz przez telefon, sztuczna inteligencja natychmiast „oddziela” głos od obcych dźwięków i wzmacnia go, a szum tła wycisza go. Dzięki temu słychać Cię nawet wtedy, gdy wieje silny wiatr, huczą wagoniki metra, czy Twój ulubiony zespół wygrzewa się na koncercie.
Rozmywanie tła i podkreślanie koloru
Filmy z efektami specjalnymi na smartfonie są również powiązane z sieciami neuronowymi. Nowoczesne flagowce Huawei są w stanie nagrywać wideo z rozmytym tłem: obiekt pozostaje wyraźny, a pierwszy plan i tło są rozmyte w bokeh. Efekt ten uzyskuje się zwykle w przypadku drogich obiektywów o dużej aperturze.
Kolejną sztuczką jest podkreślanie kolorów: sztuczna inteligencja rozumie, do kogo strzelasz (musi to być osoba) i utrzymuje to w ciągłym skupieniu. Pomaga przewidywanie (czytanie - przewidywanie ruchu). Co więcej, sztuczna inteligencja maluje tylko obiekt i pozostawia otaczający świat w czerni i bieli. Pamiętasz film Sin City? Jest ten sam efekt.
Tłumacz offline
Jest taki tłumacz na Androida i iOS - Microsoft Translator. W 2018 roku nauczył się tłumaczyć teksty bez połączenia z internetem, w dużej mierze dzięki systemowi sztucznej inteligencji. We współpracy z Huawei Microsoft sfinalizował Translator dla procesora Kirin 980.
Co z tego wyszło: na smartfonach z linii Huawei Mate 20 dokładność tłumaczenia maszynowego wzrosła o 23% i była zbliżona do tłumaczenia ludzkiego. Jednocześnie prędkość przetwarzania tekstu jest 3 razy większa niż w przypadku innych flagowych smartfonów, a pakiety językowe „ważą” 2 razy mniej.
Poprawianie jakości zdjęć
Być może najbardziej zauważalny wpływ sztucznej inteligencji, jaki widzimy w fotografii. Algorytmy aparatu określają, co dokładnie fotografujemy iw jakich warunkach, i same dobierają najlepsze ustawienia: kontrast, nasycenie, balans bieli.
Na przykład smartfony z procesorem Kirin 980 rozpoznają do 1500 scenariuszy z 25 kategorii - jeszcze przed naciśnięciem spustu migawki. Sieci neuronowe odróżniają koty od psów, śnieg od liści, morze od nieba. Dla każdego są inne ustawienia.
AI rozumie też, w jakim trybie lepiej strzelać. Skieruj aparat na dokument - aktywowany jest tryb „Skaner”, który zaznacza tylko obszar z tekstem. Kreml jest w kadrze - włączony jest tryb „Architektura”. Wyceluj w osobę - włącza tryb portretowy z rozmyciem.
Portrety są generalnie otwarte dla sztucznej inteligencji. Możesz obracać efekt bokeh za pomocą różnych mocnych stron i kształtów, nakładać makijaż i zmieniać rodzaj oświetlenia. Smartfon nie może zastąpić lustrzanki cyfrowej profesjonalną optyką, ale zrobienie wspaniałego portretu na awatarze jest łatwe.
Segmentacja obrazu
Rozpoznawanie wzorców i kategoryzacja to główne zadania, które rozwiązuje uczenie maszynowe. AI porządkuje i łączy zdjęcia na smartfonie na podstawie podobieństw.
Zdjęcia gamburegrów, sałatek, owoców są jedzeniem, mają osobny folder. AI umieszcza zdjęcia samochodów w innym folderze, a budynków w trzecim. Jeśli sieci neuronowe znajdą czyjąś twarz na różnych obrazach, będą one również znajdować się w folderach, ale w kategorii „twarze”.
Chcesz zabrać wszystkie zdjęcia z mamą lub babcią? Oto wszystkie ujęcia, w których trafili do kadru. Sfotografowałeś ważny dokument dawno temu, ale zapomniałeś kiedy? Oto wszystkie ramki zawierające tekst. Zamiast ręcznie wyliczać setki, tysiące plików, do sprawdzenia pozostaje 10-15. To jest wygodne.
Inteligentna stabilizacja
Popularne technologie stabilizacji obrazu w smartfonach to odpowiednio OIS i EIS, optyczne i elektroniczne. Huawei opracował AIS - stabilizator oparty na sztucznej inteligencji. To oznacza stabilizację obrazu AI.
AIS najlepiej sprawdza się przy robieniu zdjęć nocnych. Jak widać: naciśnij przycisk przez 4-6 sekund (bez statywu!), A otrzymasz ostry obraz z doskonałą szczegółowością i minimalnym szumem.
Jak widzi to smartfon:
- pierwsze 0,2 sekundy AIS określa położenie kamery w przestrzeni. Dokładność - do 98%;
- wtedy aparat wykonuje wiele zdjęć o różnych parametrach;
- AI wybiera najlepsze ujęcia. Jeśli nastąpiła zmiana, łączy je, a następnie przetwarza każdą sekcję i usuwa szum.