Tworzenie algorytmów do pracy z obrazami zawsze było raczej trudnym, ale obiecującym zadaniem. Kiedy jeszcze w 1999 roku pisałem swój projekt dyplomowy, temat „rozpoznawania wzorców” był bardzo istotny w automatycznych systemach sterowania i zarządzania.
To właśnie mogą zrobić dzisiaj. Indyjscy programiści przedstawili system, który może tworzyć krótkie filmy z rozmytych obrazów. Algorytm działa w oparciu o konwolucyjne i rekurencyjne sieci neuronowe i umożliwia przekształcenie artefaktów ruchu w obrazach w krótkie (do dziesięciu klatek) wideo.
Więcej szczegółów …
Oglądając zamazany obraz, osoba może mentalnie uzupełnić obraz tego, co się dzieje. Na przykład zobaczenie zdjęcia ptaka z rozmytymi skrzydłami sugeruje, że rozmycie obrazu jest spowodowane artefaktami ruchu skrzydeł podczas akwizycji. W przypadku komputerowych systemów wizyjnych zadanie to jest jednak trudniejsze, a większość znanych metod ma na celu jedynie usuwanie artefaktów ruchu i wygładzanie klatek.
Naukowcy z Indyjskiego Instytutu Technologii, kierowani przez AN Rajagopalana, zasugerowali, że pojedynczy rozmyty obraz można wykorzystać do stworzenia całego krótkiego filmu: to znaczy odtworzyć pierwotny ruch z artefaktów na obrazie. W tym celu opracowali algorytm oparty na konwolucyjnych sieciach neuronowych, które są aktywnie wykorzystywane do zadań związanych z automatycznym rozpoznawaniem obrazu, a także rekurencyjnych sieci neuronowych.
Model jest trenowany na dużej liczbie filmów, które są podzielone na klatki. Następnie sieć neuronowa szuka takiej ramki, artefaktów, które są najbardziej zbliżone do artefaktów ramki próbki uczącej. Następnie dekoder „przywraca” artefakty klatki próbnej do postaci ruchu zarejestrowanego na wideo. W ten sposób model przechowuje dane dotyczące możliwych odzyskanych ruchów z każdej niewyraźnej klatki dostępnej w próbce treningowej.
Film promocyjny:
W wyniku prac sieć neuronowa wytwarza wideo, rekonstruowane z rozmytego obrazu, składające się z dziesięciu klatek. Opracowany algorytm, zdaniem twórców, będzie mógł w przyszłości pomóc usprawnić nie tylko przywracanie rozmazanych obrazów, ale także samych filmów.
Usunięcie artefaktów ruchu w poszczególnych klatkach może również poprawić przesyłanie strumieniowe wideo. Jak dotąd w tym celu wykorzystywane są głównie algorytmy dostosowujące bitrate w zależności od szybkości wideo i jego buforowania.
Elizaveta Ivtushok