Wraz z rozwojem sieci neuronowych i technologii uczenia maszynowego poszerza się również zakres ich zastosowań. Jeśli wcześniej sieci neuronowe były wykorzystywane wyłącznie do wykonywania skomplikowanych obliczeń matematycznych, medycznych, fizycznych, biologicznych i prognozowania, to teraz technologie te zyskują coraz większą popularność w bardziej „przyziemnym” środowisku - w dziedzinie rozrywki. Stawiając tylko pierwsze kroki w tym kierunku, są już w stanie wykazać niesamowite, a czasem wręcz wybitne rezultaty. Dzisiaj przeanalizujemy kilka ilustrujących przykładów.
Proces remasteringu wideo jest tak skomplikowany i czasochłonny, że być może nigdy nie widzieliśmy wielu arcydzieł światowej klasyki z nowym, nowoczesnym, wyraźnym i soczystym obrazem. Świat jest jednak pełen mądrych fanów i entuzjastów dobrze zorientowanych w nowych technologiach, aw szczególności w sieciach neuronowych i technologiach uczenia maszynowego, dzięki którym można osiągnąć niesamowite rezultaty nawet w domu. Na przykład użytkownik YouTube Stefan Rumen o pseudonimie CaptRobau postanowił zademonstrować niektóre możliwości sieci neuronowych w przetwarzaniu filmów ze starej serii science fiction.
Jego wcześniejszym dziełem jest Remako Mod, "remake HD" klasycznej i bardzo popularnej japońskiej gry RPG Final Fantasy VII o nazwie. W tym celu wykorzystał algorytm AI AI Gigapixel, za pomocą którego był w stanie przeskalować obraz oryginalnego obrazu 4-krotnie, konwertując go do rozdzielczości HD bez znaczących zmian w oryginalnym projekcie graficznym. Tak więc, czekając na kolejną dekadę, aż do momentu, w którym japoński twórca i wydawca gier komputerowych Square Enix oficjalnie wyda remaster być może jednej z najlepszych części tej serii gier, możesz samodzielnie wypróbować mod Stefana Rumena, pobierając go z tej strony.
Nawiasem mówiąc, ostatnio technologie sieci neuronowych do remasteringu starych gier i nadania im bardziej odpowiedniego i nowoczesnego wyglądu bez zmiany ogólnej oryginalnej koncepcji stały się prawdziwym trendem wśród różnych modderów. Na przykład nie tak dawno rozmawialiśmy o technologii ESRGAN (Enhanced Super Resolution Generative Adversarial Networks), która wdraża technologie skalowania obrazu z 2-8-krotnym wzrostem jakości. Algorytm „zasila” oryginalny obraz w niskiej rozdzielczości, po czym nie tylko zwiększa oryginalną rozdzielczość tego ostatniego, ale także poprawia jakość obrazu, malując na realistycznych detalach i czyniąc tekstury „bardziej naturalnymi”.
Porównanie jakości tekstur: po lewej oryginalna tekstura z gry Morrowind, po prawej - przetworzona przez sieć neuronową.
Postać z Dooma (po lewej - była, po prawej - stała się).
Przetwarzanie w tle w Resident Evil 3.
Film promocyjny:
Tak czy inaczej, w przerwach między remasteringiem „Siódmego finału” Stefan Rumen zdecydował się podjąć kolejny projekt - wykorzystać tę samą technologię uczenia maszynowego, ale tym razem przetworzyć ramy klasycznej serii science fiction z lat 90. Rumen wybrał Star Trek: Deep Space Nine jako obiekt swoich eksperymentów.
Skalowanie obrazu serialu telewizyjnego na żywo bardzo różni się pod względem złożoności od skalowania wstępnie renderowanego obrazu Final Fantasy VII, zauważa autor, więc efekt końcowy, choć wygląda zauważalnie lepiej niż oryginalne materiały w niskiej rozdzielczości, ale ten obraz jest nadal daleki od ideału, o którym można marzyć, odkąd na rynku pojawiły się pierwsze odtwarzacze Blu-ray. Czasami na ekranie pojawiają się małe „artefakty”. Ale ogólnie rzecz biorąc, wszystko wygląda bardziej niż godne. Ale ogólnie przekonaj się sam.
W tym projekcie Rumen wykorzystał również algorytm AI Gigapixel, który został wyszkolony do edycji obrazów na podstawie prawdziwych zdjęć. Autor zwraca uwagę, że nowy obraz uzyskano w 1080p i 4k, ale skoro Rumen nie ma telewizora ani monitora z natywną rozdzielczością 4K, nie może odpowiednio ocenić wersji 4K.
Niestety nie da się obejrzeć całego serialu w jakości Full HD. Proces przetwarzania całego materiału źródłowego zająłby bardzo dużo czasu, więc Rumen użył tylko oddzielnych klatek z różnych serii do demonstracji. Według niego podjął się tego projektu tylko z jednego powodu - aby pokazać, że jest to naprawdę możliwe. Jego zdaniem cały zespół profesjonalistów pracujących w dużej firmie telewizyjnej i dysponujących bardziej odpowiednim i wydajniejszym sprzętem komputerowym do takiej pracy będzie w stanie znacznie lepiej poradzić sobie z tym zadaniem.
Wykorzystanie sieci neuronowych do uproszczenia pracy przy przetwarzaniu starych obrazów z gier wideo i filmów to nie jedyne obszary, w których takie technologie mogą pokazać swoje talenty. We współczesnym świecie, w którym coraz większą popularnością cieszą się aparaty panoramiczne zdolne do wykonywania zdjęć 360 stopni, a także zestawy słuchawkowe do rzeczywistości wirtualnej, programiści zaczęli aktywnie badać potencjał fotografii panoramicznej.
Jednym z najnowszych osiągnięć w tym kierunku jest sieć neuronowa zdolna do sondowania statycznych obrazów panoramicznych. Jej autorem są eksperci od uczenia maszynowego z uniwersytetów Massachusetts, Columbia Universities i George Mason University.
Stworzony algorytm określa rodzaj środowiska i obiektów na zdjęciu, a następnie dobiera i porządkuje dźwięki z wykorzystanej bazy danych zgodnie z obliczeniem przestrzennym odległości do ich źródeł w tym obrazie. Dzięki temu obraz panoramiczny nabiera realistycznego i przestrzennego dźwięku, który pozwala ocenić prezentowany obraz w zupełnie nowy sposób.
Zdaniem twórców tej sieci neuronowej, technologia ta może zainteresować twórców treści VR (filmów i gier). W tym przypadku ci drudzy nie muszą ręcznie nakładać wszystkich dźwięków na obraz panoramiczny, sieć neuronowa będzie w stanie to wszystko zrobić samodzielnie.
Nikolay Khizhnyak