To idealny czas, by lektorzy filmowi oraz spece od dubbingu zaczęli szukać nowej pracy. Postępujący rozwój technologii komputerowej sprawia, że już dziś Tom Cruise, czy Jack Nicholson przemówią do nas w języku polskim. I najciekawsze, że ich ruch ust będzie idealnie zsynchronizowany z tym co mówią?
Jakiś czas temu, w jednym z wywiadów Tomasz Bagiński powiedział wprost, że firmy technologiczne, a tym Disney kładą nacisk na taki rozwój technologii, by na przykład Robert Downej Jr mówił głosem Michała Żebrowskiego w sposób idealny. I nie chodzi tu o dubbing doskonały. Chodzi o to, że technologia ma sprawić, by ruch ust amerykańskiego aktora był zsynchronizowany z językiem polskim i brzmieniem głosu polskiego superbohatera.
Przyznam, że początkowo żachnąłem się, bo takie rozwiązanie wydało mi się bezsensowne. Wzruszyłem ramionami i wróciłem do swoich zajęć. Tylko, że później przypomniałem sobie, gdy w czasach podstawówki oglądaliśmy zdubbingowany w języku niemieckim film „Rambo III”. I choć był do doskonały film akcji, a ostatnie czego potrzebował widz, to dialogi – jednak coś nie grało i odbierało przyjemność odbioru.
Z czasem okazało się, że to co nam tak nie pasowało to właśnie ten rozdźwięk między ruchem ust amerykańskich aktorów, a dubbingiem. Niby szczegół, a jednak wpływa na całość.
I w tym momencie na scenę wkracza firma Flawless, która przesuwa granice naszej percepcji i za pomocą sztucznej inteligencji tak zmieni twarz aktora, by ten mówił językiem zrozumiałym dla widowni, w której film będzie dostępny.
Trochę obawiam się tego niekontrolowanego rozwoju AI oraz sieci neuronowych. Z jednej strony fajnie, bo dzięki temu świat rozrywki zyskuje nowe, niespotykane możliwości rozwoju, ale co za tym idzie do zarabiania ciężkich miliardów dolarów.
Ale z drugiej strony najzwyczajniej w świecie boję się, że czarny rynek tylko na to czeka. W świecie, w którym rzeczywistość rozgrywa się na Twitterze, czy Instagramie, a viral spełnia rolę dowodu rzeczowego kwestią czasu jest wykorzystanie deep fake, czy synchronizacji ust walki politycznej. Nie trzeba chyba dodawać, jak dobrym narzędziem stanie się nowe rozwiązanie w rękach terrorystów, choć obecnie przyczajeni, bez wątpienia obserwują najnowsze zdobycze nauki i techniki – w końcu największe spustoszenia ostatnich lat terroryści osiągnęli nie dzięki zdobyczom wojskowości lecz dzięki wykorzystaniu możliwości, jakie oferuje technologia nazwijmy to, cywilna.
No dobrze, wrócimy do tematu, gdy przy wykorzystaniu AI dojdzie do przewrotu politycznego, bo może okazać się, że te moje lęki są nic nie warte. Wróćmy do świata rozrywki.
Obecne rozwiązania wydają się naturalną ewolucją branży efektów specjalnych. Mieliśmy Jazona i Argonautów walczących z animowanymi kościotrupami, podroż na Księżyc.
Gumowe kukły i dorysówki. Aż doczekaliśmy się blue screena. Aż w końcu zobaczyliśmy Terminatora 2 i Park Jurajski, po obejrzeniu których opadły nam szczęki i zbieraliśmy je długo po zakończeniu projekcji.
Podobnie było z technologią 3d, dzięki której James Cameron wywindował swojego „Avatara” na szczyt najlepiej zarabiających filmów w historii. Rzeczywistość pokazała, że trójwymiar to raczej nieporęczny gadżet dla maniaków kinowych dziwactw, ale jest to chyba efektem słabości ludzkiego oka i nieporęcznej technologii.
Kolejnym kamieniem milowym stały się deep fake`i. Ich prostota użytkowania oraz niskie koszty, szybkość uczenia oraz efekty działania są po prostu rewolucyjne. Okazało się, że amatorsko tworzone podróbki, jak poniżej mogą działać lepiej, niż tworzone z mozołem sceny odmładzania postaci, jak w „Irlandczyku”.
Nagle okazało się, że można robić świetne efekty specjalne w domowym zaciszu, a narzędzia do ich tworzenia stają się standardową i zautomatyzowaną funkcją na przykład w Adobe After Affects.
Po tej dygresji proszę, by Flawless wrócił na scenę. Wykorzystując technologię deep fake programiści wykorzystują narzędzia odpowiedzialne za dopasowanie mimiki twarzy tak, by były jak najbardziej zbliżone do języka kraju, w którym film jest dostępny. Netflix musi być zachwycony!
To, co Flawless robi ze swoim oprogramowaniem TrueSync to użycie tych samych narzędzi odpowiedzialnych za deepfake wideo do manipulowania i dostosowywania twarzy aktora w filmie, tak aby ruchy jego ust, a co za tym idzie, mięśni twarzy, były bardziej zbliżone do tego, jak poruszaliby się, gdyby oryginalne wykonanie było grane w języku, którego słyszy zagraniczna publiczność.
https://youtu.be/HzZkNdn5hpA
Krótko mówiąc: nawet jeśli Tom Hanks wygłasza kwestie w języku ojczystym, to oglądający ten film Japończyk zobaczy i usłyszy Toma Hanksa w języku ojczystym przy zachowaniu idealnej synchronizacji ust i mowy.
Zacytujmy korpobełkot firmy Flawless: „Sercem systemu jest mechanizm zachowania wydajności, który rejestruje wszystkie niuanse i emocje oryginalnego materiału”.
Brzmi to fajnie. Jak gadżet, który po początkowym zachwycie i potężnych nakładach finansowych trafia do kosza. Przychodzi mi na myśl Google, które entuzjastycznie zapowiada kolejne projekty i z rozmachem je rozwija z uporem pijaka, by jednak stwierdzić, że coś nie pykło i cichaczem wygasza projekt, a jego elementy umieszcza w dotychczasowych rozwiązaniach. Czy ktoś pamięta jeszcze Google+, które miało zabić Facebooka oraz nadać nowego wymiaru naszym kontaktom w sieci?
Podobnie może być z wynalazkiem Flawless. Oczywiście strumieniowi nadawcy mogą zachłysnąć się tym rozwiązaniem, a patrząc na absurdalną rozrzutność Amazon Prime Video może i nawet bezoski przerobią całą swoją bibliotekę na TrueSync.
Tylko czy ma to sens, poza efektem marketingowym?
O ile deep fake faktycznie jest efektywnym rozwiązaniem wartym dalszego rozwoju, tak zabawa z dopasowywanie ruchu ust już niekoniecznie. I nawet jeśli z czasem proces będzie zautomatyzowany i realistyczny, to jakoś nie widzę, by aktorzy chętnie brali udział w filmach tworzonych w takiej technologii.
Coraz bardziej ucieka nam aktorstwo. Detale, mistrzowskie gesty i spojrzenia oraz język ciała sprawiający, że kochamy kreacje de Niro, di Caprio, Clooneya, Meryl Streep i innych mistrzów kina. Owszem cyrk Marvela jest miły dla oka, ale nie zapominajmy, że przy okazji zabił inne kino rozrywkowe, niż filmy bohaterskie. Spłycił widownię oraz rynek oduczając nas tego, za co uwielbiamy kino. Intymność, relacje między bohaterami, grę światła oraz siłę dialogu.
Pytanie o technologię TrueSync jest tak naprawdę pytaniem o przyszłość kina jako źródła emocji. Wybaczcie, ale w momencie gdy standardem będzie Jack Sparrow przemawiający głosem Cezarego Pazury uznam, że coś umarło.
