Generowanie obrazów z opisu jest już passé. Ten system AI robi to z wideo

Technologie obrazowania AI rozwijają się w zawrotnym tempie. To, co jeszcze kilka lat temu wydawało się nieprawdopodobne, dziś jest już zupełnie normalne, a my co i rusz jesteśmy zaskakiwania kolejnymi osiągnięciami z pogranicza science-fiction.

Kilka miesięcy temu informowaliśmy Was o systemie Dall-E 2, który potrafi generować dowolne grafiki i „zdjęcia” na podstawie prostych opisów. Projekt wszedł niedawno w wersje publicznych testów, a media społecznościowe co chwila zalewane są niewiarygodnymi przykładami jego możliwości (z jego pomocą powstała m.in. niedawna okładka magazynu Cosmopolitan). Z dużym prawdopodobieństwem jest to technologia, która wywróci rynek reklamy do góry nogami. Internet jeszcze na dobre nie ostygł po tych rewelacjach, a my już otrzymujemy przedsmak kolejnej potencjalnej rewolucji.

Nikon Z8 + złoty pakiet Fotoforma Care 12 mies.

15 445 zł

Canon EOS R6 Mark II + Cashback 500 zł + złoty pakiet Fotoforma Care 12 mies.

8 999 zł

Sony A7 III + złoty pakiet Fotoforma Care 12 mies.

5 889 zł

Sony A7 IV + Cashback 1300 zł + złoty pakiet Fotoforma Care 12 mies.

9 989 zł

Panasonic LUMIX S5II + S 50 mm + R 20-60 mm + obiektyw S 85 mm f/1.8 za 1 zł

10 999 zł

Technologia zamiany tekstu w obraz już niebawem zawita na rynku wideo

#stablediffusion text-to-image checkpoints are now available for research purposes upon request at https://t.co/7SFUVKoUdl

Working on a more permissive release & inpainting checkpoints.

Soon™ coming to @runwayml for text-to-video-editing pic.twitter.com/7XVKydxTeD

— Patrick Esser (@pess_r) August 11, 2022

Twórcy webowej aplikacji do edycji wideo Runway i programiści z Stability AI pracują aktualnie nad narzędziami, które w podobny sposób pozwolą nam transformować materiały filmowe. Wszystko bazuje tu na nowym systemie Stable Diffusion, którego możliwości z grubsza przypominają wspomniany model Dall-E 2. Z tą różnicą, że technologia cechować ma się doskonałą wydajnością (do generowania obrazu wystarczy zwykły komputer), być udostępniana za darmo i - jak widać na powyższym przykładzie - dawać adaptować się także do zastosowań filmowych.

Powyższe demo nie pokazuje być może zbyt wiele. Widzimy raptem sprytną adaptacje tła i tracking ruchów kamery, niemniej nietrudno wyobrazić sobie potencjalne zastosowania. Tego typu rozwiązania, ze względu na wygodę i oszczędność czasu oraz środków mają szansę m.in. odmienić sposób postprodukcji materiałów wideo i cały rynek VFX. O tym czy tak się stanie, przekonamy się gdy rozwiązanie zagości w aplikacji Runway, co według zapewnień wydarzyć ma się już wkrótce.

Następny krok? Generowanie całych sekwencji wideo

W niedługim czasie z pewnością zobaczymy również modele potrafiące tworzyć całe filmowe sekwencje od podstaw, bez konieczności wykorzystywania materiałów źródłowych. W końcu od pojedynczego obrazka do animacji już niedaleka droga, a system wytrenowany na odpowiednio dużej bazie materiałów wideo powinien być w stanie poradzić sobie z wygenerowaniem praktycznie dowolnych zmiennych w ruchomym obrazie.

Czy w niedalekiej przyszłości większość tego, co oglądamy będzie sztucznie wytwarzana przez systemy AI? Tego na razie nie wiemy, możemy się jednak założyć, że przez tego typu dokonania już za kilka lat rynek reklamy i szeroko pojętej sztuki będzie w niewielkim stopniu przypominał to, co znamy dzisiaj.

Więcej informacji o systemie Stable Diffusion znajdziecie na stronie stability.ai.