Lumiere od Google - wideo generowane przez AI coraz bliżej doskonałości

Zespół pod kierunkiem Omera Bar-Tal z Google Research zaprezentował nowy superskuteczny i wydajny model AI zamiany tekstu na plik wideo. Jak czytamy we wstępie udostępnionej pracy naukowej: “Lumiere to model dyfuzji tekstu na wideo zaprojektowany do tworzenia filmów, które przedstawiają realistyczny, zróżnicowany i spójny ruch - kluczowe wyzwanie w syntezie wideo. W tym celu wprowadzamy architekturę Space-Time U-Net, która generuje od razu pełny plik wideo, poprzez pojedyncze przejścia w modelu”.

Jak podkreślają twórcy, Lumiere to przeciwieństwo istniejących modeli, które mają problemy z osiągnięciem spójności czasowej. “Wdrażając zarówno przestrzenne, jak i (co ważne) czasowe próbkowanie w dół i w górę oraz wykorzystując wstępnie wytrenowany model dyfuzji tekstu na obraz, nasz model uczy się bezpośrednio generować pełnoklatkowe wideo o niskiej rozdzielczości, przetwarzając je w wielu skalach czasoprzestrzennych” - czytamy w ich pracy.

Nikon Z8 + pakiet brązowy Fotoforma Care 12 mies.

15 499 zł

Canon EOS R6 Mark II - cena BF po Canon Cashback

8 388 zł

Sony A7 III + pakiet brązowy Fotoforma Care 12 mies.

5 889 zł

Sony A7 IV + 1300 zł Sony Cashback

9 999 zł

Panasonic Lumix S5IIX + pakiet korzyści

7 895 zł

A jak Lumiere działa w praktyce? Rewelacyjnie!

Na stronie Google Research zaprezentowano szereg przykładów, które ilustrują funkcje i skuteczność nowego modelu.

Klipy mogą być tworzone “od podstaw” na bazie wskazanego opisu. “Ożywić” można także zdjęcie lub jego fragment po zaznaczeniu. Imponująco wygląda też generowanie filmów stylizowanych na bazie kolorystyki i tonalności wskazanego zdjęcia czy pliku graficznego. Na bazie opisu można także w dowolny sposób edytować gotowy materiał wideo, by osiągnąć spójną formę.

Lumiere pozwala też zmieniać fragmenty obrazu. Po zaznaczeniu maski algorytm uzupełni ją wskazanym w opisie elementem. Może to być jakiś nowy ruchomy obiekt lub zamiana istniejącego, np. sukienki na modelce.

Sprawdź najlepsze promocje >

Aparat cyfrowy Panasonic Lumix S5IIX...

7799 PLN 10095 PLN

Sprawdź

Aparat cyfrowy OM System OM-1 II...

13949 PLN

Sprawdź

Aparat cyfrowy Sony A7 IV body

9984 PLN

Sprawdź

Obiektyw Sigma A 24-70 mm f/2.8 DG DN...

5490 PLN

Sprawdź

Obiektyw Nikon Nikkor Z 35 mm f/1.4

2749 PLN

Sprawdź

Obiektyw Tamron 70-180 mm f/2.8 Di III...

4490 PLN 5789 PLN

Sprawdź

Ze wszystkimi funkcjami Lumiere warto zapoznać się na stronie projektu: lumiere-video.github.io

Lumiere i co dalej?

Nazwa Lumiere to oczywiście nawiązanie do nazwiska słynnych braci, pionierów filmu, którzy w 1895 skonstruowali i opatentowali kinematograf. Czy model Lumiere od Google’a będzie równie przełomowy? Z pewnością to duży krok w rozwoju ruchomego obrazu generowanego przez AI. Nie ma co owijać w bawełnę, podane przykłady i funkcjonalność algorytmu wbijają w fotel. Na razie to jedynie prezentacja nowego modelu, ale patrząc na tempo rozwoju tej branży, za chwilę albo stanie się samodzielnym oprogramowaniem, albo ulepszy istniejące generatory wideo.