Přetvoření videa s Aleph od RunwayML

Jak na RunwayML Aleph

Runway Aleph je nejmodernější kontextový video model, který nastavuje nové standardy v oblasti multitaskingové vizuální generace. Umožňuje provádět širokou škálu úprav vstupního videa, jako je přidávání, odstraňování a transformování objektů, generování libovolného úhlu scény a úpravy stylu a osvětlení, a mnoho dalších úkolů.

Dashboard - All Tools - Aleph

Vytvářejte nové úhly kamery

S Runway Aleph můžete pomocí jednoduchých pokynů vytvářet nové pohledy na stávající scény. Ať už potřebujete zpětný záběr nebo nízký úhel, nyní můžete vytvářet nekonečné množství záběrů.

Klíčová slova:
Wide shot
- Generate a full shot of the subject
Extreme Close-Up - Generate a close-up shot of the subject
Medium Shot - Generate a medium full shot of the subject

Vytvořte další záběr

Vytvořte plynulé pokračování svého příběhu. S Runway Aleph můžete snadno vytvořit další záběr ve své sekvenci pouhým požadavkem.

Klíčové slovo:
Generate a next shot

Použijte jakýkoli styl k převodu do videa

Proměňte jakékoli video podle svých představ. S Runway Aleph můžete snadno aplikovat jakýkoli styl na své záběry pouhým požadavkem.

Klíčové slovo: 
Transfer the style of the video

Změňte prostředí, lokality, roční období a denní dobu

Proměňte běžné záběry v profesionální vizuální efekty. A to vše při zachování tolik nebo tak málo ze zdrojového materiálu, kolik si budete přát. Zde je velká možnost variability prompt engeneeringu.

Klíčové slovo:
Rain - Add rain
Freeze - Freeze the water and add snow
Sandstorm - Change the weather to a strong sand storm. Windy and sand everwhere with a strong orange tint.

City - Change the scene to a city alley

Desert - Change to a dirt road

Přidávejte prvky do scény

Vylepšete své záběry čímkoli, co si dokážete představit. Runway Aleph hladce integruje nové prvky do stávajících scén – přidejte dav do prázdných ulic, umístěte produkty na stoly nebo vložte rekvizity, které jste zapomněli natočit. Stačí popsat, co chcete, nebo poskytnout referenční obrázek, a uvidíte, jak se to přirozeně objeví ve vašem videu s odpovídajícím osvětlením, stíny a perspektivou.

Klíčové slovo:
Add - Fireworks, Palm Trees, Characters

Add the crowd

Odstraňte objekty ze scény

Už se nikdy nemusíte trápit přeplněnými scénami nebo rušivými prvky. S Runway Aleph můžete snadno odstranit nežádoucí objekty a prvky ze záběrů pouhým požadavkem.

Klíčové slovo:
Remove - smoke, person, reflection
Remove the person from the scene
Remove the reflection in the mirror

Změna objektů ve scéně

Runway Aleph vám umožňuje snadno změnit texturu nebo zcela nahradit objekty, předměty a další prvky z existujících videí. Stačí zadat textový příkaz nebo referenční obrázek toho, co chcete ve svém videu vyměnit. Zde nás to podvědomě nutí použít slovo Transform, ale...

Klíčové slovo:
Change - into, material 
Change the car into Chariots with horses
Change the material of the ball to lava

Použijte pohyb videa

Vezměte pohyb libovolného videa a použijte jej na nový první snímek pro jemné ovládání kamery.

Klíčové slovo:
Apply the same motion

Změňte vzhled postavy

Změňte věk a vzhled herců pomocí jednoduchých pokynů. Není třeba složitý praktický make-up ani nákladné vizuální efekty, stačí si říct, co chcete.

Klíčové slovo:
Make
Make him young
Make her as a child
Make him old

Přebarvení prvků scény

Snadno změňte barvu objektů ve scéně zadáním vzorku barvy nebo popisem palety, kterou hledáte. Použijte vyskakovací nabídku nad vaším promptem, která se objeví po dosazení videa a nahrajte buď jednolitou barvu, nebo udělejte skicu.  

Klíčové slovo:
Change
Change the house to red of image

Relight Shots (Opětovné nasvícení záběrů)

Změňte náladu jakékoli scény pomocí zcela nového osvětlení. Natáčeli jste ve špatnou denní dobu? Runway Aleph vám umožní změnit ostré polední světlo na zlatou hodinu, zesvětlit podexponované záběry nebo vytvořit dramatické osvětlení západu slunce z oblačného dne. Osvětlení se přirozeně přizpůsobí celé scéně a aktualizuje stíny, odrazy a barevnou teplotu tak, aby odpovídaly vaší vizi.

Klíčové slovo:
Make - Make it dawn, afternoon, daytime...
Transform - Transform the scene to appear as if it was shot during golden hour.

Zelené pozadí

Vytáhněte jakoukoli osobu nebo objekt ze svého záznamu a umístěte je na čisté pozadí. Runway Aleph automaticky izoluje váš objekt pomocí přesné detekce okrajů a zachová všechny detaily, od pramínků vlasů po průhledné látky. Exportujte se zeleným pozadím, průhledným pozadím nebo jakoukoli plnou barvou pro hladkou integraci do jiných projektů.

Klíčové slovo:
Green screen
Green screen the person
Green screen the object

RunwayML - Základy promptingu

Za 36 hodin režisérem, hudebním tvůrcem a producentem.

Jak se díky AI posunout tam, kde to bylo dříve nemožné.

Tento příběh je inspirací pro všechny, kdo touží po nových způsobech vyjádření, a ukazuje, že s AI je možné dosáhnout úspěchu i tam, kde by to dříve bylo nemožné. Výsledkem je nejen umělecké dílo, ale také nové přístupy k tvorbě, které mění pravidla hry v oblasti umění a kultury.

Je rok 2021 a já se začínám učit s umělou inteligencí. Zatím nevím, co s ní nakonec budu dělat, ale pevně věřím, že to bude mít velký potenciál. Vzdálená vidina je, že mi pomůže udělat pokračovaní mé horrorové adventury s názvem Dark Disharmony, ale jak to tak u mě bývá, věci se vždycky vyvinou trochu jinak, než předpokládám.

Dark Disharmony

Prošel jsem si hromady projektů, a nakonec jsem zůstal u MidJourney pro generování grafiky, které jsem pro náš malý český národ přeložil kompletní příručku. Vždycky u mě fungovalo, že jestli se chci něco naučit musím si udělat zápisky, a tak na svém blogu d3arts.cz vydávám.

Díky mé hlavní práci, kterou je ISP ve společnostni Best-Net si mohu dovolit konečně zakoupit pořádnou grafickou kartu, abych na lokální pracovní stanici mohl rozjet Stable Diffusion a dovolit si ten luxus generovat grafiku bez cenzury a pouze za cenu propálené elektřiny. Díky nastudovaní práce se Stable Diffusion vytvářím za pomocí LoRA modelu a SDXL checkpointů svoji konzistentní AI postavu - ai modelku. Předlohy jsem pro LoRA model jsem si předgeneroval v MidJourney za pomocí obrázkových podnětů - z rrůzných úhlů. Z těchto předloh vytvářím Lenku Baier. Půvabnou blondýnku, která vyhovuje mému estetickému citu.

Lenka Baierová - naše instagramová fitness modelka

Z dalších vytvořených generací zdokonaluji svůj AI model a někdy se snížím i ke faceswapu pomocí ReActor pluginu. Lenka ožívá na sociální síti Instagram, kde mate nové sledující poměrně dráždivým obsahem, abych pak zjistil, že hrát si na influencera a psát si s bandou nadržených followerů není něco, co by mě zrovna naplňovalo. Mimochodem jedem z přátel se do mé modelky zamiloval, a tak jsem přišel o kamaráda, který nerozdýchal to, že Lenka Baier je můj výtvor. V práci s AI se dále vzdělávám a objevuji na Facebooku různé komunity.

Jedna z nich je skupina Cursed AI, kde se lidé baví bizárem, který AI umí vyplivnout. Sám vytvářím vlastní komunitu AI grafici. S rozvojem umělé inteligence různí fantasti a tvůrci clickbaitů, kteří vytváří mysteriózní fotografie z minulosti, a tak se dostáváme k jádru mé nynější tvorby a tím je prompt:

Giant *something*, Kandahar circa 1923

...kterým se skupina Cursed AI baví do té míry, až se stavá toto téma bannovaným a na čas díky těmto restrikcím se stává zapomenutým. Mě ale tato estetika nemyslitelného natolik uchvátila, že jsem pokračoval v jejím rozvíjení.

V roce 2024 spolu s Petrem Marešem a Martino Jurčekovou čistě náhodou pořádáme výstavu AI Galerii Moderního Umění v Hradci Králové – 2045: Human Expiration, kde žiju a vyměňujeme si dojmy a znalosti z AI. Tak jsem se stal součástí umělecké skupiny Homo Digitalis 3.2.1. Výstava má nečekaný úspěch a píše se o nás třeba v české verzi Wired. Petr, je kromě své spisovatelské kariéry také hudebníkem, a tak se dostávám ke generování hudby prostřednictví Udio, se kterým se mi myslím poměrně daří generovat můj oblíbený mikro-žánr a tím je synthwave, což je mix 90-kového diska a nové vlny elektronické hudby. Martina experimentuje s RunwayML pro generování videí. A tak se během volných chvílích, které mi žena poskytuje plně ponořuji do studia těchto projektů.

Human Expiration: 2045 exhibition Hradec Kralove - Wired - Petr Chroustovsky

Díky nástroji Image to Video a dobře vypracovaným promptům si nejdříve v MidJourney předgeneruji databázi obrázků, většinou si vytvořím až dvě sta generací, ze kterých pak prostřednictví RunwayML vytvářím pohyblivé obrázky. A tak se dostáváme k prvnímu singlu s názvem Secrets of Kandahar - Circa 1923. Kde s verzí Gen-2 vytvářím kompletní videoklip a umísťuji jej na svůj YouTube kanál.  

Vítejte ve fantastickém světě Kandaháru. Hudební video realizované za pomoci nástrojů umělé inteligence, kde se nemyslitelně mísí prvky dokumentárních záběrů arabské kultury s bizarně vypadající technologií, hyperkýčem, dadaismem a techno mystikou. 

Jelikož mám za sebou dvě umělecké Školy Aplikované Kybernetiky v HK, terminologie i technologie mi nedělají problém a vytvořené věci jsou už pouze záležitostí mého vlastního vkusu. Nenechte se mýlit, že všechno je jen záležitostí promtů. Dost často sahám do Photoshopu, abych pro nástroj Image to Video vytvořil ideální předlohu rovné mé představě a někdy to sakra bolí. Něž takový záběr použiji předchází mu asi kolem padesáti generací, než jsem spokojený.

Z toho důvodu jsem si spočítal, že u RunwayML se mi vyplatí jít do verze  Unlimited a tak dávám poměrně slušnou sumu na oltář AI, aby se mi dařili opravdu kvalitní výstupy. U MidJourney a Udio je to podobné, a tak jsem se rozhodl, že vytvořím kompletní album. Nicméně představte si, že byste měli vytvořit kompletní klip s normálním štábem a počítačovou grafikou a vytvořit něco podobného klasickou cestou. To jsou úplně jiná čísla.

AI je skvělá, ale nesmíte se bát do ni neinvestovat čas a peníze.

 V Udio Beta projíždím ostatní autory, a koukám na jejich prompty Text to Music a zjišťuji, že je dobré přesně specifikovat hudební nástroje, či syntetizátory, požívat kombinovaní pomocí „Synthwave& Synthpop“ - což není nikde uváděno. Užít „In style of *jméno umělce*“  a používat remixy Inpaint fází skladby, které se mi nezdají. Také je dobré použít konkrétní syntetizátory a jmenovat je jako "synthetizer OB-X, synthetizer CS-80". Rytmičtější skladby mohou mít 128 až 140 BPM, tedy počet úderů za minutu - tepovka, což je dobré jmenovat. Také je dobré specifikova náladovost skladby "playful, passionate, warm, lush, uplifting, lonely" atd. Pokud chcete ovládat zpěv použijte Custom nebo Autogenerated lyrics - "Female/Male vocalist". Opět k dobrému kusu docházím kolem osmdesáti generací, než tam to světýlko cítím. 

Díky zpětné vazbě se taky dozvídám, že existuje něco jako Tísnivé Údolí, a že některé neopodstatněné hejty a zpětné vazby jsou způsobené prostě tím, že téměř dokonalé generace vlastně lidi děsí. Což právě není můj případ naštěstí, a proto je dobré na to pamatovat a umělecky se k tomu postavit tím, že některé věci prostě přiznávám. Mimochodem tento fenomén nám pomáhá přežít, nacházet kazy ve vzoru a zkoumat nesrovnalosti, či vynalézat na základně nesrovnalostí.

Nicméně zpětná vazba mě v následujícím klipu donutila vypracovat příběh a zapojit moji AI modelku jako zpěvačku. Pomocí nástroje Lalal.ai – rozdělovače zvukových stop, oddělím z Udiem vytvořené skladby samotný zpěv. Určitou stopu, pak využiji k Lip-Sync, který RunwayML Gen3-Alpha umí a tak z generovaného videa modelky vpravím do jejich rtů zpěv.

Pomocí distribučních platforem jako je DistroKid dané skladby dostanu na všechny možné hudební paltformy jako jsou.. vezmu to popořadě:  Amazon, Anghami,  iTunes, Apple Music, MediaNet, Boomplay, Deezer, Instagram, Facebook, Adaptr, Flo,  YouTube Music iHeartRadio, Clar Música, JooBox, Kuck Media, NetEase, Qobuz, Pandora, Saavn, Spotify, Tencentu, Tridal, TikTok Music. A odnož distribuční platfomy  DistroVid – platforma pro hudební klipy zase na Vevo, iTunes Video, Apple Music, TikTok Music, Tridal a Boomplay.

Nakonec to nejzajímavější, co se distribuce týče je dostat takové dílo na nějaký festival. S tím pomůže platforma Filmfreeway.com, kde se vyplatí zaplatit si zlaté členství  a po zadání AI do vyhledávání si vybrat festival, kde s trochou štěstí vaše dílo vyberou a zaplatit za přihlášku o něco méně. Já se osobně těším na festival Czech International AI_Film Festival v Praze, které bude letos po třetí v kině Atlas. Popřejte mi štěstí.

Ať se vám to líbí, nebo ne, (r)evoluce ve filmové tvorbě je tady a je poháněna umělou inteligencí.

Jestli jste všestranný umělec, který raději pracuje sám AI se stane vaším nejlepším kolegou, který enormně zvýší vaši produktivitu a doslova zvládne vycucnout veškeré vaše nápady a inspirace. Proto si myslím, že nastává doba „malých“ šikovných lidí, kteří tak dokáží vytvořit opravdu originální a kvalitní díla v nezvykle velkém množství. Já už přidám jen poslední dílo, kterým je singl Giants a na klipu ještě pracuji. 

Jak řekl jeden můj profesor: „Nikdy nevíte, kam vás vítr zavane, a proto se učte všechno.“ A měl pravdu, protože nutná dávka obecné přehledu, dějin umění a termínů je něco, co vás oddělí od ostatních, co pracují s AI stejně jako u vytváření her potřebujete nutné znalosti pokročilé matematiky, protože AI za vás nápad nevymyslí, ale rozhodně ho pomůže vydatně realizovat a já se sní snad jednou dostanu k Dark Disharmony 2. Já už se pomalu teď stávám díky AI Meta-člověkem (kterým se zabýváme na naší výstavě), protože už teď jsem díky ní odstranil spoustu mých nedostatků jako jsou jazyková bariéra, slabé schopnosti programování i nedostatek času na kvalitní tvorbu, který rozděluju i mezi starost o svou rodinu. I tak se mi daří najít čas a posunout tuto AI artovou tvorbou o kousek dál, jak v novém klipu s názvem Saucers.