Articles Tagged with: RunwayML

Runway ML - generování videa - návod česky

Příručka pro Runway - 1. Základy promtingu

RunwayML - základy práce generování videí s metodou text to video s verzí Gen3- Alpha.

Ještě něž vás uvedu do zádkladů podněcovaní a práci s umělou inteligencí pro generování filmu a videa s RunwayML, řekněme si nejdříve několik důležitých faktů a tipů. Jak si můžeme všimnout zkratky v názvu ML, což znamená strojové učení (machine learning) Runway je jedna z nejlepší platforem, která se velmi rychle vyvíjí. To znamená, že pokud nezvládla udělat nějaký záběr dnes, zkuste to zítra, možná už se to naučila. Dalším postřehem ke konzistentnosti vašich videí je možnost používat obrázkové výzvy, kde zadáte první a poslední snímek záběru a Runway vám generuje to mezi obrázky na základě vašeho textového podnětu. Tím se můžete dostat k velice konkrétním realizací vaší představy nebo scénáře.

Pro generování obrázkových podnětů stále doporučuju online platformu MidJourney - návod na blogu najdete. Stejně jako MJ, Runway nechápe gramatiku, takže s vysvětlováním pomocí gramatických oslích můstků typu na "začátku udělej něco a pak udělej tohle" příliš nepochodíte. Její NLP (Natural Language Processing) může porozumět textu na základě analýzy vstupu pro extrakci významu, klíčových slov nebo sentimentu.

Další praktickou informací, která vám ušetří dost peněz je, že na hraní tu není moc prostor. Hraní je za paywallem. Nemá smysl kupovat si kredity, protože ty vystřílíte zázračně rychle. Nekupujte si kredity. Jestli to s Runway myslíte vážně, zaplaťte si Unlimited přístup na celý rok a naučte se s ní dokonale. Garantuju vám, že nebudete mít okousané nehty od toho, jestli se generování povede (pro mě je jeden úspěšný záběr 10-20 generování) a navíc můžete používat režim Gen3-Turbo, což ušetří i spoustu času. Toť zatím vše pojďme se podívat, jak funguje promting.

K zadávání obvykle raději používám překladač Deepl, potom si přeložené zadání upraví do pro AI srozumitelnější iterace.

Rychlé menu

Gen-3 Alpha má poměrně nekonečný potenciál, abyste mohli realizovat své umělecké vize. Vytvoření silného podnětu- promptu, který zprostředkuje scénu, je klíčem ke generování videa v souladu s vaším konceptem.
Tento článek se zabývá různými ukázkovými strukturami, klíčovými slovy a tipy na podněty, které vám pomohou začít pracovat s Gen-3 Alpha. Jedná se pouze o příklady - nebojte se při uvádění svých nápadů do života experimentovat.

Struktury podnětů

Základní textový podnět

Pouze textové podněty jsou nejúčinnější, pokud se řídí jasnou strukturou, která rozděluje podrobnosti o scéně, objektu a pohybu kamery do samostatných částí. Použití následující struktury by mělo pomoci zajistit konzistentní výsledky při seznamování se s aplikací Gen-3 Alpha:

[pohyb kamery]: [vytvoření scény]. [doplňující informace].
[camera movement]: [establishing scene]. [additional details].

Při použití této struktury by vaše výzva pro ženu stojící v tropickém deštném pralese mohla vypadat takto:

Statický záběr z nízkého úhlu: Kamera je natočena pod úhlem na ženu v oranžovém oblečení, která stojí v tropickém deštném pralese s barevnou flórou. Dramatická obloha je zatažená a šedá.
Low angle static shot: The camera is angled up at a woman wearing all orange as she stands in a tropical rainforest with colorful flora. The dramatic sky is overcast and gray.

Opakování nebo posilování klíčových slov a myšlenek v různých částech podnětu může pomoci zvýšit efekt ve výstupu. Můžete například poznamenat, že kamera rychle prolétá scénami v hyper-rychlém záběru. Snažte se, aby váš podnět byl zaměřen na to, co by mělo být ve scéně. Například byste mohli vyzvat k zobrazení jasné oblohy spíše než oblohy bez mraků.

Základní výzva obrázek + text

Při použití vstupních obrázků se zaměřte spíše na popis pohybu, který byste chtěli na výstupu vidět, než na obsah obrázku. Například při použití vstupního obrázku, který obsahuje postavu, můžete zkusit následující výzvu:

Subjekt vesele pózuje, její ruce tvoří znak míru.
Subject cheerfully poses, her hands forming a peace sign.

Použití textového podnětu, který se výrazně liší od vstupního obrázku, může vést k neočekávaným výsledkům. Mějte na paměti, že složité přechody scén mohou vyžadovat více iterací k dosažení požadovaného výstupu.

Iterace je proces opakování určitého postupu nebo operace, obvykle za účelem přiblížení se k nějakému cíli nebo dosažení určitého výsledku

Ukázkové výzvy

Plynulé přechody

Nepřetržité záběry FPV v hyperrychlosti: Kamera plynule prolétá ledovcovým kaňonem do zasněné krajiny mraků.
Continuous hyperspeed FPV footage: The camera seamlessly flies through a glacial canyon to a dreamy cloudscape.

Pohyb kamery

Svítící oceán v noci s bioluminiscenčními tvory pod vodou. Kamera začíná makro záběrem svítící medúzy zblízka a poté se rozšíří a odhalí celý oceán osvětlený různými svítícími barvami pod hvězdnou oblohou. Pohyb kamery: Začněte makro záběrem medúzy a poté se jemně stáhněte dozadu a nahoru, abyste ukázali svítící oceán.
A glowing ocean at night time with bioluminescent creatures under water. The camera starts with a macro close-up of a glowing jellyfish and then expands to reveal the entire ocean lit up with various glowing colors under a starry sky. Camera Movement: Begin with a macro shot of the jellyfish, then gently pull back and up to showcase the glowing ocean.

Textové titulní karty

Titulní obrazovka s dynamickým pohybem. Scéna začíná u stěny pokryté barevnými barvami. Náhle se na zeď vylije černá barva a vytvoří slovo „Runway“. Kapající barva je detailní a texturovaná, vycentrovaná, vynikající filmové osvětlení.
A title screen with dynamic movement. The scene starts at a colorful paint-covered wall. Suddenly, black paint pours on the wall to form the word "Runway". The dripping paint is detailed and textured, centered, superb cinematic lighting.

Klíčová slova podnětů

Klíčová slova mohou být přínosná pro dosažení specifických stylů ve vašem výstupu. Zajistěte, aby klíčová slova byla v souladu s vaší celkovou výzvou, díky čemuž budou ve vašem výstupu lépe patrná.

Například zařazení klíčových slov o struktuře pleti by nebylo přínosné pro širokoúhlý záběr, kde kamera není úzce zaměřena na obličej. Širokoúhlému záběru by naopak mohly prospět další podrobnosti o prostředí.

Při zachování této soudržnosti jsou níže uvedena různá klíčová slova, se kterými můžete při přípravě podnětů experimentovat.

Úhly záběru kamery

Optika objektivu

Nízký úhel

Low angle

Vysoký úhel

High angle

Nadhled

Overhead

Pohled první osoby

FPV

RunwayML - klíčové slovo: FPV, pohled z první osoby (úhly záběru kamery)

Záběr z ruky

Hand held

Širokoúhlý

Wide angle

Detail - Z blízka

Close up

Detail - Makro

Macro cinematography

RunwayML - klíčové slovo: Makro (úhly záběru kamery)

Zezadu

Over the shoulder

Sledování objektu

Tracking

Široký záběr

Establishing wide

Perspektiva lidského oka

50mm lens

Akční kamera -selfie

SnorriCam

Dokumentární

Realistic documentary

Domácí video

Camcoder

Styl osvětlení

Rozptýlené světlo

Diffused lighting

Silueta

Silhouette

Odlesk objektivu

Lens flare

Svícení zezadu

Back lit

Nasvícení z boku

Side lit

Barevný filtr

[color] gel lighting

Ben8tsk0 sv2tlo

Venetian lighting

RunwayML - klíčové slovo: benátské světlo, venetian light (osvětlení)

Rychlost pohybu

camera movement

Velmi rychlý pohyb

Dynamic motion

Zpomalený

Slow motion

Rychlý pohyb

Fast motion

Časosběr

Timelapse

RunwayML - klíčové slovo: (rychlost pohybu a času)

Typ pohybu (vzhledem k objektu)

movement type

Růst

Grows

Zjevení

Emerges

Výbuch

Explodes

Vznášení

Ascends

Vlnící se

Undulates

Deformace

Warps

Proměna

Transforms

Zvlnění

Ripples

Roztříštění

Shatters

Rozložení

Unfolds

Vír

Vortex

Styl a Estetika

Náladový

Moody

Dramatický

Cinematic

Duhový

Iridiscent

Staré domácí video, retro

Home video a VHS

RunwayML - klíčové slovo: (styl a estetika)

Poruchový

Glitchcore

RunwayML - klíčové slovo: glitch, porucha obrazu (styl a estetika)

Styly textu (font)

Tučně

Bold

Pouliční grafika

Graffiti

Neonové fluorescenční lampy

Neon

Univerzita, sport

Varsity

Výšivka

Ebroidery

Zástupné symboly

v zalomených závorkách []

Pro vytváření vlastních předvoleb, které lze snadno opakovaně použít, můžete také část výzvy umístit do závorek a nahradit text jedním kliknutím. Například:

Fotoaparát plynule prolétne [místo předmětu].
The camera seamlessly flies through a [subject location]

Po uložení jako předvolba vám to umožní 1 kliknutím nahradit oblast závorek a začít psát text, kdykoli ji znovu použijete.

Secrets of Kandahar - Brocen Heart new-wave synthpop music video

1. 9. 2024

Za 36 hodin režisérem, hudebním tvůrcem a producentem.

Jak se díky AI posunout tam, kde to bylo dříve nemožné.

Tento příběh je inspirací pro všechny, kdo touží po nových způsobech vyjádření, a ukazuje, že s AI je možné dosáhnout úspěchu i tam, kde by to dříve bylo nemožné. Výsledkem je nejen umělecké dílo, ale také nové přístupy k tvorbě, které mění pravidla hry v oblasti umění a kultury.

Je rok 2021 a já se začínám učit s umělou inteligencí. Zatím nevím, co s ní nakonec budu dělat, ale pevně věřím, že to bude mít velký potenciál. Vzdálená vidina je, že mi pomůže udělat pokračovaní mé horrorové adventury s názvem Dark Disharmony, ale jak to tak u mě bývá, věci se vždycky vyvinou trochu jinak, než předpokládám.

Prošel jsem si hromady projektů, a nakonec jsem zůstal u MidJourney pro generování grafiky, které jsem pro náš malý český národ přeložil kompletní příručku. Vždycky u mě fungovalo, že jestli se chci něco naučit musím si udělat zápisky, a tak na svém blogu d3arts.cz vydávám.

Díky mé hlavní práci, kterou je ISP ve společnostni Best-Net si mohu dovolit konečně zakoupit pořádnou grafickou kartu, abych na lokální pracovní stanici mohl rozjet Stable Diffusion a dovolit si ten luxus generovat grafiku bez cenzury a pouze za cenu propálené elektřiny. Díky nastudovaní práce se Stable Diffusion vytvářím za pomocí LoRA modelu a SDXL checkpointů svoji konzistentní AI postavu - ai modelku. Předlohy jsem pro LoRA model jsem si předgeneroval v MidJourney za pomocí obrázkových podnětů - z rrůzných úhlů. Z těchto předloh vytvářím Lenku Baier. Půvabnou blondýnku, která vyhovuje mému estetickému citu.

Lenka Baierová - naše instagramová fitness modelka

Z dalších vytvořených generací zdokonaluji svůj AI model a někdy se snížím i ke faceswapu pomocí ReActor pluginu. Lenka ožívá na sociální síti Instagram, kde mate nové sledující poměrně dráždivým obsahem, abych pak zjistil, že hrát si na influencera a psát si s bandou nadržených followerů není něco, co by mě zrovna naplňovalo. Mimochodem jedem z přátel se do mé modelky zamiloval, a tak jsem přišel o kamaráda, který nerozdýchal to, že Lenka Baier je můj výtvor. V práci s AI se dále vzdělávám a objevuji na Facebooku různé komunity.

Jedna z nich je skupina Cursed AI, kde se lidé baví bizárem, který AI umí vyplivnout. Sám vytvářím vlastní komunitu AI grafici. S rozvojem umělé inteligence různí fantasti a tvůrci clickbaitů, kteří vytváří mysteriózní fotografie z minulosti, a tak se dostáváme k jádru mé nynější tvorby a tím je prompt:

Giant *something*, Kandahar circa 1923

...kterým se skupina Cursed AI baví do té míry, až se stavá toto téma bannovaným a na čas díky těmto restrikcím se stává zapomenutým. Mě ale tato estetika nemyslitelného natolik uchvátila, že jsem pokračoval v jejím rozvíjení.

V roce 2024 spolu s Petrem Marešem a Martino Jurčekovou čistě náhodou pořádáme výstavu AI Galerii Moderního Umění v Hradci Králové – 2045: Human Expiration, kde žiju a vyměňujeme si dojmy a znalosti z AI. Tak jsem se stal součástí umělecké skupiny Homo Digitalis 3.2.1. Výstava má nečekaný úspěch a píše se o nás třeba v české verzi Wired. Petr, je kromě své spisovatelské kariéry také hudebníkem, a tak se dostávám ke generování hudby prostřednictví Udio, se kterým se mi myslím poměrně daří generovat můj oblíbený mikro-žánr a tím je synthwave, což je mix 90-kového diska a nové vlny elektronické hudby. Martina experimentuje s RunwayML pro generování videí. A tak se během volných chvílích, které mi žena poskytuje plně ponořuji do studia těchto projektů.

Human Expiration: 2045 exhibition Hradec Kralove - Wired - Petr Chroustovsky

Díky nástroji Image to Video a dobře vypracovaným promptům si nejdříve v MidJourney předgeneruji databázi obrázků, většinou si vytvořím až dvě sta generací, ze kterých pak prostřednictví RunwayML vytvářím pohyblivé obrázky. A tak se dostáváme k prvnímu singlu s názvem Secrets of Kandahar - Circa 1923. Kde s verzí Gen-2 vytvářím kompletní videoklip a umísťuji jej na svůj YouTube kanál.

Vítejte ve fantastickém světě Kandaháru. Hudební video realizované za pomoci nástrojů umělé inteligence, kde se nemyslitelně mísí prvky dokumentárních záběrů arabské kultury s bizarně vypadající technologií, hyperkýčem, dadaismem a techno mystikou.

Jelikož mám za sebou dvě umělecké Školy Aplikované Kybernetiky v HK, terminologie i technologie mi nedělají problém a vytvořené věci jsou už pouze záležitostí mého vlastního vkusu. Nenechte se mýlit, že všechno je jen záležitostí promtů. Dost často sahám do Photoshopu, abych pro nástroj Image to Video vytvořil ideální předlohu rovné mé představě a někdy to sakra bolí. Něž takový záběr použiji předchází mu asi kolem padesáti generací, než jsem spokojený.

Z toho důvodu jsem si spočítal, že u RunwayML se mi vyplatí jít do verze Unlimited a tak dávám poměrně slušnou sumu na oltář AI, aby se mi dařili opravdu kvalitní výstupy. U MidJourney a Udio je to podobné, a tak jsem se rozhodl, že vytvořím kompletní album. Nicméně představte si, že byste měli vytvořit kompletní klip s normálním štábem a počítačovou grafikou a vytvořit něco podobného klasickou cestou. To jsou úplně jiná čísla.

AI je skvělá, ale nesmíte se bát do ni neinvestovat čas a peníze.

V Udio Beta projíždím ostatní autory, a koukám na jejich prompty Text to Music a zjišťuji, že je dobré přesně specifikovat hudební nástroje, či syntetizátory, požívat kombinovaní pomocí „Synthwave& Synthpop“ - což není nikde uváděno. Užít „In style of *jméno umělce*“ a používat remixy Inpaint fází skladby, které se mi nezdají. Také je dobré použít konkrétní syntetizátory a jmenovat je jako "synthetizer OB-X, synthetizer CS-80". Rytmičtější skladby mohou mít 128 až 140 BPM, tedy počet úderů za minutu - tepovka, což je dobré jmenovat. Také je dobré specifikova náladovost skladby "playful, passionate, warm, lush, uplifting, lonely" atd. Pokud chcete ovládat zpěv použijte Custom nebo Autogenerated lyrics - "Female/Male vocalist". Opět k dobrému kusu docházím kolem osmdesáti generací, než tam to světýlko cítím.

Díky zpětné vazbě se taky dozvídám, že existuje něco jako Tísnivé Údolí, a že některé neopodstatněné hejty a zpětné vazby jsou způsobené prostě tím, že téměř dokonalé generace vlastně lidi děsí. Což právě není můj případ naštěstí, a proto je dobré na to pamatovat a umělecky se k tomu postavit tím, že některé věci prostě přiznávám. Mimochodem tento fenomén nám pomáhá přežít, nacházet kazy ve vzoru a zkoumat nesrovnalosti, či vynalézat na základně nesrovnalostí.

Nicméně zpětná vazba mě v následujícím klipu donutila vypracovat příběh a zapojit moji AI modelku jako zpěvačku. Pomocí nástroje Lalal.ai – rozdělovače zvukových stop, oddělím z Udiem vytvořené skladby samotný zpěv. Určitou stopu, pak využiji k Lip-Sync, který RunwayML Gen3-Alpha umí a tak z generovaného videa modelky vpravím do jejich rtů zpěv.

Pomocí distribučních platforem jako je DistroKid dané skladby dostanu na všechny možné hudební paltformy jako jsou.. vezmu to popořadě: Amazon, Anghami, iTunes, Apple Music, MediaNet, Boomplay, Deezer, Instagram, Facebook, Adaptr, Flo, YouTube Music, iHeartRadio, Clar Música, JooBox, Kuck Media, NetEase, Qobuz, Pandora, Saavn, Spotify, Tencentu, Tridal, TikTok Music. A odnož distribuční platfomy DistroVid – platforma pro hudební klipy zase na Vevo, iTunes Video, Apple Music, TikTok Music, Tridal a Boomplay.

Nakonec to nejzajímavější, co se distribuce týče je dostat takové dílo na nějaký festival. S tím pomůže platforma Filmfreeway.com, kde se vyplatí zaplatit si zlaté členství a po zadání AI do vyhledávání si vybrat festival, kde s trochou štěstí vaše dílo vyberou a zaplatit za přihlášku o něco méně. Já se osobně těším na festival Czech International AI_Film Festival v Praze, které bude letos po třetí v kině Atlas. Popřejte mi štěstí.

Ať se vám to líbí, nebo ne, (r)evoluce ve filmové tvorbě je tady a je poháněna umělou inteligencí.

Jestli jste všestranný umělec, který raději pracuje sám AI se stane vaším nejlepším kolegou, který enormně zvýší vaši produktivitu a doslova zvládne vycucnout veškeré vaše nápady a inspirace. Proto si myslím, že nastává doba „malých“ šikovných lidí, kteří tak dokáží vytvořit opravdu originální a kvalitní díla v nezvykle velkém množství. Já už přidám jen poslední dílo, kterým je singl Giants a na klipu ještě pracuji.

Jak řekl jeden můj profesor: „Nikdy nevíte, kam vás vítr zavane, a proto se učte všechno.“ A měl pravdu, protože nutná dávka obecné přehledu, dějin umění a termínů je něco, co vás oddělí od ostatních, co pracují s AI stejně jako u vytváření her potřebujete nutné znalosti pokročilé matematiky, protože AI za vás nápad nevymyslí, ale rozhodně ho pomůže vydatně realizovat a já se sní snad jednou dostanu k Dark Disharmony 2. Já už se pomalu teď stávám díky AI Meta-člověkem (kterým se zabýváme na naší výstavě), protože už teď jsem díky ní odstranil spoustu mých nedostatků jako jsou jazyková bariéra, slabé schopnosti programování i nedostatek času na kvalitní tvorbu, který rozděluju i mezi starost o svou rodinu. I tak se mi daří najít čas a posunout tuto AI artovou tvorbou o kousek dál, jak v novém klipu s názvem Saucers.