RunwayML - základy práce generování videí s metodou text to video s verzí Gen3- Alpha. 

Ještě něž vás uvedu do zádkladů podněcovaní a práci s umělou inteligencí pro generování filmu a videa s RunwayML, řekněme si nejdříve několik důležitých faktů a tipů. Jak si můžeme všimnout zkratky v názvu ML, což znamená strojové učení (machine learning) Runway je jedna z nejlepší platforem, která se velmi rychle vyvíjí. To znamená, že pokud nezvládla udělat nějaký záběr dnes, zkuste to zítra, možná už se to naučila. Dalším postřehem ke konzistentnosti vašich videí je možnost používat obrázkové výzvy, kde zadáte první a poslední snímek záběru a Runway vám generuje to mezi obrázky na základě vašeho textového podnětu. Tím se můžete dostat k velice konkrétním realizací vaší představy nebo scénáře.

Pro generování obrázkových podnětů stále doporučuju online platformu MidJourney - návod na blogu najdete. Stejně jako MJ, Runway nechápe gramatiku, takže s vysvětlováním pomocí gramatických oslích můstků typu na "začátku udělej něco a pak udělej tohle" příliš nepochodíte. Její NLP (Natural Language Processing) může porozumět textu na základě analýzy vstupu pro extrakci významu, klíčových slov nebo sentimentu.

Další praktickou informací, která vám ušetří dost peněz je, že na hraní tu není moc prostor. Hraní je za paywallem. Nemá smysl kupovat si kredity, protože ty vystřílíte zázračně rychle. Nekupujte si kredity. Jestli to s Runway myslíte vážně, zaplaťte si Unlimited přístup na celý rok a naučte se s ní dokonale. Garantuju vám, že nebudete mít okousané nehty od toho, jestli se generování povede (pro mě je jeden úspěšný záběr 10-20 generování) a navíc můžete používat režim Gen3-Turbo, což ušetří i spoustu času. Toť zatím vše pojďme se podívat, jak funguje promting. 

K zadávání obvykle raději používám překladač Deepl, potom si přeložené zadání upraví do pro AI srozumitelnější iterace.

Gen-3 Alpha má poměrně nekonečný potenciál, abyste mohli realizovat své umělecké vize. Vytvoření silného podnětu- promptu, který zprostředkuje scénu, je klíčem ke generování videa v souladu s vaším konceptem.
Tento článek se zabývá různými ukázkovými strukturami, klíčovými slovy a tipy na podněty, které vám pomohou začít pracovat s Gen-3 Alpha. Jedná se pouze o příklady - nebojte se při uvádění svých nápadů do života experimentovat.

Struktury podnětů

Základní textový podnět

Pouze textové podněty jsou nejúčinnější, pokud se řídí jasnou strukturou, která rozděluje podrobnosti o scéně, objektu a pohybu kamery do samostatných částí. Použití následující struktury by mělo pomoci zajistit konzistentní výsledky při seznamování se s aplikací Gen-3 Alpha:

[pohyb kamery]: [vytvoření scény]. [doplňující informace].
[camera movement]: [establishing scene]. [additional details].

Při použití této struktury by vaše výzva pro ženu stojící v tropickém deštném pralese mohla vypadat takto:

Statický záběr z nízkého úhlu: Kamera je natočena pod úhlem na ženu v oranžovém oblečení, která stojí v tropickém deštném pralese s barevnou flórou. Dramatická obloha je zatažená a šedá.
Low angle static shot: The camera is angled up at a woman wearing all orange as she stands in a tropical rainforest with colorful flora. The dramatic sky is overcast and gray.

Opakování nebo posilování klíčových slov a myšlenek v různých částech podnětu může pomoci zvýšit efekt ve výstupu. Můžete například poznamenat, že kamera rychle prolétá scénami v hyper-rychlém záběru. Snažte se, aby váš podnět byl zaměřen na to, co by mělo být ve scéně. Například byste mohli vyzvat k zobrazení jasné oblohy spíše než oblohy bez mraků.

Základní výzva obrázek + text

Při použití vstupních obrázků se zaměřte spíše na popis pohybu, který byste chtěli na výstupu vidět, než na obsah obrázku. Například při použití vstupního obrázku, který obsahuje postavu, můžete zkusit následující výzvu:

Subjekt vesele pózuje, její ruce tvoří znak míru.
Subject cheerfully poses, her hands forming a peace sign.

Použití textového podnětu, který se výrazně liší od vstupního obrázku, může vést k neočekávaným výsledkům. Mějte na paměti, že složité přechody scén mohou vyžadovat více iterací k dosažení požadovaného výstupu. 

Iterace je proces opakování určitého postupu nebo operace, obvykle za účelem přiblížení se k nějakému cíli nebo dosažení určitého výsledku

Ukázkové výzvy

Plynulé přechody

Nepřetržité záběry FPV v hyperrychlosti: Kamera plynule prolétá ledovcovým kaňonem do zasněné krajiny mraků.
Continuous hyperspeed FPV footage: The camera seamlessly flies through a glacial canyon to a dreamy cloudscape.

Pohyb kamery

Svítící oceán v noci s bioluminiscenčními tvory pod vodou. Kamera začíná makro záběrem svítící medúzy zblízka a poté se rozšíří a odhalí celý oceán osvětlený různými svítícími barvami pod hvězdnou oblohou. Pohyb kamery: Začněte makro záběrem medúzy a poté se jemně stáhněte dozadu a nahoru, abyste ukázali svítící oceán.
A glowing ocean at night time with bioluminescent creatures under water. The camera starts with a macro close-up of a glowing jellyfish and then expands to reveal the entire ocean lit up with various glowing colors under a starry sky. Camera Movement: Begin with a macro shot of the jellyfish, then gently pull back and up to showcase the glowing ocean.

Textové titulní karty

Titulní obrazovka s dynamickým pohybem. Scéna začíná u stěny pokryté barevnými barvami. Náhle se na zeď vylije černá barva a vytvoří slovo „Runway“. Kapající barva je detailní a texturovaná, vycentrovaná, vynikající filmové osvětlení.
A title screen with dynamic movement. The scene starts at a colorful paint-covered wall. Suddenly, black paint pours on the wall to form the word "Runway". The dripping paint is detailed and textured, centered, superb cinematic lighting.

 

Klíčová slova podnětů

Klíčová slova mohou být přínosná pro dosažení specifických stylů ve vašem výstupu. Zajistěte, aby klíčová slova byla v souladu s vaší celkovou výzvou, díky čemuž budou ve vašem výstupu lépe patrná.

Například zařazení klíčových slov o struktuře pleti by nebylo přínosné pro širokoúhlý záběr, kde kamera není úzce zaměřena na obličej. Širokoúhlému záběru by naopak mohly prospět další podrobnosti o prostředí.

Při zachování této soudržnosti jsou níže uvedena různá klíčová slova, se kterými můžete při přípravě podnětů experimentovat.

Úhly záběru kamery

Optika objektivu

Nízký úhel

Low angle

RunwayML - klíčové slovo: low angle, nízký úhel (úhly záběru kamery)

Vysoký úhel

High angle

RunwayML - klíčové slovo: high angle, vysoký úhel (úhly záběru kamery)

Nadhled

Overhead

RunwayML - klíčové slovo: overhead, nadhled (úhly záběru kamery)

Pohled první osoby

FPV

RunwayML - klíčové slovo: FPV, pohled z první osoby (úhly záběru kamery)

Záběr z ruky

Hand held

RunwayML - klíčové slovo: hand held, z ruky (úhly záběru kamery)

Širokoúhlý

Wide angle

RunwayML - klíčové slovo: Širokoúhlý, Wide angle (úhly záběru kamery)

Detail - Z blízka

Close up

RunwayML - klíčové slovo: close up, detail, zblízka (úhly záběru kamery)

Detail - Makro

Macro cinematography

RunwayML - klíčové slovo: Makro (úhly záběru kamery)

Zezadu

Over the shoulder

RunwayML - klíčové slovo: zezadu, over the shoulders (úhly záběru kamery)

Sledování objektu

Tracking

RunwayML - klíčové slovo: Sledování objektu, Tracking (úhly záběru kamery)

Široký záběr

Establishing wide

RunwayML - klíčové slovo: Široký záběr, Establishing wide (úhly záběru kamery)

Perspektiva lidského oka

50mm lens

RunwayML - klíčové slovo: 50 mm lens (úhly záběru kamery)

Akční kamera -selfie

SnorriCam

RunwayML - klíčové slovo: akční kamera, snorricam, gopro (úhly záběru kamery)

Dokumentární

Realistic documentary

RunwayML - klíčové slovo: Dokumentární, Realistic documentary, (úhly záběru kamery)

Domácí video

Camcoder

RunwayML - klíčové slovo: DV kamera, camcoder, (úhly záběru kamery)

Styl osvětlení

Rozptýlené světlo

Diffused lighting

 

RunwayML - klíčové slovo: (osvětlení)

Silueta

Silhouette

RunwayML - klíčové slovo: silueta, Silhouette (osvětlení)

Odlesk objektivu

Lens flare

RunwayML - klíčové slovo: Odlesk objektivu, Lens flare (osvětlení)

Svícení zezadu

Back lit

RunwayML - klíčové slovo: Svícení zezadu, Back lit (osvětlení)

Nasvícení z boku

Side lit

RunwayML - klíčové slovo: Nasvícení z boku, Side lit (osvětlení)

Barevný filtr

[color] gel lighting

RunwayML - klíčové slovo: Barevný filtr, [color] gel ighting (osvětlení)

Ben8tsk0 sv2tlo

Venetian lighting

RunwayML - klíčové slovo: benátské světlo, venetian light (osvětlení)

Rychlost pohybu

camera movement

Velmi rychlý pohyb 

Dynamic motion

 

RunwayML - klíčové slovo: dynamic motion, dynamický (rychlost pohybu a času)

Zpomalený

Slow motion

RunwayML - klíčové slovo: slow motion, zpomalený (rychlost pohybu a času)

Rychlý pohyb

Fast motion

RunwayML - klíčové slovo: Fast motion (rychlost pohybu a času)

Časosběr

Timelapse

RunwayML - klíčové slovo: (rychlost pohybu a času)

Typ pohybu (vzhledem k objektu)

movement type

Růst

Grows

 

RunwayML - klíčové slovo: Zjevení, Emerges (typ pohybu)

Zjevení

Emerges

RunwayML - klíčové slovo: Zjevení, objevení, Emerges (typ pohybu)

Výbuch

Explodes

RunwayML - klíčové slovo: Výbuch, Explodes (typ pohybu)

Vznášení

Ascends

RunwayML - klíčové slovo: Vznášení ,Ascends, létání (typ pohybu)

Vlnící se

Undulates

RunwayML - klíčové slovo: vlnící se, undulates (typ pohybu)

Deformace

Warps

RunwayML - klíčové slovo: Deformace, Warps (typ pohybu)

Proměna

Transforms

RunwayML - klíčové slovo: Proměna, Transforms (typ pohybu)

Zvlnění

Ripples

RunwayML - klíčové slovo: Zvlnění, Ripples (typ pohybu)

Roztříštění

Shatters

RunwayML - klíčové slovo: Roztříštění, Shatters (typ pohybu)

Rozložení

Unfolds

RunwayML - klíčové slovo: Rozložení, Unfolds (typ pohybu)

Vír

Vortex

RunwayML - klíčové slovo: Vortex, Vír (typ pohybu)

Styl a Estetika

Náladový

Moody

 

RunwayML - klíčové slovo: Náladový, Moody (styl a estetika)

Dramatický

Cinematic

RunwayML - klíčové slovo: Dramatický, Cinematic (styl a estetika)

Duhový

Iridiscent

RunwayML - klíčové slovo: duhový, Iridiscent (styl a estetika)

Staré domácí video, retro

Home video a VHS

RunwayML - klíčové slovo: (styl a estetika)

Poruchový

Glitchcore

RunwayML - klíčové slovo: glitch, porucha obrazu (styl a estetika)

Styly textu (font)

Tučně

Bold

 

RunwayML - klíčové slovo: Tučně, Bold (font)

Pouliční grafika

Graffiti

RunwayML - klíčové slovo: Pouliční grafika, Graffiti (font)

Neonové fluorescenční lampy

Neon

RunwayML - klíčové slovo: Neonové fluorescenční lampy, Neon (font)

Univerzita, sport

Varsity

RunwayML - klíčové slovo: Univerzita, sport, varsity (font)

Výšivka

Ebroidery

RunwayML - klíčové slovo: Výšivka, Ebroidery (font)

Zástupné symboly

v zalomených závorkách []

Pro vytváření vlastních předvoleb, které lze snadno opakovaně použít, můžete také část výzvy umístit do závorek a nahradit text jedním kliknutím. Například:

Fotoaparát plynule prolétne [místo předmětu].
The camera seamlessly flies through a [subject location]

Po uložení jako předvolba vám to umožní 1 kliknutím nahradit oblast závorek a začít psát text, kdykoli ji znovu použijete.