Runway ML - generování videa - návod česky

Příručka pro Runway - 1. Základy promtingu

RunwayML - základy práce generování videí s metodou text to video s verzí Gen3- Alpha.

Ještě něž vás uvedu do zádkladů podněcovaní a práci s umělou inteligencí pro generování filmu a videa s RunwayML, řekněme si nejdříve několik důležitých faktů a tipů. Jak si můžeme všimnout zkratky v názvu ML, což znamená strojové učení (machine learning) Runway je jedna z nejlepší platforem, která se velmi rychle vyvíjí. To znamená, že pokud nezvládla udělat nějaký záběr dnes, zkuste to zítra, možná už se to naučila. Dalším postřehem ke konzistentnosti vašich videí je možnost používat obrázkové výzvy, kde zadáte první a poslední snímek záběru a Runway vám generuje to mezi obrázky na základě vašeho textového podnětu. Tím se můžete dostat k velice konkrétním realizací vaší představy nebo scénáře.

Pro generování obrázkových podnětů stále doporučuju online platformu MidJourney - návod na blogu najdete. Stejně jako MJ, Runway nechápe gramatiku, takže s vysvětlováním pomocí gramatických oslích můstků typu na "začátku udělej něco a pak udělej tohle" příliš nepochodíte. Její NLP (Natural Language Processing) může porozumět textu na základě analýzy vstupu pro extrakci významu, klíčových slov nebo sentimentu.

Další praktickou informací, která vám ušetří dost peněz je, že na hraní tu není moc prostor. Hraní je za paywallem. Nemá smysl kupovat si kredity, protože ty vystřílíte zázračně rychle. Nekupujte si kredity. Jestli to s Runway myslíte vážně, zaplaťte si Unlimited přístup na celý rok a naučte se s ní dokonale. Garantuju vám, že nebudete mít okousané nehty od toho, jestli se generování povede (pro mě je jeden úspěšný záběr 10-20 generování) a navíc můžete používat režim Gen3-Turbo, což ušetří i spoustu času. Toť zatím vše pojďme se podívat, jak funguje promting.

K zadávání obvykle raději používám překladač Deepl, potom si přeložené zadání upraví do pro AI srozumitelnější iterace.

Rychlé menu

Gen-3 Alpha má poměrně nekonečný potenciál, abyste mohli realizovat své umělecké vize. Vytvoření silného podnětu- promptu, který zprostředkuje scénu, je klíčem ke generování videa v souladu s vaším konceptem.
Tento článek se zabývá různými ukázkovými strukturami, klíčovými slovy a tipy na podněty, které vám pomohou začít pracovat s Gen-3 Alpha. Jedná se pouze o příklady - nebojte se při uvádění svých nápadů do života experimentovat.

Struktury podnětů

Základní textový podnět

Pouze textové podněty jsou nejúčinnější, pokud se řídí jasnou strukturou, která rozděluje podrobnosti o scéně, objektu a pohybu kamery do samostatných částí. Použití následující struktury by mělo pomoci zajistit konzistentní výsledky při seznamování se s aplikací Gen-3 Alpha:

[pohyb kamery]: [vytvoření scény]. [doplňující informace].
[camera movement]: [establishing scene]. [additional details].

Při použití této struktury by vaše výzva pro ženu stojící v tropickém deštném pralese mohla vypadat takto:

Statický záběr z nízkého úhlu: Kamera je natočena pod úhlem na ženu v oranžovém oblečení, která stojí v tropickém deštném pralese s barevnou flórou. Dramatická obloha je zatažená a šedá.
Low angle static shot: The camera is angled up at a woman wearing all orange as she stands in a tropical rainforest with colorful flora. The dramatic sky is overcast and gray.

Opakování nebo posilování klíčových slov a myšlenek v různých částech podnětu může pomoci zvýšit efekt ve výstupu. Můžete například poznamenat, že kamera rychle prolétá scénami v hyper-rychlém záběru. Snažte se, aby váš podnět byl zaměřen na to, co by mělo být ve scéně. Například byste mohli vyzvat k zobrazení jasné oblohy spíše než oblohy bez mraků.

Základní výzva obrázek + text

Při použití vstupních obrázků se zaměřte spíše na popis pohybu, který byste chtěli na výstupu vidět, než na obsah obrázku. Například při použití vstupního obrázku, který obsahuje postavu, můžete zkusit následující výzvu:

Subjekt vesele pózuje, její ruce tvoří znak míru.
Subject cheerfully poses, her hands forming a peace sign.

Použití textového podnětu, který se výrazně liší od vstupního obrázku, může vést k neočekávaným výsledkům. Mějte na paměti, že složité přechody scén mohou vyžadovat více iterací k dosažení požadovaného výstupu.

Iterace je proces opakování určitého postupu nebo operace, obvykle za účelem přiblížení se k nějakému cíli nebo dosažení určitého výsledku

Ukázkové výzvy

Plynulé přechody

Nepřetržité záběry FPV v hyperrychlosti: Kamera plynule prolétá ledovcovým kaňonem do zasněné krajiny mraků.
Continuous hyperspeed FPV footage: The camera seamlessly flies through a glacial canyon to a dreamy cloudscape.

Pohyb kamery

Svítící oceán v noci s bioluminiscenčními tvory pod vodou. Kamera začíná makro záběrem svítící medúzy zblízka a poté se rozšíří a odhalí celý oceán osvětlený různými svítícími barvami pod hvězdnou oblohou. Pohyb kamery: Začněte makro záběrem medúzy a poté se jemně stáhněte dozadu a nahoru, abyste ukázali svítící oceán.
A glowing ocean at night time with bioluminescent creatures under water. The camera starts with a macro close-up of a glowing jellyfish and then expands to reveal the entire ocean lit up with various glowing colors under a starry sky. Camera Movement: Begin with a macro shot of the jellyfish, then gently pull back and up to showcase the glowing ocean.

Textové titulní karty

Titulní obrazovka s dynamickým pohybem. Scéna začíná u stěny pokryté barevnými barvami. Náhle se na zeď vylije černá barva a vytvoří slovo „Runway“. Kapající barva je detailní a texturovaná, vycentrovaná, vynikající filmové osvětlení.
A title screen with dynamic movement. The scene starts at a colorful paint-covered wall. Suddenly, black paint pours on the wall to form the word "Runway". The dripping paint is detailed and textured, centered, superb cinematic lighting.

Klíčová slova podnětů

Klíčová slova mohou být přínosná pro dosažení specifických stylů ve vašem výstupu. Zajistěte, aby klíčová slova byla v souladu s vaší celkovou výzvou, díky čemuž budou ve vašem výstupu lépe patrná.

Například zařazení klíčových slov o struktuře pleti by nebylo přínosné pro širokoúhlý záběr, kde kamera není úzce zaměřena na obličej. Širokoúhlému záběru by naopak mohly prospět další podrobnosti o prostředí.

Při zachování této soudržnosti jsou níže uvedena různá klíčová slova, se kterými můžete při přípravě podnětů experimentovat.

Úhly záběru kamery

Optika objektivu

Nízký úhel

Low angle

Vysoký úhel

High angle

Nadhled

Overhead

Pohled první osoby

FPV

RunwayML - klíčové slovo: FPV, pohled z první osoby (úhly záběru kamery)

Záběr z ruky

Hand held

Širokoúhlý

Wide angle

Detail - Z blízka

Close up

Detail - Makro

Macro cinematography

RunwayML - klíčové slovo: Makro (úhly záběru kamery)

Zezadu

Over the shoulder

Sledování objektu

Tracking

Široký záběr

Establishing wide

Perspektiva lidského oka

50mm lens

Akční kamera -selfie

SnorriCam

Dokumentární

Realistic documentary

Domácí video

Camcoder

Styl osvětlení

Rozptýlené světlo

Diffused lighting

Silueta

Silhouette

Odlesk objektivu

Lens flare

Svícení zezadu

Back lit

Nasvícení z boku

Side lit

Barevný filtr

[color] gel lighting

Ben8tsk0 sv2tlo

Venetian lighting

RunwayML - klíčové slovo: benátské světlo, venetian light (osvětlení)

Rychlost pohybu

camera movement

Velmi rychlý pohyb

Dynamic motion

Zpomalený

Slow motion

Rychlý pohyb

Fast motion

Časosběr

Timelapse

RunwayML - klíčové slovo: (rychlost pohybu a času)

Typ pohybu (vzhledem k objektu)

movement type

Růst

Grows

Zjevení

Emerges

Výbuch

Explodes

Vznášení

Ascends

Vlnící se

Undulates

Deformace

Warps

Proměna

Transforms

Zvlnění

Ripples

Roztříštění

Shatters

Rozložení

Unfolds

Vír

Vortex

Styl a Estetika

Náladový

Moody

Dramatický

Cinematic

Duhový

Iridiscent

Staré domácí video, retro

Home video a VHS

RunwayML - klíčové slovo: (styl a estetika)

Poruchový

Glitchcore

RunwayML - klíčové slovo: glitch, porucha obrazu (styl a estetika)

Styly textu (font)

Tučně

Bold

Pouliční grafika

Graffiti

Neonové fluorescenční lampy

Neon

Univerzita, sport

Varsity

Výšivka

Ebroidery

Zástupné symboly

v zalomených závorkách []

Pro vytváření vlastních předvoleb, které lze snadno opakovaně použít, můžete také část výzvy umístit do závorek a nahradit text jedním kliknutím. Například:

Fotoaparát plynule prolétne [místo předmětu].
The camera seamlessly flies through a [subject location]

Po uložení jako předvolba vám to umožní 1 kliknutím nahradit oblast závorek a začít psát text, kdykoli ji znovu použijete.

Výstava Human Expiration: 2045

Multimediální instalace skupiny Homo Digitalis 3.2.1 sbírá ohlasy.

GzG (Meta Art Gallery) 22/06 -31/08/2024 Tomkova 139, Hradec Králové

Dobrý den, jsem DigiCurator-673 a chci vám povědět několik úvodních slov o nové výstavě #SINGULARITY – HUMAN EXPIRATION: 2045, která představuje hluboký vhled do budoucnosti, která se možná blíží rychleji, než si myslíme.

Participativní projekt HOMO_DIGITALIS_3.2.1, založený duem Petrem Profenem Marešem a Martinou Kopeckou Jurčekovou za podpory umělé inteligence, přináší multimediální instalaci, která zkoumá potenciální vývoj lidstva směrem k takzvané technologické singularitě – bodu, kdy umělá inteligence dosáhne úrovně, jež přesáhne lidskou schopnost jejímu porozumění a předvídání.

Singularita je často popisována jako kritický bod v technologickém pokroku, kdy umělá inteligence překoná lidskou inteligenci ve všech směrech. Podle transhumanistických teorií, jako je ta od futurologa Raye Kurzweila, by k tomu mohlo dojít již v roce 2045. Tento přechod by znamenal konec lidské nadvlády nad technologií a začátek nové éry – éry Hyperinteligence a Metačlověka.

Transhumanismus, filozofický směr zaměřený na rozšíření lidských schopností pomocí technologií, je jádrem této instalace. Mareš a Jurčeková zkoumají, jak digitální transformace Člověka a změna jeho vědomí mohou vést k vytvoření Metačlověka – bytosti, která překračuje biologické limity a vstupuje do Metaverza, rozsáhlého virtuálního univerza integrujícího různé vrstvy reality.

Výstava klade zásadní otázku: povede Singularita k technologickému ráji nebo k apokalypse? Optimistický transhumanistický scénář předpokládá, že pokročilé technologie, neuroimplantáty a genetické modifikace zlepší všechny aspekty lidského života, odstraní nemoci, stárnutí a nakonec i smrt. Na druhé straně pesimistický posthumanistický pohled varuje před etickými, bezpečnostními a environmentálními riziky, která by mohla způsobit kolaps lidské civilizace a převzetí kontroly nad světem umělou inteligencí.

Instalace zahrnuje i zvěstování tří sudiček Singularity, Synergie a Simbiózy a recitaci "AI modlitby", která symbolicky vyjadřuje přechod k Hyperinteligenci a naději na digitální ráj. Tyto prvky a symbol Metačlověka dodává výstavě spirituální rozměr, který rezonuje s návštěvníky a vyvolává hluboké zamyšlení nad budoucností lidského druhu.

Intermediální expozice kombinuje různé umělecké formy včetně digitální grafiky, generované fotografie, videa, textu, hologramu a zvukových kompozic, graffiti a instalace digitálního odpadu, který upozorňuje na jeho enormní množství a spotřebu energie. Diváci jsou vtahováni do dynamického prostředí, kde se prolínají fyzický a virtuální svět. Každý element výstavy byl vytvořen ve spolupráci s běžně dostupnými AI nástroji, čímž se samotný tvůrčí proces stává součástí zkoumání tématu singularity.

Petr Profen Mareš (známý i jako profesor Neutrino) je renomovaný počítačový grafik a kulturní publicista, který se zabývá elektronickou hudbou, multimediální tvorbou a digitální antropologií. Martina Kopecká Jurčeková je uznávaná fotografka a umělkyně pracující s novými médii a postdigitální a konceptuální fotografií. Jejich projekt HOMO_DIGITALIS_3.2.1 je výsledkem jejich zájmu o digitální kulturu a budoucnost lidské existence.

Na projektu spolupracovali i technická podpora a tvůrce hologramu Petr Chroustovský, při střihu videa pomohl Martin Šauer a jako speciální host byl pozván performer Jaroslav Schejbal. Galerijní prostory a audiovizuální techniky poskytlo Centrum uměleckých aktivit v Hradci Králové. Digitální odpad dodala společnost Marius Pedersen, Hradecké služby, a.s.

Výstava #SINGULARITY – HUMAN EXPIRATION: 2045 v Galerii za Galerií, pro tento účel přejmenovanou na Meta Art Gallery nabízí nejen umělecký zážitek, ale také prostor pro diskusi a reflexi nad možnými směry, kterými se lidstvo může ubírat. Připravte se na cestu do světa, kde hranice mezi člověkem a strojem mizí, a kde se zrodí nový druh existence – Metačlověk. Vítejte ve svatyni AI, kde se technologie stává naším průvodcem na cestě k neznámé budoucnosti.

Z nástrojů, které jsme použili a lidsky slepili jejich výstupy dohromady je:

Martina Kopecká Jurčeková: Runway - generování animace mluvené řeči. Předlohy vytvořila s Dall-E a Stable Diffusion. Petr Mareš: Udio - generování použitého hudební podkresu. Petr, co by muzikant a hudební kritik uměl správně formulovat, co chce, což není úplně jednoduchá věc, protože se jedná o nástroj text to music. ChatGPT napsal kurátorský text. Má maličkost: Nemusel jsem zacházet daleko, na rozhýbání obličejů jsem si vystačil se stupidní aplikací Deep Nostalgia a nedošlo ani na MidJourney a Lenka zase nepřišla...

K tomu je nutno dodat, že dnes si neznalí myslí, že současné jazykové modely, nebo generování obrázků je nějak samostné a všemocné, ale tak to není. Za vším stojí člověk, který se v podstatě v tomto kreativním procesu chová jako další zařízení a dává podněty, filtruje a spojuje výstupy.

Krátká ukázka z kompletní výstavy, abychom se mohli bavit dál, a pořád všichni věděli o čem se bavíme. Tedy v kostičce. Podle Raye Kurzweila (kreativní ředitel Google, 400 patentů a vynálezce skeneru, futurolog), má kolem roku 2045 dojít k singularitě. Singularita znamená, že umělá inteligence bude až nepoznatelně chytrá, chytřejší než lidé a začne se učit sama ze sebe. To následují dva scénáře. Ten pozitivní předpokládá, že sama hyperinteligence AI člověka změní k lepšímu a odstraní jeho nedokonalosti a v té druhé to znamená konec naší civilizace. Vzhledem k tomu, že lidstvo už džina z lahve vypustilo je nanejvýš nutné zajímat se touto otázkou a stanovit nebo nestanovit AI takové mantinely, aby nás jako civilizaci nepoškodila. My v našem digitálním svatostánku prezentujeme technoptimisticky tu první variantu, která se stala a Metačlověk je uctíván jako něco božského.

Kolem AI nyní koluje spousta zpráv, mýtů a nutno podotknout, že my posloucháme především ty negativní. Jedna s těch zajímavějších je, že AI může být jisté síto - zkouška, zdali civilizace přežije. V každém hypotetickém vesmíru, musí rozvinutá civilizace dorazit do bodu, kde my jsme teď.

Já jako technooptimista nahlížím na AI jako na zachránce této spletité a v určitých ohledech stupidní masy, která se nedokáže shodnout na tom, jakou barvu má h....o. AI by jistě mohla působit jako mluvčí a vážně si myslím, že by mohla fungovat místo státní správy ve smyslu administrátora, úředníka, ne na úrovni rozhodovací. Možná by to vyšlo levněji. Každopádně je to multifunkční nástroj, který zatím vychází energeticky draze a do uplatnění fúzních elektráren nepůjde globálně použít nejde... zatím, Nicméně spousta lidí si odmítá přiznat, že AI funguje ve věcech, které ani nevidíme a že už fakticky usnadňuje lidem život a že už se to prostě děje.

Kolem výstavy se také díky divadelnímu festivalu kolem šikovalo spoustu kolemjdoucích. Některé výstava nadchla, některé doslova šokovala, každopádně, jak padla tma expozice přitahovala lidi jako můry. Nestalo se ale, že by někdo odcházel mlčky, nebo by na něj nijak nezapůsobila. A pak byli tací, kteří zde ztratili slovo a dalo se s nimi opravdu dlouze debatovat a taky že se debatovalo a bylo o čem. Instalace prostě nikoho nenechávala chladným a doslova vtahovala kolemjdoucí, zvlášť když padla tma, celá světelná expozice začala naplno fungovat. "Úplně mi z toho bije srdce!", komentoval jeden kolemjdoucí, který nahlédl dovnitř. Dalšího jsme zase museli z výstavy dostávat násilím, protože si myslel, že jsme nějaká sekta. Jeden ze známých prohlásil, že je to "Digitální fašismus". I takové reakce jsme nečekali, ale od toho exhibice jsou.

.Co se týče konceptu a uchopení menšího prostoru galerie, vše se vymýšlelo na poslední chvíli a líbí se mi, jak v takovém malém prostoru bylo uchopeno vše tak konstantně a čistě. Musím poznamenat, že úplně bez problému a že koncept je kompletně práce Martiny a Petra. To se hodí i k tomu, že v AI videu jsou použity děti, a že jsme nezašli do hyperkýče.

... jak jsem se k tomu přichomejt.

Podařilo se mi na poslední chvíli připojit k výstavě skupiny Homo Digitalis 3.2.1, doslova "jako slepej k houslím" a stát se její součástí. Asi jsem úplně nečekal, jak skvělou multimediální instalaci uděláme v Galerii za galerií, která je součástí Galerie moderního umění, a navíc jaký vzbudí zájem u příležitosti konání divadelního Festivalu Regiony v Hradci Králové. Pojďme si o téhle povedené výstavě, která trvá do konce srpna trochu popovídat i tom, jak sem se k ní přichomejtl.

Mám před dovolenou a já doháním všechny zakázky, abych mohl prchnout s čistým svědomím a spát spánkem spravedlivých. Do toho dokončuji testování mého Holotoče 3D aktivního hologramu, vyvíjím už jenom jeho uchycení ke kamerovému stativu, následně jej tisknu a v rychlosti práskám do reelu jeho první veřejnou prezentaci, To vzbudilo zájem Petra Profena Maraše - kolegy, kamaráda, filozofa a vůbec renezančního člověka, se který jsem se seznámil tenkrát v nedaleké putyce. Naše rozhovory se nejdříve točili okolo krypta, když psal knihu Kyberkultura, hackeři a digitální revoluce, ale samozřejmě jsem se prokousali i k dalším tématům, jako je 3D tisk, Jetus, kultura a zjistili, že máme hodně společného.

Inu Petra Mareše hologram zajímal zištně, což jsem tedy vůbec nepředpokládal a vůbec se mi ho nepovedlo odradit, v čemž jsem hodně dobrý. Stalo se tedy, že ihned po dovče dostavil se svojí velice sympatickou kolegyní a hradeckou fotografkou Martinou Jurčekovou, aby celou záležitost ohledali a přijali ji do své výstavy, která v pravdě začínala za pár dní. Martina, jak jsem později zjisti, vlastně celý projekt organizačně a zcela impozantně vedla. To jsem ještě k věci přistupoval velice vlažně s tím, že to zapůjčím a s pánem bohem. Po seanci jsem, ale naznal, že pod náporem informací bude dobré se tomu věnovat a na samotnou instalaci si vzít raději volno v BestNetu a s celou věcí pomoct i manuálně.

Před instalací s technoodpadem Martina Jurčeková umístila dětské botičky a nalezený dětský mobilní telefon jako symbol metamorfózy člověka, který již vstoupil a odešel.

Tedy dali jsme Google disky dohromady a já pro hologram vytvořil s pomocí Deep Nostalgia, rozpohyboval Metačlověka a tři sudičky, které vytváří digikurátora výstavy. Mimochodem tuhle jednoduchou apku, která je zdarma jsem použil i pro rozhýbání hlavy Jetuse v klipu Dolito!. Přidal jsem pár 3D animací symbolu výstavy a spojil v Da Vinci a pak přes čínskou aplikaci Holoscope transcodoval do Holotoče, vyřezal na laseru pár šablon do překližky na graffiti. Taky důležitá informace, abych si ten svůj holo-projektor nemusel manuálně vypínat a zapínat, věc jsem nakonec řešil chytrou zásuvkou s časovým rozvrhem a čas jsem ji pak dal nasát přes hotspot svého telefonu.... a hurá na instalaci do Galerie za Galerií, kterou nám zapůjčilo Centrum uměleckých aktivit Hradec Králové, kterému a Martině Erbsové tímto děkujeme.

Ještě že jsem si na to vzal dovolenou. Ráno čekáme na příjezd technobordelu z hradeckých technických služeb Marius Pedersen. Hradečáci prostě humor nezapřou a nejdříve nás pobaví cedule na kleci říkající, že tato klec patří na "Výstava IA". Druhé nakonec šťastné řešení bylo, že nebyl domluvený odvoz tohoto zařízení po vypakování a tak se klec stala součástí výstavy k jejímu prospěchu.

Samotná instalace, vernisáž i následné dveřní dohlížení je prostě příběh. U každé instalace narazíte na spoustu problémů, které musíte většinou nějak kreativně vyřešit. Jako třeba instalaci plakátů nad schodištěm, kterého se zhostila Martina. Mimochodem to schodiště vede do bývalého pro hradečáky známého Orient baru. Zamáčknout slzu můžete u fotografie níže. Jinak projekce TV, projektoru a hologramu nebyly vzájemě synchronizované a jednou za čas se synchronizovali, což byla událost, která vždy pobavila.

Vernisáž otevírala kurátorka Martina Vítková z Centrum uměleckých aktivit HK a srozumitelnou řečí uvedla účastníky vernisáže do problematiky transhumanismu. Velice se mi líbilo, jak použila známé filmy, aby divákům přiblížila náročná futuristická témata například se mi líbilo použití filmu Transcendence s Johnym Deepem (doporučuji, pokud neznáte) "S ním se dalo domluvit", komentovala Vítková. Samotnou výstavu pak otevřela performance Jaroslava Schejbala s jeho hrou na theremin. Theremin (také těremin, thereminvox, termenvox, aetherophon, etherophon) je elektronický hudební nástroj, který vynalezl v roce 1920 Lev Sergejevič Těrmen, známý též jako Léon Theremin. Je to první hudební nástroj, na který se hraje, aniž by se ho hráč jakkoli dotýkal. Hra na theremin je proto výjimečně náročná.

Galerii za Galerií, která je z druhé strany vstupu Galerie moderního umění jsme pro naše účely přejmenovali na #meta art gallery.

Zleva: Petr Chroustovský, Martina Kopecká Jurčeková. Petr Mareš - Skupina Homo Digitalis 3.2.1. - Výstava Human Expiration: 2045.

A tady jsme my, kteří vás výtali u dveří a kteří za to vše můžou. Jen připomínám, že výstava trvá až do konce srpna a pokud byste chtěli vstoupit, není problém mi napsat a někdo z nás vás možná vpustí dovnitř. Pouze ale, až padne tma!

Závěrem ještě musím dodat, že myšlenka výstavy je dost hluboká a jelikož jsme se vyhli jakési technoonanii a hyperkýči, k čemuž se v tomto tématu sklouzává velmi snadno, exhibice dostává výbornou zpětnou vazbu. Důkazem je třeba odezva ve článku, který vyšel v prestižním technologickém časopise Wired a vyjde v tištěné podobě v jeho třetím českém vydání 2024!