Příručka pro Runway - 1. Základy promtingu

RunwayML - základy práce generování videí s metodou text to video s verzí Gen3- Alpha. 

Ještě něž vás uvedu do zádkladů podněcovaní a práci s umělou inteligencí pro generování filmu a videa s RunwayML, řekněme si nejdříve několik důležitých faktů a tipů. Jak si můžeme všimnout zkratky v názvu ML, což znamená strojové učení (machine learning) Runway je jedna z nejlepší platforem, která se velmi rychle vyvíjí. To znamená, že pokud nezvládla udělat nějaký záběr dnes, zkuste to zítra, možná už se to naučila. Dalším postřehem ke konzistentnosti vašich videí je možnost používat obrázkové výzvy, kde zadáte první a poslední snímek záběru a Runway vám generuje to mezi obrázky na základě vašeho textového podnětu. Tím se můžete dostat k velice konkrétním realizací vaší představy nebo scénáře.

Pro generování obrázkových podnětů stále doporučuju online platformu MidJourney - návod na blogu najdete. Stejně jako MJ, Runway nechápe gramatiku, takže s vysvětlováním pomocí gramatických oslích můstků typu na "začátku udělej něco a pak udělej tohle" příliš nepochodíte. Její NLP (Natural Language Processing) může porozumět textu na základě analýzy vstupu pro extrakci významu, klíčových slov nebo sentimentu.

Další praktickou informací, která vám ušetří dost peněz je, že na hraní tu není moc prostor. Hraní je za paywallem. Nemá smysl kupovat si kredity, protože ty vystřílíte zázračně rychle. Nekupujte si kredity. Jestli to s Runway myslíte vážně, zaplaťte si Unlimited přístup na celý rok a naučte se s ní dokonale. Garantuju vám, že nebudete mít okousané nehty od toho, jestli se generování povede (pro mě je jeden úspěšný záběr 10-20 generování) a navíc můžete používat režim Gen3-Turbo, což ušetří i spoustu času. Toť zatím vše pojďme se podívat, jak funguje promting. 

K zadávání obvykle raději používám překladač Deepl, potom si přeložené zadání upraví do pro AI srozumitelnější iterace.

Gen-3 Alpha má poměrně nekonečný potenciál, abyste mohli realizovat své umělecké vize. Vytvoření silného podnětu- promptu, který zprostředkuje scénu, je klíčem ke generování videa v souladu s vaším konceptem.
Tento článek se zabývá různými ukázkovými strukturami, klíčovými slovy a tipy na podněty, které vám pomohou začít pracovat s Gen-3 Alpha. Jedná se pouze o příklady - nebojte se při uvádění svých nápadů do života experimentovat.

Struktury podnětů

Základní textový podnět

Pouze textové podněty jsou nejúčinnější, pokud se řídí jasnou strukturou, která rozděluje podrobnosti o scéně, objektu a pohybu kamery do samostatných částí. Použití následující struktury by mělo pomoci zajistit konzistentní výsledky při seznamování se s aplikací Gen-3 Alpha:

[pohyb kamery]: [vytvoření scény]. [doplňující informace].
[camera movement]: [establishing scene]. [additional details].

Při použití této struktury by vaše výzva pro ženu stojící v tropickém deštném pralese mohla vypadat takto:

Statický záběr z nízkého úhlu: Kamera je natočena pod úhlem na ženu v oranžovém oblečení, která stojí v tropickém deštném pralese s barevnou flórou. Dramatická obloha je zatažená a šedá.
Low angle static shot: The camera is angled up at a woman wearing all orange as she stands in a tropical rainforest with colorful flora. The dramatic sky is overcast and gray.

Opakování nebo posilování klíčových slov a myšlenek v různých částech podnětu může pomoci zvýšit efekt ve výstupu. Můžete například poznamenat, že kamera rychle prolétá scénami v hyper-rychlém záběru. Snažte se, aby váš podnět byl zaměřen na to, co by mělo být ve scéně. Například byste mohli vyzvat k zobrazení jasné oblohy spíše než oblohy bez mraků.

Základní výzva obrázek + text

Při použití vstupních obrázků se zaměřte spíše na popis pohybu, který byste chtěli na výstupu vidět, než na obsah obrázku. Například při použití vstupního obrázku, který obsahuje postavu, můžete zkusit následující výzvu:

Subjekt vesele pózuje, její ruce tvoří znak míru.
Subject cheerfully poses, her hands forming a peace sign.

Použití textového podnětu, který se výrazně liší od vstupního obrázku, může vést k neočekávaným výsledkům. Mějte na paměti, že složité přechody scén mohou vyžadovat více iterací k dosažení požadovaného výstupu. 

Iterace je proces opakování určitého postupu nebo operace, obvykle za účelem přiblížení se k nějakému cíli nebo dosažení určitého výsledku

Ukázkové výzvy

Plynulé přechody

Nepřetržité záběry FPV v hyperrychlosti: Kamera plynule prolétá ledovcovým kaňonem do zasněné krajiny mraků.
Continuous hyperspeed FPV footage: The camera seamlessly flies through a glacial canyon to a dreamy cloudscape.

Pohyb kamery

Svítící oceán v noci s bioluminiscenčními tvory pod vodou. Kamera začíná makro záběrem svítící medúzy zblízka a poté se rozšíří a odhalí celý oceán osvětlený různými svítícími barvami pod hvězdnou oblohou. Pohyb kamery: Začněte makro záběrem medúzy a poté se jemně stáhněte dozadu a nahoru, abyste ukázali svítící oceán.
A glowing ocean at night time with bioluminescent creatures under water. The camera starts with a macro close-up of a glowing jellyfish and then expands to reveal the entire ocean lit up with various glowing colors under a starry sky. Camera Movement: Begin with a macro shot of the jellyfish, then gently pull back and up to showcase the glowing ocean.

Textové titulní karty

Titulní obrazovka s dynamickým pohybem. Scéna začíná u stěny pokryté barevnými barvami. Náhle se na zeď vylije černá barva a vytvoří slovo „Runway“. Kapající barva je detailní a texturovaná, vycentrovaná, vynikající filmové osvětlení.
A title screen with dynamic movement. The scene starts at a colorful paint-covered wall. Suddenly, black paint pours on the wall to form the word "Runway". The dripping paint is detailed and textured, centered, superb cinematic lighting.

 

Klíčová slova podnětů

Klíčová slova mohou být přínosná pro dosažení specifických stylů ve vašem výstupu. Zajistěte, aby klíčová slova byla v souladu s vaší celkovou výzvou, díky čemuž budou ve vašem výstupu lépe patrná.

Například zařazení klíčových slov o struktuře pleti by nebylo přínosné pro širokoúhlý záběr, kde kamera není úzce zaměřena na obličej. Širokoúhlému záběru by naopak mohly prospět další podrobnosti o prostředí.

Při zachování této soudržnosti jsou níže uvedena různá klíčová slova, se kterými můžete při přípravě podnětů experimentovat.

Úhly záběru kamery

Optika objektivu

Nízký úhel

Low angle

RunwayML - klíčové slovo: low angle, nízký úhel (úhly záběru kamery)

Vysoký úhel

High angle

RunwayML - klíčové slovo: high angle, vysoký úhel (úhly záběru kamery)

Nadhled

Overhead

RunwayML - klíčové slovo: overhead, nadhled (úhly záběru kamery)

Pohled první osoby

FPV

RunwayML - klíčové slovo: FPV, pohled z první osoby (úhly záběru kamery)

Záběr z ruky

Hand held

RunwayML - klíčové slovo: hand held, z ruky (úhly záběru kamery)

Širokoúhlý

Wide angle

RunwayML - klíčové slovo: Širokoúhlý, Wide angle (úhly záběru kamery)

Detail - Z blízka

Close up

RunwayML - klíčové slovo: close up, detail, zblízka (úhly záběru kamery)

Detail - Makro

Macro cinematography

RunwayML - klíčové slovo: Makro (úhly záběru kamery)

Zezadu

Over the shoulder

RunwayML - klíčové slovo: zezadu, over the shoulders (úhly záběru kamery)

Sledování objektu

Tracking

RunwayML - klíčové slovo: Sledování objektu, Tracking (úhly záběru kamery)

Široký záběr

Establishing wide

RunwayML - klíčové slovo: Široký záběr, Establishing wide (úhly záběru kamery)

Perspektiva lidského oka

50mm lens

RunwayML - klíčové slovo: 50 mm lens (úhly záběru kamery)

Akční kamera -selfie

SnorriCam

RunwayML - klíčové slovo: akční kamera, snorricam, gopro (úhly záběru kamery)

Dokumentární

Realistic documentary

RunwayML - klíčové slovo: Dokumentární, Realistic documentary, (úhly záběru kamery)

Domácí video

Camcoder

RunwayML - klíčové slovo: DV kamera, camcoder, (úhly záběru kamery)

Styl osvětlení

Rozptýlené světlo

Diffused lighting

 

RunwayML - klíčové slovo: (osvětlení)

Silueta

Silhouette

RunwayML - klíčové slovo: silueta, Silhouette (osvětlení)

Odlesk objektivu

Lens flare

RunwayML - klíčové slovo: Odlesk objektivu, Lens flare (osvětlení)

Svícení zezadu

Back lit

RunwayML - klíčové slovo: Svícení zezadu, Back lit (osvětlení)

Nasvícení z boku

Side lit

RunwayML - klíčové slovo: Nasvícení z boku, Side lit (osvětlení)

Barevný filtr

[color] gel lighting

RunwayML - klíčové slovo: Barevný filtr, [color] gel ighting (osvětlení)

Ben8tsk0 sv2tlo

Venetian lighting

RunwayML - klíčové slovo: benátské světlo, venetian light (osvětlení)

Rychlost pohybu

camera movement

Velmi rychlý pohyb 

Dynamic motion

 

RunwayML - klíčové slovo: dynamic motion, dynamický (rychlost pohybu a času)

Zpomalený

Slow motion

RunwayML - klíčové slovo: slow motion, zpomalený (rychlost pohybu a času)

Rychlý pohyb

Fast motion

RunwayML - klíčové slovo: Fast motion (rychlost pohybu a času)

Časosběr

Timelapse

RunwayML - klíčové slovo: (rychlost pohybu a času)

Typ pohybu (vzhledem k objektu)

movement type

Růst

Grows

 

RunwayML - klíčové slovo: Zjevení, Emerges (typ pohybu)

Zjevení

Emerges

RunwayML - klíčové slovo: Zjevení, objevení, Emerges (typ pohybu)

Výbuch

Explodes

RunwayML - klíčové slovo: Výbuch, Explodes (typ pohybu)

Vznášení

Ascends

RunwayML - klíčové slovo: Vznášení ,Ascends, létání (typ pohybu)

Vlnící se

Undulates

RunwayML - klíčové slovo: vlnící se, undulates (typ pohybu)

Deformace

Warps

RunwayML - klíčové slovo: Deformace, Warps (typ pohybu)

Proměna

Transforms

RunwayML - klíčové slovo: Proměna, Transforms (typ pohybu)

Zvlnění

Ripples

RunwayML - klíčové slovo: Zvlnění, Ripples (typ pohybu)

Roztříštění

Shatters

RunwayML - klíčové slovo: Roztříštění, Shatters (typ pohybu)

Rozložení

Unfolds

RunwayML - klíčové slovo: Rozložení, Unfolds (typ pohybu)

Vír

Vortex

RunwayML - klíčové slovo: Vortex, Vír (typ pohybu)

Styl a Estetika

Náladový

Moody

 

RunwayML - klíčové slovo: Náladový, Moody (styl a estetika)

Dramatický

Cinematic

RunwayML - klíčové slovo: Dramatický, Cinematic (styl a estetika)

Duhový

Iridiscent

RunwayML - klíčové slovo: duhový, Iridiscent (styl a estetika)

Staré domácí video, retro

Home video a VHS

RunwayML - klíčové slovo: (styl a estetika)

Poruchový

Glitchcore

RunwayML - klíčové slovo: glitch, porucha obrazu (styl a estetika)

Styly textu (font)

Tučně

Bold

 

RunwayML - klíčové slovo: Tučně, Bold (font)

Pouliční grafika

Graffiti

RunwayML - klíčové slovo: Pouliční grafika, Graffiti (font)

Neonové fluorescenční lampy

Neon

RunwayML - klíčové slovo: Neonové fluorescenční lampy, Neon (font)

Univerzita, sport

Varsity

RunwayML - klíčové slovo: Univerzita, sport, varsity (font)

Výšivka

Ebroidery

RunwayML - klíčové slovo: Výšivka, Ebroidery (font)

Zástupné symboly

v zalomených závorkách []

Pro vytváření vlastních předvoleb, které lze snadno opakovaně použít, můžete také část výzvy umístit do závorek a nahradit text jedním kliknutím. Například:

Fotoaparát plynule prolétne [místo předmětu].
The camera seamlessly flies through a [subject location]

Po uložení jako předvolba vám to umožní 1 kliknutím nahradit oblast závorek a začít psát text, kdykoli ji znovu použijete.


Jak na mix kódů sref, personalizaci a vlastní stylistiku v MidJourney

Jak na mix kódů sref a personalizace v MidJourney

Po vydání aplikace Midjourney Personalization and Style Reference máte větší kontrolu nad stylem a estetikou. Právě dnes přidali další pokročilé možnosti. Midjourney umožňuje kombinovat kódy --sref a --p a vytvářet tak novou estetiku! Můžete také upravit váhu stylu a používat kódy s odkazem na styl. Podívejme se, jak na to. Případně zapátrejte v mojí aktualiziované referenční příručce.

Prolínání kódů style

Co je to kód --sref

Namísto použití obrázku jako odkazu na styl můžete použít číslo spolu s parametrem --sref. Každý kód "sref" představuje konkrétní styl.

  • Použití: Za textovou výzvu napište --sref a číselný seed
  • Podnět: --sref 123

Dříve bylo možné použít vždy pouze jeden kód sref, který ovlivňoval estetiku obrázku, jako je tomu níže.

Zde jsou tři způsoby, jak prozkoumat nové vizuály.

Nyní můžete kombinovat více kódů --sref dohromady. Smícháním dvou kódů sref můžete spojit estetiku dvou stylů a vytvořit novou estetiku.

  • Formát: podnět --sref 123 456

Níže jsou zobrazeny tři různé obrázky s použitím jediného kódu sref a kombinací dvou dohromady.

Zde jsou další příklady prolínání stylů.

Nedávno jsem objevil zdroj, který sestavil seznam "Sref kódů", určitě se podívejte na tuto úžasnou webovou stránku midjourneysref.com

Druhý typ prolnutí referenčního obrázku stylu a kódů sref

Můžete také smíchat adresy URL referenčních obrázků stylu a náhodné kódy sref dohromady, jak je uvedeno níže.

Formát: podnět --sref 123 url

Zde je výsledek

Míchání typu tři: Směšování kódů a důležitosti (weight --iw)

Můžete použít váhu : : individualních stylů.

Co je podnět Weights

Pokud je dvojitá dvojtečka :: použita k rozdělení výzvy na různé části, můžete bezprostředně za dvojitou dvojtečku přidat číslo, které přiřadí dané části výzvy relativní důležitost.

Pro "odkazy na styl - Style references" můžeme použít důležitost přidáním čísla za adresu URL, abychom určili relativní důležitost referenčního obrázku.

Pro úpravu stylů můžete přiřadit relativní váhy, například: --sref 123::2 456::1

Výsedky příkladu

Směšování personalizačních kódů

Personalizace modelu umožňuje uživatelům vyladit model umělé inteligence podle svých uměleckých stylů a preferencí.

  • Přizpůsobení: Výběr uživatelských preferencí ve srovnání s výchozím modelem Midjourney
  • Použití: Přidejte --p do podnětu nebo povolte personalizaci v nastavení.

Nyní můžete také kombinovat více personalizačních kódů modelu dohromady, například --p ab12ad3 cd34gl.

Na rozdíl od kódu sref neurčuje personalizace styl, ale je spíše pocitem.

Stejně jako u kódu sref můžete styl ovlivnit také pomocí vah, například takto 
--p ab12ad3::2 cd34gl::1

Prolnutí personalizačních a sref kódů

Můžete také kombinovat více personalizačních kódů a sref kódů dohromady. O personalizaci najdete informace v našem předchozím článku Personalizace pro MidJourney V6 je tady! a také refernční příručce.

  • Textový podnět --sref 123 456 --p codeA codeB

Zde je příklad s kódem sref a bez něj

Překlad článku od Christie C. na Medium.com 


Personalizace pro MidJourney V6 je tady!

Udělejte si vlastní stylizace v Midjourney a získejte fast hour zdarma.

Na webu Midjourney můžete použít vlastní stylizaci přizpůsobení pomocí hodnocení obrázků a navíc získat nějaké fast hours zdarma. Až dosud měla každá verze Midjourney vlastní interní estetiku založenou na tréninku umělé inteligence s určitým vstupem preferencí uživatelů z procesu řazení. Nyní můžete vystoupit z řady a používat vlastní personalizaci založenou na vlastním hodnocení.

Co je ranking (pořadí)

Hodnocení neboli ranking je výběr jednoho z dvou obrázků, kterému dáváte přednost. Odkaz na něj najdete na webových stránkách midjourney.com v levém postranním panelu pod položkou Úkoly (Tasks). K dispozici máte vždy dva obrázky a můžete si zobrazit výzvu k jejich výběru. Vpravo nahoře je tlačítko pro přeskočení, pokud se nemůžete rozhodnout nebo vás nezajímá výběr jednoho z nich.

Nejlepší na tom je, že vám to nejen pomůže s personalizací, ale pokud se v daný den umístíte mezi prvními 2000 lidmi, kteří se umístili, budete odměněni rychlou hodinou zdarma. Pokud to budete dělat denně, můžete získat dalších 30 hodin měsíčně! Tímto způsobem vám Midjourney děkuje za to, že jim pomáháte trénovat umělou inteligenci v tom, co se nám opravdu líbí.



Byl jsem velmi skeptický, že tato personalizace bude fungovat, ale v mém případě má Midjourney alespoň moje číslo! Aby personalizace fungovala, musíte zařadit alespoň 200 párů obrázků.  Více je lepší. Kolik jste jich ohodnotili, můžete zjistit pomocí příkazu /info na serveru Discord, kde generujete obrázky.

Při řazení si vyberte ten, který se vám líbí více. Nedělejte si starosti s tím, jak to ovlivní vaši personalizaci, a příliš se nezabývejte tím, zda obrázky odpovídají výzvě; pokud jsou tam prsty navíc apod. prostě si vyberte to, co se vám líbí. Rád si pročítám podněty, abych získal nápady, jak lidé tvoří. Můžete dokonce ovládat (nebo příkazem) kliknutí na obrázek, čímž se obrázek zobrazí na nové kartě. Díky tomu si ho můžete prohlédnout ve větší velikosti; můžete dokonce kliknout na jméno tvůrce a zobrazit si jeho galerii, pokud je veřejná.

Někdy se zobrazí jeden nebo oba tyto obrázky, abyste zabránili náhodnému klikání nebo jakémukoli automatizování procesu. Neklikejte na křížek, pokud tak učiníte, budete muset ověřit, že jste člověk, a ztrácet tím čas. Za opakovaná chybná kliknutí  nezískáte rychlou hodinu (fast hour) pro daný den.

Jak spustit personalizovanou výzvu

Jakmile máte za sebou dostatečný počet hodnocení (alespoň 200), můžete začít používat parametr --p. Při jeho použití se vyplní ID osobního stylu; každý uživatel má své jedinečné. Pokud byste jej chtěli mít zapnutý neustále, použijte příkaz /settings na Discordu, nebo pokud používáte webové stránky, klikněte na ikonu nastavení vpravo od panelu představení. Když ji tam zapnete, nebudete muset pokaždé zadávat příkaz --p.

Discord



Website

Můžete také použít stylize - s 100 v rozsahu 0-1000, přičemž 100 je výchozí hodnota, pokud do výzvy nepřidáte žádné --s #.

Pokud nechcete mít toto nastavení trvale zapnuté, jednoduše přidejte --p a chcete-li navíc stylize --s # do výzvy, bude to fungovat také dobře.

A little girl having a tea party with her favorite dolls --p --s 100

A little girl having a tea party with her favorite dolls --p --s 1000

Jako příklad jsem si vybral svůj krátký podnět. Parametr --p zapíná personalizaci výzvy pomocí mého osobního kódu (který se doplní při generování obrázku) a parametr --s 1000 říká: „Zvyšte to na maximum“, abyste viděli co největší efekt.

 

Vlevo moje personalizace se stylizací 100 (výchozí) a vpravo na 1000 (maximální)

Líbí se mi styl chromolitografie, který je na mých personalizovaných obrázcích ve srovnání s výchozím stylem Midjourney dost viditelný. Pro srovnání jsem spustil stejnou výzvu bez personalizace, abychom viděli čistě interní estetický styl Midjourney:



Jak mohu zjistit, co dělá moje personalizace?

Jedním z rychlých způsobů, jak zjistit, k jakým druhům personalizace obrázků dochází, je spustit následující příkaz:

"" --p --s 1000

Vypadá to trochu šíleně, že? To, co spouštíte pomocí této výzvy, je prázdná výzva. Prázdný prompt není možné odeslat jinak než pomocí prázdné dvojice uvozovek. To doslova znamená „nic“, a když ho použijete, Midjourney vám bude halekat něco zajímavého. Níže jsou obrázky, které jsem dostal se zapnutou personalizací a kliknutím na stylizaci 1000.

"Prázdná" personalizace na stylize 1000

"Prázdná" personalizace na stylize 1000

Opět jsem pro srovnání provedl stejný test bez personalizace, abychom viděli pole, které získáme přímo z deffaultní stylizace Midjourney:

"" --p --s 1000



Výchozí stylizace Midjourney založená na interní estetice

Abyste si mohli udělat širší představu o tom, jak se mohou styly personalizace lišit, vytvořil jsem podobné sady s prázdnou výzvou a 1000 stylizací od několika svých přátel. Kód stylu můžete sdílet s přáteli a oni ho mohou sdílet s vámi, pokud si ho chcete vyzkoušet sami. Jakmile použijete --p, budete moci vidět svůj vlastní kód ve vypsaných obrázkových výzvách.

Ukázka jiného stylu personalizace

Překvapilo mě, jak moc se můj osobní styl liší od stylu mých různých přátel na serveru Midjourney! Myslím, že tento průřez ukázal, jak zajímavé a rozmanité mohou být styly. Musím říct, že ze všech se mi ten můj líbí nejvíc, a o to úplně jde!

Důležité poznámky

Byla oznámena nová funkce personalizace a výslovně bylo uvedeno, že je v pohybu, takže očekávejte, že bude mít pár výkyvů, než se vyřeší chyby.

Personalizace není v tuto chvíli stabilní funkcí, bude se měnit s tím, jak budete provádět více párových hodnocení (nenápadně), a je možné, že v příštích několika týdnech budeme vydávat aktualizace algoritmu. Takže předpokládejte, že je to „zábavná funkce, která se neustále mění“.



Závěrem

Funkce personalizace nemusí být šálkem čaje pro každého, ale přestože jsem byl zpočátku skeptický, jsem docela ohromen tím, jak dobře Midjourney vystihla to, co se mi líbí na základě mého hodnocení. Nečekal jsem, že to, jak jsem hodnotil výtvory ostatních lidí, bude tak dobrým ukazatelem mých preferencí, ale zdá se, že to funguje. Zkuste to a uvidíte, jak to dopadne u vás!

Překlad článku od PromptDervish na BootCamp Medium.com