Runway ML - generování videa - návod česky

Příručka pro Runway - 1. Základy promtingu

RunwayML - základy práce generování videí s metodou text to video s verzí Gen3- Alpha.

Ještě něž vás uvedu do zádkladů podněcovaní a práci s umělou inteligencí pro generování filmu a videa s RunwayML, řekněme si nejdříve několik důležitých faktů a tipů. Jak si můžeme všimnout zkratky v názvu ML, což znamená strojové učení (machine learning) Runway je jedna z nejlepší platforem, která se velmi rychle vyvíjí. To znamená, že pokud nezvládla udělat nějaký záběr dnes, zkuste to zítra, možná už se to naučila. Dalším postřehem ke konzistentnosti vašich videí je možnost používat obrázkové výzvy, kde zadáte první a poslední snímek záběru a Runway vám generuje to mezi obrázky na základě vašeho textového podnětu. Tím se můžete dostat k velice konkrétním realizací vaší představy nebo scénáře.

Pro generování obrázkových podnětů stále doporučuju online platformu MidJourney - návod na blogu najdete. Stejně jako MJ, Runway nechápe gramatiku, takže s vysvětlováním pomocí gramatických oslích můstků typu na "začátku udělej něco a pak udělej tohle" příliš nepochodíte. Její NLP (Natural Language Processing) může porozumět textu na základě analýzy vstupu pro extrakci významu, klíčových slov nebo sentimentu.

Další praktickou informací, která vám ušetří dost peněz je, že na hraní tu není moc prostor. Hraní je za paywallem. Nemá smysl kupovat si kredity, protože ty vystřílíte zázračně rychle. Nekupujte si kredity. Jestli to s Runway myslíte vážně, zaplaťte si Unlimited přístup na celý rok a naučte se s ní dokonale. Garantuju vám, že nebudete mít okousané nehty od toho, jestli se generování povede (pro mě je jeden úspěšný záběr 10-20 generování) a navíc můžete používat režim Gen3-Turbo, což ušetří i spoustu času. Toť zatím vše pojďme se podívat, jak funguje promting.

K zadávání obvykle raději používám překladač Deepl, potom si přeložené zadání upraví do pro AI srozumitelnější iterace.

Rychlé menu

Gen-3 Alpha má poměrně nekonečný potenciál, abyste mohli realizovat své umělecké vize. Vytvoření silného podnětu- promptu, který zprostředkuje scénu, je klíčem ke generování videa v souladu s vaším konceptem.
Tento článek se zabývá různými ukázkovými strukturami, klíčovými slovy a tipy na podněty, které vám pomohou začít pracovat s Gen-3 Alpha. Jedná se pouze o příklady - nebojte se při uvádění svých nápadů do života experimentovat.

Struktury podnětů

Základní textový podnět

Pouze textové podněty jsou nejúčinnější, pokud se řídí jasnou strukturou, která rozděluje podrobnosti o scéně, objektu a pohybu kamery do samostatných částí. Použití následující struktury by mělo pomoci zajistit konzistentní výsledky při seznamování se s aplikací Gen-3 Alpha:

[pohyb kamery]: [vytvoření scény]. [doplňující informace].
[camera movement]: [establishing scene]. [additional details].

Při použití této struktury by vaše výzva pro ženu stojící v tropickém deštném pralese mohla vypadat takto:

Statický záběr z nízkého úhlu: Kamera je natočena pod úhlem na ženu v oranžovém oblečení, která stojí v tropickém deštném pralese s barevnou flórou. Dramatická obloha je zatažená a šedá.
Low angle static shot: The camera is angled up at a woman wearing all orange as she stands in a tropical rainforest with colorful flora. The dramatic sky is overcast and gray.

Opakování nebo posilování klíčových slov a myšlenek v různých částech podnětu může pomoci zvýšit efekt ve výstupu. Můžete například poznamenat, že kamera rychle prolétá scénami v hyper-rychlém záběru. Snažte se, aby váš podnět byl zaměřen na to, co by mělo být ve scéně. Například byste mohli vyzvat k zobrazení jasné oblohy spíše než oblohy bez mraků.

Základní výzva obrázek + text

Při použití vstupních obrázků se zaměřte spíše na popis pohybu, který byste chtěli na výstupu vidět, než na obsah obrázku. Například při použití vstupního obrázku, který obsahuje postavu, můžete zkusit následující výzvu:

Subjekt vesele pózuje, její ruce tvoří znak míru.
Subject cheerfully poses, her hands forming a peace sign.

Použití textového podnětu, který se výrazně liší od vstupního obrázku, může vést k neočekávaným výsledkům. Mějte na paměti, že složité přechody scén mohou vyžadovat více iterací k dosažení požadovaného výstupu.

Iterace je proces opakování určitého postupu nebo operace, obvykle za účelem přiblížení se k nějakému cíli nebo dosažení určitého výsledku

Ukázkové výzvy

Plynulé přechody

Nepřetržité záběry FPV v hyperrychlosti: Kamera plynule prolétá ledovcovým kaňonem do zasněné krajiny mraků.
Continuous hyperspeed FPV footage: The camera seamlessly flies through a glacial canyon to a dreamy cloudscape.

Pohyb kamery

Svítící oceán v noci s bioluminiscenčními tvory pod vodou. Kamera začíná makro záběrem svítící medúzy zblízka a poté se rozšíří a odhalí celý oceán osvětlený různými svítícími barvami pod hvězdnou oblohou. Pohyb kamery: Začněte makro záběrem medúzy a poté se jemně stáhněte dozadu a nahoru, abyste ukázali svítící oceán.
A glowing ocean at night time with bioluminescent creatures under water. The camera starts with a macro close-up of a glowing jellyfish and then expands to reveal the entire ocean lit up with various glowing colors under a starry sky. Camera Movement: Begin with a macro shot of the jellyfish, then gently pull back and up to showcase the glowing ocean.

Textové titulní karty

Titulní obrazovka s dynamickým pohybem. Scéna začíná u stěny pokryté barevnými barvami. Náhle se na zeď vylije černá barva a vytvoří slovo „Runway“. Kapající barva je detailní a texturovaná, vycentrovaná, vynikající filmové osvětlení.
A title screen with dynamic movement. The scene starts at a colorful paint-covered wall. Suddenly, black paint pours on the wall to form the word "Runway". The dripping paint is detailed and textured, centered, superb cinematic lighting.

Klíčová slova podnětů

Klíčová slova mohou být přínosná pro dosažení specifických stylů ve vašem výstupu. Zajistěte, aby klíčová slova byla v souladu s vaší celkovou výzvou, díky čemuž budou ve vašem výstupu lépe patrná.

Například zařazení klíčových slov o struktuře pleti by nebylo přínosné pro širokoúhlý záběr, kde kamera není úzce zaměřena na obličej. Širokoúhlému záběru by naopak mohly prospět další podrobnosti o prostředí.

Při zachování této soudržnosti jsou níže uvedena různá klíčová slova, se kterými můžete při přípravě podnětů experimentovat.

Úhly záběru kamery

Optika objektivu

Nízký úhel

Low angle

Vysoký úhel

High angle

Nadhled

Overhead

Pohled první osoby

FPV

RunwayML - klíčové slovo: FPV, pohled z první osoby (úhly záběru kamery)

Záběr z ruky

Hand held

Širokoúhlý

Wide angle

Detail - Z blízka

Close up

Detail - Makro

Macro cinematography

RunwayML - klíčové slovo: Makro (úhly záběru kamery)

Zezadu

Over the shoulder

Sledování objektu

Tracking

Široký záběr

Establishing wide

Perspektiva lidského oka

50mm lens

Akční kamera -selfie

SnorriCam

Dokumentární

Realistic documentary

Domácí video

Camcoder

Styl osvětlení

Rozptýlené světlo

Diffused lighting

Silueta

Silhouette

Odlesk objektivu

Lens flare

Svícení zezadu

Back lit

Nasvícení z boku

Side lit

Barevný filtr

[color] gel lighting

Ben8tsk0 sv2tlo

Venetian lighting

RunwayML - klíčové slovo: benátské světlo, venetian light (osvětlení)

Rychlost pohybu

camera movement

Velmi rychlý pohyb

Dynamic motion

Zpomalený

Slow motion

Rychlý pohyb

Fast motion

Časosběr

Timelapse

RunwayML - klíčové slovo: (rychlost pohybu a času)

Typ pohybu (vzhledem k objektu)

movement type

Růst

Grows

Zjevení

Emerges

Výbuch

Explodes

Vznášení

Ascends

Vlnící se

Undulates

Deformace

Warps

Proměna

Transforms

Zvlnění

Ripples

Roztříštění

Shatters

Rozložení

Unfolds

Vír

Vortex

Styl a Estetika

Náladový

Moody

Dramatický

Cinematic

Duhový

Iridiscent

Staré domácí video, retro

Home video a VHS

RunwayML - klíčové slovo: (styl a estetika)

Poruchový

Glitchcore

RunwayML - klíčové slovo: glitch, porucha obrazu (styl a estetika)

Styly textu (font)

Tučně

Bold

Pouliční grafika

Graffiti

Neonové fluorescenční lampy

Neon

Univerzita, sport

Varsity

Výšivka

Ebroidery

Zástupné symboly

v zalomených závorkách []

Pro vytváření vlastních předvoleb, které lze snadno opakovaně použít, můžete také část výzvy umístit do závorek a nahradit text jedním kliknutím. Například:

Fotoaparát plynule prolétne [místo předmětu].
The camera seamlessly flies through a [subject location]

Po uložení jako předvolba vám to umožní 1 kliknutím nahradit oblast závorek a začít psát text, kdykoli ji znovu použijete.

Personalizace pro MidJourney V6 je tady!

Udělejte si vlastní stylizace v Midjourney a získejte fast hour zdarma.

Na webu Midjourney můžete použít vlastní stylizaci přizpůsobení pomocí hodnocení obrázků a navíc získat nějaké fast hours zdarma. Až dosud měla každá verze Midjourney vlastní interní estetiku založenou na tréninku umělé inteligence s určitým vstupem preferencí uživatelů z procesu řazení. Nyní můžete vystoupit z řady a používat vlastní personalizaci založenou na vlastním hodnocení.

Co je ranking (pořadí)

Hodnocení neboli ranking je výběr jednoho z dvou obrázků, kterému dáváte přednost. Odkaz na něj najdete na webových stránkách midjourney.com v levém postranním panelu pod položkou Úkoly (Tasks). K dispozici máte vždy dva obrázky a můžete si zobrazit výzvu k jejich výběru. Vpravo nahoře je tlačítko pro přeskočení, pokud se nemůžete rozhodnout nebo vás nezajímá výběr jednoho z nich.

Nejlepší na tom je, že vám to nejen pomůže s personalizací, ale pokud se v daný den umístíte mezi prvními 2000 lidmi, kteří se umístili, budete odměněni rychlou hodinou zdarma. Pokud to budete dělat denně, můžete získat dalších 30 hodin měsíčně! Tímto způsobem vám Midjourney děkuje za to, že jim pomáháte trénovat umělou inteligenci v tom, co se nám opravdu líbí.

Byl jsem velmi skeptický, že tato personalizace bude fungovat, ale v mém případě má Midjourney alespoň moje číslo! Aby personalizace fungovala, musíte zařadit alespoň 200 párů obrázků. Více je lepší. Kolik jste jich ohodnotili, můžete zjistit pomocí příkazu /info na serveru Discord, kde generujete obrázky.

Při řazení si vyberte ten, který se vám líbí více. Nedělejte si starosti s tím, jak to ovlivní vaši personalizaci, a příliš se nezabývejte tím, zda obrázky odpovídají výzvě; pokud jsou tam prsty navíc apod. prostě si vyberte to, co se vám líbí. Rád si pročítám podněty, abych získal nápady, jak lidé tvoří. Můžete dokonce ovládat (nebo příkazem) kliknutí na obrázek, čímž se obrázek zobrazí na nové kartě. Díky tomu si ho můžete prohlédnout ve větší velikosti; můžete dokonce kliknout na jméno tvůrce a zobrazit si jeho galerii, pokud je veřejná.

Někdy se zobrazí jeden nebo oba tyto obrázky, abyste zabránili náhodnému klikání nebo jakémukoli automatizování procesu. Neklikejte na křížek, pokud tak učiníte, budete muset ověřit, že jste člověk, a ztrácet tím čas. Za opakovaná chybná kliknutí nezískáte rychlou hodinu (fast hour) pro daný den.

Jak spustit personalizovanou výzvu

Jakmile máte za sebou dostatečný počet hodnocení (alespoň 200), můžete začít používat parametr --p. Při jeho použití se vyplní ID osobního stylu; každý uživatel má své jedinečné. Pokud byste jej chtěli mít zapnutý neustále, použijte příkaz /settings na Discordu, nebo pokud používáte webové stránky, klikněte na ikonu nastavení vpravo od panelu představení. Když ji tam zapnete, nebudete muset pokaždé zadávat příkaz --p.

Discord

Website

Můžete také použít stylize - s 100 v rozsahu 0-1000, přičemž 100 je výchozí hodnota, pokud do výzvy nepřidáte žádné --s #.

Pokud nechcete mít toto nastavení trvale zapnuté, jednoduše přidejte --p a chcete-li navíc stylize --s # do výzvy, bude to fungovat také dobře.

A little girl having a tea party with her favorite dolls --p --s 100

A little girl having a tea party with her favorite dolls --p --s 1000

Jako příklad jsem si vybral svůj krátký podnět. Parametr --p zapíná personalizaci výzvy pomocí mého osobního kódu (který se doplní při generování obrázku) a parametr --s 1000 říká: „Zvyšte to na maximum“, abyste viděli co největší efekt.

Vlevo moje personalizace se stylizací 100 (výchozí) a vpravo na 1000 (maximální)

Líbí se mi styl chromolitografie, který je na mých personalizovaných obrázcích ve srovnání s výchozím stylem Midjourney dost viditelný. Pro srovnání jsem spustil stejnou výzvu bez personalizace, abychom viděli čistě interní estetický styl Midjourney:

Jak mohu zjistit, co dělá moje personalizace?

Jedním z rychlých způsobů, jak zjistit, k jakým druhům personalizace obrázků dochází, je spustit následující příkaz:

"" --p --s 1000

Vypadá to trochu šíleně, že? To, co spouštíte pomocí této výzvy, je prázdná výzva. Prázdný prompt není možné odeslat jinak než pomocí prázdné dvojice uvozovek. To doslova znamená „nic“, a když ho použijete, Midjourney vám bude halekat něco zajímavého. Níže jsou obrázky, které jsem dostal se zapnutou personalizací a kliknutím na stylizaci 1000.

"Prázdná" personalizace na stylize 1000

Opět jsem pro srovnání provedl stejný test bez personalizace, abychom viděli pole, které získáme přímo z deffaultní stylizace Midjourney:

"" --p --s 1000

Výchozí stylizace Midjourney založená na interní estetice

Abyste si mohli udělat širší představu o tom, jak se mohou styly personalizace lišit, vytvořil jsem podobné sady s prázdnou výzvou a 1000 stylizací od několika svých přátel. Kód stylu můžete sdílet s přáteli a oni ho mohou sdílet s vámi, pokud si ho chcete vyzkoušet sami. Jakmile použijete --p, budete moci vidět svůj vlastní kód ve vypsaných obrázkových výzvách.

Ukázka jiného stylu personalizace

Překvapilo mě, jak moc se můj osobní styl liší od stylu mých různých přátel na serveru Midjourney! Myslím, že tento průřez ukázal, jak zajímavé a rozmanité mohou být styly. Musím říct, že ze všech se mi ten můj líbí nejvíc, a o to úplně jde!

Důležité poznámky

Byla oznámena nová funkce personalizace a výslovně bylo uvedeno, že je v pohybu, takže očekávejte, že bude mít pár výkyvů, než se vyřeší chyby.

Personalizace není v tuto chvíli stabilní funkcí, bude se měnit s tím, jak budete provádět více párových hodnocení (nenápadně), a je možné, že v příštích několika týdnech budeme vydávat aktualizace algoritmu. Takže předpokládejte, že je to „zábavná funkce, která se neustále mění“.

Závěrem

Funkce personalizace nemusí být šálkem čaje pro každého, ale přestože jsem byl zpočátku skeptický, jsem docela ohromen tím, jak dobře Midjourney vystihla to, co se mi líbí na základě mého hodnocení. Nečekal jsem, že to, jak jsem hodnotil výtvory ostatních lidí, bude tak dobrým ukazatelem mých preferencí, ale zdá se, že to funguje. Zkuste to a uvidíte, jak to dopadne u vás!

Překlad článku od PromptDervish na BootCamp Medium.com

Jak dělat konzistentní charakter MidJourney, Image by Jim Clyde Monge

Jak na konzistentní postavy v Midjourney V6

Midjourney V6 dokáže generovat konzistentní postavy - to je obrovská věc

Před dvěma měsíci se hra Dall-E 3 od společnosti OpenAI stala virální, když uživatelé zjistili, že mohou vytvářet postavy s jednotným stylem a estetikou. Někteří z nich dokonce vytvořili aplikace GPT, jako je Consistent Character GPT.

Společnost Midjourney konečně vydala podobnou funkci nazvanou Reference postav - Character Reference.

Představte si, že jste ilustrátor, animátor nebo prostě umělec, který chce generovat více verzí vlastního návrhu postavy z různých úhlů - tato nová funkce Midjourney je přesně to, co potřebujete.

Co je Reference postavy?

Reference postavy je nová funkce v aplikaci Midjourney, která uživatelům umožňuje generovat konzistentní postavy z různých úhlů na základě zadaného referenčního obrázku.

Je podobná funkci „Reference stylu“, ale namísto shody s referenčním stylem se snaží, aby vygenerovaná postava odpovídala rysům postavy na referenčním obrázku.

Můžete dokonce smíchat více referenčních znaků zadáním více než jedné adresy URL oddělené mezerami, stejně jako při použití více podnětů k obrázku nebo stylu.

Jak skvělé to je? Tato funkce funguje jak ve webové verzi Midjourney pro Discord, tak pro webovou verzi Alpha.

Jak to funguje

Nejprve otevřete aplikaci Midjourney Bot a začněte generovat návrh postavy. Zde je příklad výzvy:

Příklad: Prompt: Vytvořte vysoce detailní 3D render herní postavy ve stylu Pixar na bílém pozadí, záběr na celé tělo. Postava je dospívající kluk s mírně kudrnatými vlasy, trochu baculatý, má na sobě černou mikinu s kapucí a modré šortky -- s 250 -- v 6.0
Prompt: Create a highly detailed, Pixar 3D render of a game character on a white background, full body shot. The character is a teenager guy with slightly curly hair, a little chubby, wearing black hoodie, and blue shorts — s 250 — v 6.0

Vyberte jeden z vygenerovaných obrázků, který chcete zvětšit, a získejte odkaz na obrázek kliknutím pravým tlačítkem myši a výběrem možnosti „Kopírovat adresu obrázku - Copy image adress“.

Poté vygenerujte další sadu obrázků s podobnou výzvou, ale tentokrát přidejte tyto parametry:

Mává - He is waving
--cref https://s.mj.run/KgVmyVmf4o8
--cw 100“

Vaše nová výzva by tedy vypadala takto:

Prompt: Vytvořte vysoce detailní 3D render herní postavy na bílém pozadí, záběr celého těla. Postava je dospívající kluk s mírně kudrnatými vlasy, trochu baculatý, oblečený v černé mikině s kapucí a modrých šortkách. Mává - cref https://s.mj.run/KgVmyVmf4o8 - cw 100
Prompt: Create a highly detailed, Pixar 3D render of a game character on a white background, full body shot. The character is a teenager guy with slightly curly hair, a little chubby, wearing black hoodie, and blue shorts. He is waving — cref https://s.mj.run/KgVmyVmf4o8 — cw 100

A voila! Nově vygenerované obrázky by měly vypadat téměř stejně jako referenční obrázek, ale postava nyní mává. Jak je to skvělé? Poté můžete vygenerovat další verze postavy v různých pózách. Možnosti jsou nekonečné.

Reference postavy v Midjourney Alpha

Pokud dáváte přednost použití webové stránky Midjourney Alpha, jednoduše přetáhněte referenční obrázek do části s výzvou. Ujistěte se, že je obrázek nastaven na „Použít jako výzvu k zadání obrázku“.

Pak zadejte výzvu a stiskněte klávesu enter. Například:

Prompt: Vytvořte vysoce detailní 3D render herní postavy na bílém pozadí, záběr celého těla. Postava je roztomilá dospívající dívka, trochu baculatá, má na sobě růžové běžecké kalhoty. Mává na sebe.
Prompt: Create a highly detailed, Pixar 3D render of a game character on a white background, full body shot. The character is a cute teenager girl, a little chubby, wearing pink jogging pants She is waving

Při testování jsem si všiml některých rozdílů mezi referenčním obrázkem a vygenerovaným obrázkem, pokud jde o oblečení, boty a vlasy. Nebyl jsem si jistý, co je příčinou problému, a tak jsem místo toho zkusil znovu použít Discord.

A hle, obrázek vytvořený společností Discord byl mnohem bližší referenci! S nastavením webového rozhraní mohou být nějaké problémy, které je třeba vyřešit.

Poznámka: Úpravou hodnoty parametru --cw můžete upravit, jak referenční obrázek ovlivní konečný výstup.

Úpravou hodnoty parametru--cw upravte „sílu“ referenčního obrázku ze 100 na 0.
strenght 100 (--cw 100) je výchozí hodnota a používá obličej, vlasy a oblečení.
Při síle 0 (--cw 0) se zaměří pouze na obličej (vhodné pro změnu oblečení, vlasů atd.).

K čemu je určen?

Mějte na paměti, že funkce Character Reference je stále ve fázi beta a tým Midjourney upozorňuje na některá aktuální omezení:

Tato funkce funguje nejlépe, když používáte postavy vytvořené z obrázků Midjourney. Není určena pro skutečné osoby / fotografie (a pravděpodobně je bude zkreslovat, jako to dělají běžné obrázkové nápovědy).
Cref funguje podobně jako běžné obrázkové nápovědy, s tím rozdílem, že se „zaměřuje“ na rysy postavy.
Přesnost této techniky je omezená, nezkopíruje přesně dolíčky, pihy ani loga na tričkách.
Cref funguje pro modely Niji i normální MJ a lze jej také kombinovat s parametrem --sref

Zde je příklad s parametry --cref i --sref:

Prompt: a girl drinking coffee - cref https://s.mj.run/pI1CVNG141Q - sref https://s.mj.run/OJGOsuC2XKE - s 250 - v 6.0

Páni, to je opravdu působivé.

Při použití referenčního obrázku, který má specifický styl, vřele doporučuji zahrnout také parametr - sref. Opravdu to pomáhá dosáhnout konzistentní estetiky.

Závěrečné myšlenky

Celkově jsem si užil spoustu zábavy při používání nové funkce odkazů na postavy v Midjourney. Ale kromě toho, že se jedná o zábavný nástroj, nemohu si pomoci, ale musím se podivit nad obrovskými důsledky, které to má pro odvětví grafického designu a fotografie.

Představte si, že pořídíte jedinou svou fotografii a necháte umělou inteligenci během několika sekund vygenerovat několik jejích póz.

Sám jsem výtvarník a dokážu si snadno představit, jaký dopad to bude mít na ilustrátory. Možnost vygenerovat konzistentní postavy z různých úhlů během pouhých několika sekund na základě jediného odkazu naprosto mění pravidla hry. Tvůrci se musí naučit přizpůsobit a využívat tuto technologii co nejdříve, než pokročí natolik, že potenciálně zcela nahradí lidské umělce!

Potenciál pro herní průmysl je také ohromující. Generování póz a spritů by mohlo změnit hodiny práce na minuty. Mluvíme o zvýšení produktivity! Herní vývojáři, zpozorněte.

Co si myslíte o funkci odkazu na postavu od Midjourney? Jak si představujete, že ovlivní váš tvůrčí proces nebo odvětví? Rád bych znal vaše názory.

Tento článek byl zveřejněn na webu Generative AI. Připojte se k nám na LinkedIn a sledujte Zeniteq, abyste měli přehled o nejnovějších příbězích z oblasti AI. Pojďme společně utvářet budoucnost AI!

Překlad článku od Jim Clyde Monge

123 4 5