Přetvoření videa s Aleph od RunwayML

Jak na RunwayML Aleph

Runway Aleph je nejmodernější kontextový video model, který nastavuje nové standardy v oblasti multitaskingové vizuální generace. Umožňuje provádět širokou škálu úprav vstupního videa, jako je přidávání, odstraňování a transformování objektů, generování libovolného úhlu scény a úpravy stylu a osvětlení, a mnoho dalších úkolů.

Dashboard - All Tools - Aleph

Vytvářejte nové úhly kamery

S Runway Aleph můžete pomocí jednoduchých pokynů vytvářet nové pohledy na stávající scény. Ať už potřebujete zpětný záběr nebo nízký úhel, nyní můžete vytvářet nekonečné množství záběrů.

Klíčová slova:
Wide shot
- Generate a full shot of the subject
Extreme Close-Up - Generate a close-up shot of the subject
Medium Shot - Generate a medium full shot of the subject

Vytvořte další záběr

Vytvořte plynulé pokračování svého příběhu. S Runway Aleph můžete snadno vytvořit další záběr ve své sekvenci pouhým požadavkem.

Klíčové slovo:
Generate a next shot

Použijte jakýkoli styl k převodu do videa

Proměňte jakékoli video podle svých představ. S Runway Aleph můžete snadno aplikovat jakýkoli styl na své záběry pouhým požadavkem.

Klíčové slovo: 
Transfer the style of the video

Změňte prostředí, lokality, roční období a denní dobu

Proměňte běžné záběry v profesionální vizuální efekty. A to vše při zachování tolik nebo tak málo ze zdrojového materiálu, kolik si budete přát. Zde je velká možnost variability prompt engeneeringu.

Klíčové slovo:
Rain - Add rain
Freeze - Freeze the water and add snow
Sandstorm - Change the weather to a strong sand storm. Windy and sand everwhere with a strong orange tint.

City - Change the scene to a city alley

Desert - Change to a dirt road

Přidávejte prvky do scény

Vylepšete své záběry čímkoli, co si dokážete představit. Runway Aleph hladce integruje nové prvky do stávajících scén – přidejte dav do prázdných ulic, umístěte produkty na stoly nebo vložte rekvizity, které jste zapomněli natočit. Stačí popsat, co chcete, nebo poskytnout referenční obrázek, a uvidíte, jak se to přirozeně objeví ve vašem videu s odpovídajícím osvětlením, stíny a perspektivou.

Klíčové slovo:
Add - Fireworks, Palm Trees, Characters

Add the crowd

Odstraňte objekty ze scény

Už se nikdy nemusíte trápit přeplněnými scénami nebo rušivými prvky. S Runway Aleph můžete snadno odstranit nežádoucí objekty a prvky ze záběrů pouhým požadavkem.

Klíčové slovo:
Remove - smoke, person, reflection
Remove the person from the scene
Remove the reflection in the mirror

Změna objektů ve scéně

Runway Aleph vám umožňuje snadno změnit texturu nebo zcela nahradit objekty, předměty a další prvky z existujících videí. Stačí zadat textový příkaz nebo referenční obrázek toho, co chcete ve svém videu vyměnit. Zde nás to podvědomě nutí použít slovo Transform, ale...

Klíčové slovo:
Change - into, material 
Change the car into Chariots with horses
Change the material of the ball to lava

Použijte pohyb videa

Vezměte pohyb libovolného videa a použijte jej na nový první snímek pro jemné ovládání kamery.

Klíčové slovo:
Apply the same motion

Změňte vzhled postavy

Změňte věk a vzhled herců pomocí jednoduchých pokynů. Není třeba složitý praktický make-up ani nákladné vizuální efekty, stačí si říct, co chcete.

Klíčové slovo:
Make
Make him young
Make her as a child
Make him old

Přebarvení prvků scény

Snadno změňte barvu objektů ve scéně zadáním vzorku barvy nebo popisem palety, kterou hledáte. Použijte vyskakovací nabídku nad vaším promptem, která se objeví po dosazení videa a nahrajte buď jednolitou barvu, nebo udělejte skicu.  

Klíčové slovo:
Change
Change the house to red of image

Relight Shots (Opětovné nasvícení záběrů)

Změňte náladu jakékoli scény pomocí zcela nového osvětlení. Natáčeli jste ve špatnou denní dobu? Runway Aleph vám umožní změnit ostré polední světlo na zlatou hodinu, zesvětlit podexponované záběry nebo vytvořit dramatické osvětlení západu slunce z oblačného dne. Osvětlení se přirozeně přizpůsobí celé scéně a aktualizuje stíny, odrazy a barevnou teplotu tak, aby odpovídaly vaší vizi.

Klíčové slovo:
Make - Make it dawn, afternoon, daytime...
Transform - Transform the scene to appear as if it was shot during golden hour.

Zelené pozadí

Vytáhněte jakoukoli osobu nebo objekt ze svého záznamu a umístěte je na čisté pozadí. Runway Aleph automaticky izoluje váš objekt pomocí přesné detekce okrajů a zachová všechny detaily, od pramínků vlasů po průhledné látky. Exportujte se zeleným pozadím, průhledným pozadím nebo jakoukoli plnou barvou pro hladkou integraci do jiných projektů.

Klíčové slovo:
Green screen
Green screen the person
Green screen the object

RunwayML - Základy promptingu

Jak si stojí Raspberry Pi AI Kit

Společnost Raspberry Pi vydala sadu pro jednodeskový počítač AI Kit s funkcemi strojového učení. Možná je to proto, aby podpořila své nedávné uvedení na trh, nicméně údaje o výkonu vypadají, že zaútočí na trh s okrajovými výpočetními systémy AI. Řekl bych že RPI poháněná Hailo, dává 13 TOPS, za přibližně 2000 CZK, to není špatné.

Společnost Raspberry Pi vydala sadu pro jednodeskový počítač AI Kit s funkcemi strojového učení.

Sada AI je poháněna akcelerátorem Hailo-8L a vlastní deskou Raspberry Pi M.2 HAT+

Než někdo začne předpokládat nějaké pokročilé důvody AI, uvědomte si, že HAT znamená pouze Hardware Attached on Top. Přepychový způsob, jak říct, deska přišroubovaná přes jinou desku...

V každém případě je tento AI akcelerátor za 70 dolarů opravdu výhodná koupě. A co je ještě důležitější, získáte skvělou nabídku výkonu pro vaši vestavěnou aplikaci, jak je uvedeno v následující části.

O Hailo-8L: Raspberry Pi si jako dodavatele akcelerátoru vybralo společnost Hailo. Hailo-8L je ořezaná verze nedávno oznámeného čipu Hailo-8, který nabízí 26TOPS. Hailo-8L nabízí chvályhodných 13TOPS a přináší Raspberry Pi tolik potřebný výkon v oblasti umělé inteligence.

Hailo AI čip detail

Nedávno se AMD dostalo do čela žebříčku TOPS s 50TOPS, proto se 13TOPS zdá málo.Je třeba vzít v úvahu, že se bude používat ve světě embedded a 13TOPS přinese obrovskou výhodu pro okrajové aplikace typu počítačového vidění. Také notebook s RISC-V Linuxem v době psaní tohoto článku nabízí pouze 2TOPS.

Podle technického ředitele společnosti Hailo Aviho Bauma spotřebuje Hailo-8L na každé tři TOPS přibližně jeden watt energie, což je maximálně zhruba pět wattů. A pro typickou embedded zátěž, jako je zpracování 60 FPS videa v reálném čase, si vezme sotva jeden nebo jen dva watty.

Hailo se speciálně zaměřuje na nízkou spotřebu okrajových aplikací umělé inteligence & pohodlně poráží i NVIDIA. Níže je uveden jejich výkon ve srovnání s Jetson Nano a Xavier NX od společnosti NVIDIA.

Hailo - porovnání výkonu AI
NFC hodnocenky Google

Čip má širokou podporu pro frameworky AI, mezi které patří TensorFlow, TensorFlow Lite, Keras, PyTorch a ONNX. Vzhledem k výše uvedeným číslům a výkonové výhodě vypadá rozhodnutí Raspberry Pi s Hailo jasně.Architektura a design sady Raspberry Pi AI V současné době sada AI podporuje architekturu x86 i Arm Host. Generální ředitel Raspberry Pi, Eben, sdělil, že záměrně plánují samostatnou akcelerační desku, nikoli integrovaný NPU, jako je tomu u SoC Apple & Qualcomm, které byly nedávno uvedeny na trh pro počítače s AI.

Raspberry Pi AI Kit

Raspberry Pi již tuto oddělenou architekturu má, protože používá IO funkce na levném 40nm, zatímco CPU a GPU je na 16nm. I když je jádro na 16nm, přidání NPU k němu bude nákladné, protože se zvětší plocha.

Pokud chce uživatel použít Raspberry Pi 5 pro aplikaci, která není spojena s umělou inteligencí, ano, existují... a musí zbytečně vyhodit další peníze za nechtěné náklady na plochu die NPU. Nyní mají možnost volby & hardwaroví lidé mají rádi volby. I když samotná verze Raspberry Pi 3 byla použita pro AI aplikaci, AI zátěž byla na cloudu. Tento nový Raspberry Pi 5 s Hailo-8L dokáže sám na okraji zastat menší modely & optimalizované LLM.

Současný stav sady Raspberry Pi AI

Tento počítač Raspberry Pi je vybaven rozhraním PCIe 2.0, přes které komunikuje s akcelerátorem Hailo-8L. PCIe 2.0 má pouze verze Raspberry Pi 5. Pokud tedy chcete vyzkoušet funkci AI, musíte vyměnit desku. Nicméně i M.2 HAT+ pro Raspberry Pi 5 stojí jen asi 80 dolarů. 

Souprava je dodávána s předmontovanou tepelnou podložkou pro lepší odvod tepla Hailo-8L, která sice spotřebuje pár wattů, ale bude výrazně teplejší. Raspberry Pi si uvědomuje, že pro mnohé tvůrce je to nový terén. Proto bude poskytovat více demo a softwarových nástrojů na podporu uživatelů vyvíjejících funkce UI.

Raspberry Pi tvrdí, že nastavení a spuštění aplikace AI bude otázkou několika minut. 

Ačkoli hardware funguje tak, jak má, je třeba si uvědomit, že software zatím NENÍ ve skvělé formě. Ale během několika měsíců se vše stane skutečností.

Tým Tom's Hardware dostal k dispozici testovací sadu a narazil na několik problémů. Podle jejich informací brzy přijde aktualizace operačního systému Raspberry Pi, která umožní několik funkcí umělé inteligence, což v současné době omezuje jeho použití. Podařilo se jim však detekovat obrázky včetně medvídka, jak ukazuje obrázek níže. 

Detekce oblyčeje nebo objektu - Díky obrázku z Toms Hardware

V ukázce není provedeno měření rychlosti, ale tým se zmínil, že „cítili“, že jen málo z nich je rychlejších. Tým Tom's hardware také zmínil, že Raspberry Pi odhalil, že v budoucnu můžeme v případě potřeby spustit vlastní modely.

Případy použití

Raspberry Pi & Hailo tvrdí, že výhoda nízké spotřeby je významná pro mnoho hardwaru počítačového vidění, jako je rozpoznávání obrazu v okrajových uzlech. Společnost také říká, že mají různé modely včetně některých vhodných pro přidávání funkcí AI do her.

Hra Lincity-NG , díky obrázku z raspberrytips.com

Vzhledem k tomu, že systém Windows 11 není určen pro Raspberry Pi, říkají, že tato sada není určena pro software Microsoft Copilot. Nevylučují však, že některé funkce budou fungovat. Vzhledem k tomu, že 13TOPS je téměř 1/3 ze 40TOPS předepsaných pro počítače Copilot+, něco skutečně fungovat bude.

Závěr

Obě společnosti očekávají, že komunita tvůrců přijde s nějakým jedinečným případem použití, který vyřeší jejich vlastní problémy. Věřím také, že síla komunity Raspberry Pi, skutečně něco změní. Kromě projektů ve třídách začne nově objevenou schopnost 13TOPS AI využívat i mnoho robotických aplikací.

Musíme počkat na další aktualizace softwaru Raspberry Pi, abychom měli lepší pracovní platformu. Je vzrušující, že generální ředitel Raspberry Pi zmínil, že tímto spojení se společností Hailo nekončí.

překlad článku od Gandhi KT