Jak si stojí Raspberry Pi AI Kit
Společnost Raspberry Pi vydala sadu pro jednodeskový počítač AI Kit s funkcemi strojového učení. Možná je to proto, aby podpořila své nedávné uvedení na trh, nicméně údaje o výkonu vypadají, že zaútočí na trh s okrajovými výpočetními systémy AI. Řekl bych že RPI poháněná Hailo, dává 13 TOPS, za přibližně 2000 CZK, to není špatné.
Sada AI je poháněna akcelerátorem Hailo-8L a vlastní deskou Raspberry Pi M.2 HAT+.
Než někdo začne předpokládat nějaké pokročilé důvody AI, uvědomte si, že HAT znamená pouze Hardware Attached on Top. Přepychový způsob, jak říct, deska přišroubovaná přes jinou desku…
V každém případě je tento AI akcelerátor za 70 dolarů opravdu výhodná koupě. A co je ještě důležitější, získáte skvělou nabídku výkonu pro vaši vestavěnou aplikaci, jak je uvedeno v následující části.
O Hailo-8L: Raspberry Pi si jako dodavatele akcelerátoru vybralo společnost Hailo. Hailo-8L je ořezaná verze nedávno oznámeného čipu Hailo-8, který nabízí 26TOPS. Hailo-8L nabízí chvályhodných 13TOPS a přináší Raspberry Pi tolik potřebný výkon v oblasti umělé inteligence.
Nedávno se AMD dostalo do čela žebříčku TOPS s 50TOPS, proto se 13TOPS zdá málo.Je třeba vzít v úvahu, že se bude používat ve světě embedded a 13TOPS přinese obrovskou výhodu pro okrajové aplikace typu počítačového vidění. Také notebook s RISC-V Linuxem v době psaní tohoto článku nabízí pouze 2TOPS.
Podle technického ředitele společnosti Hailo Aviho Bauma spotřebuje Hailo-8L na každé tři TOPS přibližně jeden watt energie, což je maximálně zhruba pět wattů. A pro typickou embedded zátěž, jako je zpracování 60 FPS videa v reálném čase, si vezme sotva jeden nebo jen dva watty.
Hailo se speciálně zaměřuje na nízkou spotřebu okrajových aplikací umělé inteligence & pohodlně poráží i NVIDIA. Níže je uveden jejich výkon ve srovnání s Jetson Nano a Xavier NX od společnosti NVIDIA.
Čip má širokou podporu pro frameworky AI, mezi které patří TensorFlow, TensorFlow Lite, Keras, PyTorch a ONNX. Vzhledem k výše uvedeným číslům a výkonové výhodě vypadá rozhodnutí Raspberry Pi s Hailo jasně.Architektura a design sady Raspberry Pi AI V současné době sada AI podporuje architekturu x86 i Arm Host. Generální ředitel Raspberry Pi, Eben, sdělil, že záměrně plánují samostatnou akcelerační desku, nikoli integrovaný NPU, jako je tomu u SoC Apple & Qualcomm, které byly nedávno uvedeny na trh pro počítače s AI.
Raspberry Pi již tuto oddělenou architekturu má, protože používá IO funkce na levném 40nm, zatímco CPU a GPU je na 16nm. I když je jádro na 16nm, přidání NPU k němu bude nákladné, protože se zvětší plocha.
Pokud chce uživatel použít Raspberry Pi 5 pro aplikaci, která není spojena s umělou inteligencí, ano, existují… a musí zbytečně vyhodit další peníze za nechtěné náklady na plochu die NPU. Nyní mají možnost volby & hardwaroví lidé mají rádi volby. I když samotná verze Raspberry Pi 3 byla použita pro AI aplikaci, AI zátěž byla na cloudu. Tento nový Raspberry Pi 5 s Hailo-8L dokáže sám na okraji zastat menší modely & optimalizované LLM.
Současný stav sady Raspberry Pi AI
Tento počítač Raspberry Pi je vybaven rozhraním PCIe 2.0, přes které komunikuje s akcelerátorem Hailo-8L. PCIe 2.0 má pouze verze Raspberry Pi 5. Pokud tedy chcete vyzkoušet funkci AI, musíte vyměnit desku. Nicméně i M.2 HAT+ pro Raspberry Pi 5 stojí jen asi 80 dolarů.
Souprava je dodávána s předmontovanou tepelnou podložkou pro lepší odvod tepla Hailo-8L, která sice spotřebuje pár wattů, ale bude výrazně teplejší. Raspberry Pi si uvědomuje, že pro mnohé tvůrce je to nový terén. Proto bude poskytovat více demo a softwarových nástrojů na podporu uživatelů vyvíjejících funkce UI.
Raspberry Pi tvrdí, že nastavení a spuštění aplikace AI bude otázkou několika minut.
Ačkoli hardware funguje tak, jak má, je třeba si uvědomit, že software zatím NENÍ ve skvělé formě. Ale během několika měsíců se vše stane skutečností.
Tým Tom’s Hardware dostal k dispozici testovací sadu a narazil na několik problémů. Podle jejich informací brzy přijde aktualizace operačního systému Raspberry Pi, která umožní několik funkcí umělé inteligence, což v současné době omezuje jeho použití. Podařilo se jim však detekovat obrázky včetně medvídka, jak ukazuje obrázek níže.
V ukázce není provedeno měření rychlosti, ale tým se zmínil, že „cítili“, že jen málo z nich je rychlejších. Tým Tom’s hardware také zmínil, že Raspberry Pi odhalil, že v budoucnu můžeme v případě potřeby spustit vlastní modely.
Případy použití
Raspberry Pi & Hailo tvrdí, že výhoda nízké spotřeby je významná pro mnoho hardwaru počítačového vidění, jako je rozpoznávání obrazu v okrajových uzlech. Společnost také říká, že mají různé modely včetně některých vhodných pro přidávání funkcí AI do her.
Vzhledem k tomu, že systém Windows 11 není určen pro Raspberry Pi, říkají, že tato sada není určena pro software Microsoft Copilot. Nevylučují však, že některé funkce budou fungovat. Vzhledem k tomu, že 13TOPS je téměř 1/3 ze 40TOPS předepsaných pro počítače Copilot+, něco skutečně fungovat bude.
Závěr
Obě společnosti očekávají, že komunita tvůrců přijde s nějakým jedinečným případem použití, který vyřeší jejich vlastní problémy. Věřím také, že síla komunity Raspberry Pi, skutečně něco změní. Kromě projektů ve třídách začne nově objevenou schopnost 13TOPS AI využívat i mnoho robotických aplikací.
Musíme počkat na další aktualizace softwaru Raspberry Pi, abychom měli lepší pracovní platformu. Je vzrušující, že generální ředitel Raspberry Pi zmínil, že tímto spojení se společností Hailo nekončí.
překlad článku od Gandhi KT
