LLM-8850: Expansionskort förvandlar Raspberry Pi 5 till en lokal AI-plattform

Molnbaserade AI-modeller är ganska praktiska för vanliga användare. Vissa användningsfall kan dock kräva att dessa modeller körs lokalt för att säkerställa datasekretess eller för att arbeta runt en långsam eller obefintlig internetanslutning. Med detta sagt krävs det en viss prestanda för att köra stora språkmodeller eller till och med AI-assisterad videoanalys. Det senare kan till exempel vara användbart för att räkna personer som passerar genom entrén till en byggnad.

Med M5Stack LLM-8850har ett annat expansionskort som accelererar just dessa AI-applikationer nu kommit ut på marknaden. Det drivs av en Axera AX8550 SoC med fyra Cortex-A55-kärnor och en NPU med en prestanda på 24 TOPs. Som jämförelse kan nämnas att NPU:er som är integrerade i moderna AMD- och Intel-processorer erbjuder ungefär dubbelt så mycket prestanda. En VPU finns också ombord och kan samtidigt avkoda upp till 16 videoströmmar i Full HD-upplösning. Kortet har dessutom 8GB RAM-minne och levereras med en kylfläns och en fläkt.

Kortet är anslutet via en M.2 Key M-plats och använder två PCIe 2.0-banor. Kortet mäter 1,68 x 0,94 x 0,38 tum och är kompatibelt med Raspberry Pi 5 och andra enkortsdatorer eller till och med mini-pc:er samt olika AI-ramverk. Sist men inte minst har M5Stack LLM-8850 ett officiellt pris på 99 USD, men ytterligare frakt- och importavgifter kan tillkomma.