Axera AX8860P tar sikte på Nvidia DGX Spark med en proprietär AI-accelerator

Nvidias DGX Spark har fått en oväntad konkurrent från Kina (tips från CNX Software). Chiptillverkaren Axera presenterade sin AX8860-serie, en familj av AI-inriktade processorer utformade för att köra stora språkmodeller lokalt. Kretsarna ska driva kompakta AI-datorer från tillverkare som Sipeed och Radxa, där den förstnämnda hävdar att dess kommande MaixStation kan överträffa Nvidias DGX Spark i vissa arbetslaster.

Axera AX8860P har 16 Arm Cortex-A55-processorkärnor och en dedikerad neural bearbetningsenhet (NPU) som kan leverera upp till 256 TOPS i FP4-beräkningsprestanda. Kretsen tillverkas med en 6 nm-process och stöder upp till 128 GB LPDDR5X-minne via ett 256-bitars gränssnitt, vilket ger en maximal bandbredd på 273 GB/s. Övriga specifikationer omfattar PCIe 5.0-anslutning, AXLink-förbindelser mellan kretsar samt omfattande funktioner för videokodning och videoavkodning.

Kärnan i AX8860P:s AI-funktioner är Axeras egenutvecklade AXNeutron-arkitektur. Till skillnad från Blackwell-GPU:n i Nvidias DGX Spark är AXNeutron en specialutvecklad arkitektur för neural bearbetning som enligt Axera använder en programmerbar dataflödesdesign optimerad för AI-inferens. Företaget hävdar att detta tillvägagångssätt förbättrar hårdvaruutnyttjandet och minskar onödiga dataförflyttningar, vilket potentiellt kan ge fördelar vid körning av Transformer-baserade språkmodeller.

Axera har dock avslöjat relativt lite om NPU:ns underliggande hårdvara. Därför är det svårt att avgöra hur stor del av den uppgivna prestandan som kommer från arkitekturförbättringar, minnesbandbredd eller optimeringar på mjukvarunivå. Den marknadsförda siffran på 256 TOPS är imponerande på papperet, men säger relativt lite om uthållig prestanda vid verkliga arbetslaster.

Sipeed (ja, jag vet), som utvecklar den AX8860P-drivna MaixStation, hävdar att dess implementation kan överträffa Nvidias DGX Spark i utvalda prestandatester för LLM-inferens. Företaget tillskriver resultaten delvis AX8860P:s inbyggda acceleration för täta FP4-beräkningar och ett effektivare utnyttjande av tillgänglig minnesbandbredd. Dessutom kommer Sipeeds prestandatester från tillverkaren själv och omfattar specifika modeller och inferenskonfigurationer. Utan oberoende tester med identiska modeller, kvantiseringsinställningar och programvarumiljöer går det inte att fastställa om AX8860P konsekvent överträffar DGX Spark.

Programvarustödet omfattar kompatibilitet med populära AI-ramverk, däribland PyTorch, vLLM och SGLang, men kompatibilitet innebär inte nödvändigtvis likvärdig prestanda, likvärdigt funktionsstöd eller lika enkel driftsättning.

Sipeed planerar att erbjuda sin MaixStation med 32 GB och 128 GB LPDDR5X-minne. Företaget siktar på priser under 2 000 respektive 4 000 dollar, med en Kickstarter-kampanj som väntas mot slutet av 2026. Radxa utvecklar också en AX8860P-driven Pocket Supercomputer, medan Sipeed har presenterat planer på acceleratorkonfigurationer med flera kretsar.