10 gånger snabbare inferens jämfört med HBM4: d-Matrix går samman med AIchip för att producera världens första 3D-DRAM

Nvidias grepp om hela infrastrukturen för AI-hårdvara är fortfarande starkt, men en hel del företag strävar nu efter att erbjuda effektiva alternativ. För ett par år sedan, när Nvidia kämpade för att möta den ständigt ökande efterfrågan på inferenshårdvara, dök d-Matrix upp och tog tillfället i akt att positionera sig som en pålitlig leverantör av generativ AI-hårdvara för datacenter. Dess första dedikerade beräkningskort - det Corsair C8blev väl mottaget och företaget planerar nu att lansera en efterföljare med världens första massproducerade 3D-DRAM.

d-Matrix samarbetade med högpresterande AI-infrastruktur ASIC integratören AIchip från Taiwan för att utveckla 3D DRAM-lösningen, som sägs "eliminera flaskhalsarna i prestanda och kostnader som begränsar dagens AI-infrastruktur" Denna nya typ av RAM-minne kallas 3DIMC (3D stacked digital in-memory compute) testas för närvarande på d-Matrix Pavehawk-chip.

Den första kommersiella produkten med 3D-stackat DRAM förväntas bli d-Matrix inferensaccelerator Raptor (Nvidia Jetson AGX affiliate-länk), som kommer att ersätta de nuvarande Corsair-modellerna. d-Matrix uppskattar att 3DIMC-lösningen kan ge upp till 10 gånger högre inferenshastigheter än de snabbaste HBM4-baserade acceleratorer.

Sid Sheth, medgrundare och VD på d-Matrix, förklarar att 3D-stacked DRAM representerar "ett genombrott som gör AI inte bara snabbare, utan också mer kostnadseffektivt och hållbart i stor skala. 3DIMC representerar nästa logiska steg i vår färdplan mot att leverera effektiva inferensarkitekturer som håller jämna steg med den exponentiella tillväxten av generativ och agentisk AI."