AI-chippet Microsoft Maia 300 lanseras med enorma 288 GB HBM4-minne och en bandbredd på 18 TB/s

Microsoft har officiellt presenterat Maia 300, sin senaste specialdesignade AI-accelerator som ska minska företagets beroende av hårdvara från Nvidia och AMD. Den kommer kort efter att OpenAI presenterade sitt egenutvecklade chip, Jalapeno.  Chipet efterträder Maia 200, som lanserades tidigare i år. Det första Maia-chipet, Maia 100, presenterades 2023. 

Maia 300 använder en konstruktion med flera chipletar som omfattar en huvudsaklig beräkningsdel tillverkad med TSMC:s avancerade N2P-process (2 nm). Kapseln innehåller även separata minnes- och I/O-chipletar, vilket gör att Microsoft kan tillverka olika komponenter med processer som passar deras respektive krav. Enligt Reuters tillverkas vissa av de stödjande kretsarna med en billigare tillverkningsprocess på 3 nm.

Acceleratorn levererar upp till 13,8 PFLOPS i beräkningsprestanda med FP4 och 6,9 PFLOPS med FP8-precision. Dess angivna SoC-effekt är 950 W, vilket är betydligt högre än Maia 200:s 750 W. Microsoft har utrustat Maia 300 med åtta HBM4-stackar som tillsammans ger 288 GB minne och 18 TB/s bandbredd. Varje stack bidrar med 36 GB kapacitet, och HBM4-minnet arbetar med 9 Gb/s per stift. Som jämförelse har Maia 200 216 GB HBM3E-minne med 7 TB/s bandbredd, vilket gör den nya acceleratorn användbar för minnesintensiva inferensarbetsbelastningar.

Microsoft har också uppgraderat acceleratorns sammankopplingskapacitet. Maia 300 levererar 3,2 TB/s dubbelriktad bandbredd för uppskalning och använder ett Ethernet-baserat nätverk i två nivåer med ett anpassat transportprotokoll för AI. Ett enda rack rymmer 96 Maia 300-acceleratorer, medan uppskalningsarkitekturen stöder kluster med cirka 12 000 acceleratorer.

Utöver de rena specifikationerna hävdar Microsoft att Maia 300 kan leverera 40 % fler token per megawatt än ledande GPU-baserade AI-system. En fullt bestyckad konfiguration med 96 acceleratorer uppges ge upp till sju gånger högre tokengenomströmning på racknivå än Maia 200. Företaget har dock inte lämnat tillräckliga uppgifter om de konkurrerande GPU-konfigurationerna för att det ska gå att oberoende fastställa hur stor effektivitetsfördelen är.

Microsoft avser att börja driftsätta Maia 300 i produktionsmiljöer under 2027, med planer på att så småningom skala upp infrastrukturen till en kapacitet på flera gigawatt. Reuters rapporterar att företaget kan komma att driftsätta över en miljon Maia 300-kretsar nästa år, vilket understryker dess ambitioner att bli mindre beroende av AI-acceleratorer från tredje part.