Minidatorn RTX Spark lovar att övervinna minnesbegränsningar med hjälp av Mechrevos ovanliga AI-SSD

Den kinesiska PC-tillverkaren Mechrevo förbereder lanseringen av en ny mini-PC kallad Master Road X10. Till skillnad från konventionella mini-PC:ar är Master Road X10 främst utformad för att köra stora AI-modeller lokalt, och den har några intressanta anpassningar som faktiskt kan vara till hjälp. Master Road X10 använder Nvidias RTX Spark plattform, som kombinerar en Grace-processor med 20 kärnor med en Blackwell-GPU med upp till 6 144 CUDA-kärnor. Den stöder upp till 128 GB enhetligt LPDDR5X-minne.

Detta är plattformens maximala specifikationer, och Mechrevo har ännu inte bekräftat den exakta konfigurationen för sin mini-PC. Den mest intressanta funktionen är dock Mechrevos egenutvecklade AI-SSD. I stället för att uteslutande förlita sig på systemminnet kan tekniken flytta delar av stora AI-modeller från DRAM till NAND-flashminne. Den kan också bevara och återanvända tidigare bearbetad kontext, vilket i teorin minskar överflödiga beräkningar och omkostnader vid modellinläsning. Mechrevo hävdar att detta gör det möjligt för Master Road X10 att köra modeller med 80 miljarder, 120 miljarder och till och med 122 miljarder parametrar med bibehållen snabb respons. Tyvärr har den exakta SSD-kapaciteten inte angetts.

Det här är inte första gången Mechrevo har diskuterat tekniken. Under presentationen i september hävdade företaget att dess AI-SSD kunde öka de modellarbetsbelastningar som stöds med upp till 5,7 gånger och påskynda prefill-fasen med så mycket som 95 %. Laboratorietester på den bärbara datorn Mechrevo Yaoshi 15 Air ska ha visat en nästan fördubblad inferenshastighet. SSD:n sägs också stödja beständigt AI-minne genom att behålla användarpreferenser och kontextuell information mellan sessioner. Det finns dock några viktiga förbehåll.

Mechrevo har inte publicerat detaljerade prestandatester, inställningar för modellkvantisering eller testförhållanden som styrker dessa påståenden. Dessutom är NAND-flashminne betydligt långsammare än DRAM, vilket innebär att en SSD som kan rymma en större modell inte nödvändigtvis ger snabbare inferens. För närvarande är Master Road X10:s minneskonfigurationer, AI-SSD-kapacitet, anslutningsmöjligheter, pris och lanseringsdatum fortfarande okända. Det blir intressant att se om Mechrevo kan omsätta sina ambitiösa laboratoriepåståenden i mätbara prestandaförbättringar i verklig användning.