AI utan molnet: Den här språkmodellen får nu plats på din iPhone

Stora språkmodeller kräver vanligtvis ett datacenter eller åtminstone en kraftfull dator med gott om minne. Det amerikanska startupföretaget PrismML, som grundades av forskare vid Caltech och finansieras av bland annat Google och Khosla Ventures, lanserade den Bonsai 27B den 14 juli: en AI-modell med 27 miljarder parametrar vars minsta version endast tar upp 3,9 GB. För första gången ryms en modell av denna klass i minnet på en iPhone 17 Pro. Vår guide AI utan molnet visar hur du konfigurerar en språkmodell på din egen dator.

Minskad från 54 GB till under 4 GB

Den baseras på Alibabas öppen källkodsmodell Qwen3.6 27B, som tar upp cirka 54 GB vid full precision. PrismML lagrar varje vikt i det neurala nätverket med 1 till 2 bitar istället för de vanliga 16. Resultatet är två versioner: en ternär version på nominellt 5,9 GB för bärbara datorer och en 1-bitarsversion på 3,9 GB för mobiltelefoner. Enligt tillverkaren behåller den bärbara datorvarianten 95 procent av den ursprungliga prestandan i 15 prestandatester, medan mobilvarianten behåller 90 procent. Matematik och programmering påverkas praktiskt taget inte alls. Vikterna är fritt tillgängliga under Apache 2.0-licensen och körs via Apples MLX-ramverk på iPhone, iPad och Mac, samt via CUDA på NVIDIA-grafikkort.

Vad iPhone kan göra och var gränserna går

Enligt vitboken genererar 3,9 GB-versionen cirka 11 tokens per sekund på en iPhone 17 Pro Max (tillgänglig på Amazon). En fulladdad batteri räcker till cirka 67 000 token. Efter drygt fem minuters kontinuerlig användning stryps chipets prestanda. Benchmark-siffrorna kommer dock från tillverkaren själv. Deras egen tabell avslöjar de största bristerna inom bildförståelse och verktygsanvändning – just de områden där AI-agenter behöver utmärka sig. Dessutom varierar de faktiska nedladdningsstorlekarna för bärbarversionen mellan 7,2 och 8,5 GB beroende på körtid, vilket är betydligt mer än vad som angetts. Det finns ännu ingen färdig app för vanliga användare. För närvarande är målgruppen utvecklare och teknikentusiaster. Den som bara vill testa modellen kan hitta en webbläsardemo på Hugging Face.

Apple undersöker redan tekniken

PrismML:s VD Babak Hassibi berättade för CNBC att Apple och andra företag för närvarande testar modellerna med avseende på hastighet, energiförbrukning och prestanda. Han beskrev diskussionerna som befinner sig i ett mycket tidigt skede. För användarna är det riktningen som är viktigast: ju mer AI som körs direkt på enheten, desto mindre personlig data hamnar i molnet. Vi har redan skrivit i detalj om vad din AI lagrar i hemlighet och hur du kan förhindra det.