Nvidia RTX 5090 körs på macOS med ny anpassad drivrutin från Tiny Corp

Apple och Nvidia avslutade sitt partnerskap för många år sedan, vilket gjorde att Mac-användare stod utan officiellt GPU-stöd. Detta dödade effektivt CUDA på plattformen och tvingade utvecklare och forskare mot Apple 's eget Metal-ramverk. En ny drivrutin med öppen källkod från Tiny Corp har dock äntligen löst den biten genom att föra Nvidia Blackwell-hårdvara tillbaka till macOS-ekosystemet.

Projektet använder ett anpassat kärntillägg som heter Tiny GPU. Det gör att externa GPU:er, som RTX 5090, kan kopplas direkt till Apple Silicon Macs via Thunderbolt 5 eller USB4. Detta är ett stort tekniskt steg i sig, eftersom det helt och hållet undviker behovet av virtuella maskiner. I Alex Ziskinds demo användes en RTX 5090 med 32 GB VRAM framgångsrikt ihop med en Mac Mini M4 Pro (pris: 1399 USD på Amazon för 24 GB VRAM). $1399 på Amazon för varianten 24 GB/512 GB, här är vår detaljerade recension).

Anslutningen är stabil, men den aktuella programvarustacken är i ett tidigt skede. Drivrutinen förlitar sig på Tiny Grad-kompilatorn snarare än på inbyggda Metal- eller CUDA-optimeringar. Detta skapar ett prestandagap under tunga beräkningsuppgifter. När vi körde Llama 3.1 8B-modellennådde installationen ungefär 7,48 tokens per sekund. Även om detta är en stor vinst för kompatibiliteten, är det fortfarande långsammare än native Llama CPP on Metal, säger Alex, som är nästan tio gånger snabbare på motsvarande hårdvara.

Oavsett vilket är det verkliga värdet i det här projektet dess potential för framtida optimering. Den nuvarande flaskhalsen är inte Thunderbolt 5-kabeln, som hanterar modellens viktöverföring effektivt, utan effektiviteten hos de autogenererade kärnorna. För enkla chattgränssnitt är Blackwell-installationen snabb och ger en tid-till-första-token-hastighet som är tre till fyra gånger snabbare än inbyggda Metal-lösningar.

Installationsprocessen inkluderar godkännande av ett systemtillägg och körning av en Docker-baserad kompilatorpipeline. Det är uppenbart att det inte är en ersättning (ännu) för strömlinjeformade Metal-arbetsflöden, men det är ändå det första funktionella på flera år.