Utvecklare kringgår begränsningarna i ” Apple ” för att frigöra M4:s sanna AI-potential

Apple's M4 -processorer har en del användbara AI beräkningskraft, men företaget har historiskt sett hållit hårdvaran strikt låst. Som standard är Neural Engine inuti M4 helt begränsad till inferens. Detta innebär att utvecklare endast kan använda den för att köra förtränade AI-modeller istället för att faktiskt träna nya från grunden.

En utvecklare har dock lyckats kringgå dessa strikta programvarubegränsningar genom att fullständigt bakåtkonstruera chipet och därmed frigöra 15,8 TFLOPS av dold AI-beräkningskraft. Genombrottet kommer från en forskare som går under namnet 0x0SojalSec, som nyligen delade kod på s GitHub där det beskrivs i detalj hur hen utnyttjade M4:ans sanna potential. Det som gör denna bedrift särskilt imponerande är att den genomfördes helt utanför Apple s officiella utvecklingsmiljö.

Eftersom Apple inte ger de behörighetsnivåer som krävs för att kommunicera direkt med Neural Engine för dessa avancerade uppgifter, var utvecklaren tvungen att hitta ett sätt att arbeta utan att använda standardverktyg som CoreML, Metal eller ens förlita sig på grafikprocessorn. För att lyckas med detta byggde de ett anpassat Model Intermediate Language från grunden. Denna anpassade programvara lyckades överbrygga klyftan, vilket möjliggjorde fullständig backpropagation och transformer-träning direkt på Neural Engine i Apple.

Eftersom hårdvaran är starkt begränsad på grund av sin konstruktion var utvecklaren också tvungen att använda några mycket smarta lösningar för att hålla systemet stabilt. Om en process till exempel fastnar under den intensiva träningsfasen använder det anpassade språket ett specifikt exekveringskommando för att i praktiken starta om processen. Detta gör att systemet kan uppdatera sitt aktuella tillstånd och återuppta maskininlärningen direkt utan att hela programmet kraschar.

Hastigheten var också en viktig faktor för att få denna tunga arbetsbelastning att köras effektivt. För att säkerställa att träningen fungerade så smidigt som möjligt konfigurerade utvecklaren processen så att allt skrevs direkt till systemets RAM-minne. Genom att aktivt undvika det betydligt långsammare NAND-flashminnet förblev hela operationen otroligt snabb. För alla som använder en M4 -utrustad Mac eller iPad bevisar denna fascinerande lösning att processorn mer än väl klarar av arbetsbelastningar vid AI-träning, även om Apple officiellt föredrar att hålla just dessa funktioner låsta.