Forskare fördubblar hastigheten på AI-träning genom att tämja ineffektivitet i processoranvändning med långa svansar

Att utveckla stora språkmodeller som kan resonera och som klarar av avancerad programmering och planering i flera steg kräver enorma beräkningsresurser. Under den vanliga processen för förstärkt inlärning genererar modellerna flera potentiella svar för att lära sig det bästa svaret. Denna genereringsfas, som kallas rollout, kan ta upp till 85% av den totala exekveringstiden. Det skapar en kritisk flaskhals som kännetecknas av en långsvansfördelning, där processorer som avslutar kortare svar sitter inaktiva medan de väntar på att andra ska slutföra längre frågor.

För att eliminera denna bortkastade stilleståndstid har forskare från Massachusetts Institute of Technology, tillsammans med industriella och akademiska samarbetspartners, utvecklat ett system som kallas "Taming the Long Tail" (TLT). Metoden använder en adaptiv drafter-modell som tränas kontinuerligt på lediga processorer. Denna lättviktiga modell gissar snabbt de framtida utdata från den större målmodellen, som sedan verifierar alla gissningar samtidigt genom en teknik som kallas spekulativ avkodning.

Medan traditionell spekulativ avkodning förlitar sig på en statisk drafter som snabbt blir föråldrad under kontinuerliga träningsuppdateringar, justerar TLT-systemet kontinuerligt draftern under träning utan extra beräkningskostnad. En integrerad adaptiv utrullningsmotor optimerar processen ytterligare genom att upprätthålla en minneseffektiv pool av förinspelade grafer och dynamiskt välja den bästa avkodningsstrategin för varje ny inmatningsbatch.

Utvärderingar av flera olika resonemangsmodeller visar att denna förlustfria lösning accelererar träningshastigheten från början till slut med 70-110% jämfört med de senaste systemen. Genom att bevara de ursprungliga noggrannhetsnivåerna och ge en högkvalitativ utkastmodell som en gratis biprodukt, erbjuder denna metod en mycket effektiv väg för att minska energi- och ekonomiska bördor för att utveckla avancerade arkitekturer för artificiell intelligens.