GuppyLM: Vem som helst kan träna denna lilla AI

Medan AI-modellerna blir allt större, dyrare och mer ogenomskinliga går GuppyLM i motsatt riktning - genom design. Detta lilla projekt med öppen källkod är en språkmodell med endast cirka 8,7 miljoner parametrar, vilket är betydligt färre än moderna flaggskeppsmodeller, och den identifierar sig själv som en fisk vid namn Guppy. Guppy känner bara till livet i ett akvarium. Målet är inte att konkurrera med ChatGPT eller andra stora modeller. Istället ska GuppyLM visa att en LLM inte behöver vara mystisk - och att det inte nödvändigtvis krävs expertkunskaper för att träna en LLM.

GuppyLM tränades på 60.000 syntetiska konversationer. Innehållsmässigt är modellen mycket begränsad, men det är just det som gör den anmärkningsvärt konsekvent. Guppy talar i korta meningar med små bokstäver och förstår inte mänskliga abstraktioner som politik, pengar eller telefoner. Eftersom denna personlighet är fast inbyggd i modellen håller sig Guppy alltid inom sitt fiskperspektiv. GitHub erbjuder också en webbläsardemo där modellen körs lokalt i webbläsaren. Alternativt kan den förtränade versionen startas via Colab eller köras lokalt med Python. Den som vill gå ett steg längre kan till och med träna sin egen mini LLM direkt med den förberedda Colab notebook - en webbläsarbaserad programmeringsmiljö.

Själva träningsprocessen är relativt enkel. Modellen matas med ett stort antal exempelpar som består av en inmatning och ett matchande svar. I den förtränade GuppyLM-modellen omfattar dessa hälsningar, frågor om mat, vatten, ljus, sömn eller meningen med livet - allt ur en liten fisks perspektiv. Utifrån dessa exempel lär sig modellen vilken token som ska komma härnäst. Enkelt uttryckt är tokens små textenheter i vilka ord bryts ned. Under varje utbildningssteg jämför modellen sin förutsägelse med det önskade svaret och justerar sina interna vikter i enlighet med detta. På så sätt lär sig GuppyLM gradvis hur en fisk ska tala.