Tencent presenterar fyra kompakta Hunyuan-modeller med öppen källkod och parametrarna 0,5B, 1,8B, 4B och 7B

Tencent har släppt en ny serie kompakta Hunyuan-modeller: 0.5 miljarder, 1,8 miljarder, 4 miljarder och 7 miljarder parametrar; de är inriktade på låg effekt och edge-distributioner. Alla fyra konfigurationerna finns nu tillgängliga på GitHub och Hugging Face, och var och en kan köra inferens på ett enda grafikkort i konsumentklass, vilket gör dem lämpliga för bärbara datorer, smartphones, smarta stugsystem och annan resursbegränsad hårdvara.

Trots sina små storlekar uppnår modellerna ledande resultat inom språkförståelse, matematik och resonemang i flera offentliga benchmarks. Tencent tillskriver dessa resultat en "fusion reasoning"-arkitektur som gör det möjligt för användarna att välja mellan ett snabbtänkt läge för kortfattade svar och ett långsamtänkt läge för mer detaljerade resonemang i flera steg.

En viktig teknisk funktion är det inbyggda 256K token context-fönstret, som är tillräckligt för att ta in cirka 500.000 engelska ord i ett enda pass. Tencent lyfter fram interna applikationer som Tencent Meeting och WeChat Reading, där modellerna kan analysera ett helt mötesprotokoll eller en bok i full längd på en gång, med bibehållna karaktärsrelationer och handlingsdetaljer för senare frågor.

De fyra kompakta LLM:erna integreras med vanliga inferensramverk, inklusive SGLang, vLLM och TensorRT-LLM, och stöder flera kvantiseringsformat. Initiala godkännanden från Arm, Qualcomm, Intel och MediaTek indikerar kommande distributionspaket som är optimerade för deras respektive klientprocessorer.

Tidiga användningsfall understryker det praktiska fokuset i releasen. Tencent Mobile Manager rapporterar spamavlyssning på millisekundnivå utan dataöverföring utanför enheten. Samtidigt balanserar ett system med dubbla modeller i Tencents smarta kabinassistent strömförbrukningen ombord mot samtalsdjupet. Dessa exempel, menar Tencent, visar att små modeller kan leverera agentfunktioner i företagsklass när de konstrueras på ett genomtänkt sätt.