En miljon token är färre ord än du tror: vi har mätt det

Invändningen dyker upp med säkerhet så fort någon nämner ett andra hjärna. Dagens språkmodeller kan bearbeta en miljon token, vissa till och med fler. Så varför överhuvudtaget sortera, tagga och länka anteckningar när man bara kan lämna hela högen till AI:n?

Svaret handlar om en siffra som nästan ingen kontrollerar. Token är de bitar som en modell delar upp texten i, och den enhet som den debiterar efter. Hur mycket text en miljon av dem rymmer beror på språket och på metoden som används för uppdelningen, tokeniseraren. Så vi mätte det istället för att gissa.

Hur vi räknade

Vi utgick från två texter med identiskt innehåll: den tyska och den engelska versionen av en av våra egna tidningsartiklar. Den tyska versionen hade 1 134 ord och den engelska versionen hade 1 276 ord. Båda räkningarna omfattar endast brödtext och underrubriker, utan bildtexter eller källförteckning. Allt mellan två mellanslag räknas som ett ord. Båda versionerna bearbetades med hjälp av biblioteket js-tiktoken, version 1.0.20, en gång med kodningen o200k_base som OpenAI använder för sina nuvarande modeller, och en gång med cl100k_base, den äldre kodningen som används av GPT-4 och GPT-3.5.

Den ofta citerade tumregeln är att en miljon token motsvarar 750 000 ord. För engelska är denna uppskattning för konservativ; för tyska är den betydligt för generös. Jämförelsen mellan de två kodningarna säger mer. Samma tyska text ger 1 747 token med den ena och 2 088 med den andra. En skillnad på tjugo procent, enbart på grund av att uppdelningen görs med olika metoder. Den engelska texten förblev praktiskt taget oförändrad, med 1 200 respektive 1 202 token per ord. Framstegen inom tokeniserare gick nästan uteslutande till andra språk än engelska.

För Claude och Gemini är samma test inte möjligt, eftersom Anthropic och Google inte offentliggör sina tokeniserare. Anthropic noterar dock i sin prissättningsdokumentation att Claude 4.7 och nyare modeller använder en annan metod som genererar cirka 30 procent fler token för samma text än sina föregångare. Siffrorna nedan är därför en storleksordning, inte ett exakt värde.

Vad detta innebär för en verklig samling

Vi mätte en samling som har vuxit genom åren: cirka 470 anteckningar, extrapolerat till 350 000 till 400 000 ord. Det ryms precis i ett kontextfönster, och det fortsätter att växa.

Men ett kontextfönster fylls på och betalas för på nytt vid varje enskild fråga. Modellen kommer inte ihåg. Den läser från början varje gång. Med GPT-5.6 Sol kostar en miljon inmatningstoken fem amerikanska dollar, och från 272 000 token i en enda förfrågan blir det tio. 400 000 tyska ord motsvarar ungefär 616 000 token, vilket placerar dem i den dyra prisnivån, alltså 6,16 dollar. Per fråga. Tio frågor på en eftermiddag blir sammanlagt cirka 60 dollar. Notion Business, det dyraste abonnemanget i vår systemjämförelse, kostar 19,50 euro per användare och månad.

Det finns två förbehåll. Denna beräkning avser API:et, det gränssnitt som utvecklare använder för att vända sig direkt till en modell, inte konsumentabonnemangen. Användare av ChatGPT Plus eller Claude Pro betalar inte per token men når så småningom användningsgränser. Och så finns cachelagring. Vid en cacheträff debiterar OpenAI och Anthropic endast en tiondel av ingångspriset, vilket innebär att 6,16 dollar blir 62 cent. Beroende på inställningarna varar cachen dock bara mellan fem minuter och en timme.

Varför sortering fortfarande lönar sig

Poängen är inte att ett anteckningssystem skulle vara billigare än AI. Det minskar helt enkelt den mängd information som överhuvudtaget behöver matas in i sammanhanget. En ordentlig fulltextsökning, eller ett semantiskt index som söker efter betydelse snarare än efter nyckelord, ger modellen tio relevanta anteckningar istället för fyrahundra.

Det förvandlar 616 000 token till ungefär 9 000 och 6,16 dollar till fem cent. För token är det ett förhållande på 67 till 1, för priset 123 till 1, eftersom den lilla förfrågan ligger under den dyra tröskeln på 272 000 token. Utöver detta tillkommer en effekt som ingen prislista visar. En modell som läser tio relevanta anteckningar ger mer precisa svar än en som plöjer igenom fyrahundra.

Den verkliga gränsen är sällan kontextfönstret

Om du inte arbetar via API:et stöter du ändå på en annan begränsning mycket tidigare. Med ChatGPT beror antalet filer per projekt på abonnemanget: fem med gratisabonnemanget, 25 med Go och Plus, och 40 med Pro, Business och utbildningsabonnemangen. Gemini Notebook tillåter 50 källor per anteckningsbok i gratisplanen Standard, 100 i Plus-planen och 300 i Pro-planen. En enskild källa kan innehålla upp till 500 000 ord.

Det som sticker ut är hur inkonsekventa dessa siffror är. OpenAI anger 25 filer för Plus-abonnemanget på sin hjälpsida för projekt, men 20 i hjälpavsnittet för filuppladdningar, och båda sidorna uppdaterades senast under samma vecka. Om du planerar att förlita dig på detta bör du kontrollera antalet i ditt eget konto istället för att lita på dokumentationen.

Det förskjuter frågan. Det som avgör om en samling kan sökas i är inte de en miljon token, utan om verktyget tar in den överhuvudtaget. Och det är precis där ditt eget anteckningssystem kommer till sin rätt, eftersom det inte väljer vad som ska in, utan bara vad som kommer ut.

Vad talar emot hela idén

Ett andra hjärna kräver fortfarande ansträngning, och programmen har egenheter som är värda att känna till innan du börjar. Obsidian och Joplin fungerar även på mobiler, men de synkroniseras inte i bakgrunden. Obsidian besvarar den frågan i sin egen FAQ om synkronisering med ett klart nej. Filer synkroniseras endast medan programmet är igång. På en dator märker man det knappt, eftersom appen oftast är öppen. Men skriver man en anteckning när man är på språng, sveper bort appen, kommer den inte att nå datorn förrän man öppnar appen på mobilen igen. Detta gäller Obsidian Sync, den betalda interna tjänsten. Om du istället förvarar mappen i iCloud eller synkroniserar den med Syncthing sköter den tjänsten jobbet åt dig. Notion begränsar enskilda filer till 5 MB i gratisversionen. Och med Gemini Notebook erbjuder Google ingen återvändo. Radera en anteckningsbok och källorna försvinner med den. Endast Gemini-konversationerna flyttas tillbaka till chattlistan.

Det bästa rådet är därför att samla anteckningar i två veckor och sedan bestämma dig. Om du till slut har trettio anteckningar behöver du inget system, utan bara en mapp. Om du till slut har trehundra kommer du själv att märka vad som saknas när du söker.