Rusų kalbos tekstas kai kuriuose AI modeliuose gali pareikalauti daugiau žetonų nei anglų kalbos tekstas

Nepriklausomi vertinimai rodo, kad rusų kalbos tekstas kai kuriuose dirbtinio intelekto modeliuose gali pareikalauti daugiau žetonų nei toks pat tekstas anglų kalba, nes skaidikliai rusiškus žodžius dažnai padalija į daugiau dalių.

Nurodoma, kad šio skirtumo dydis priklauso nuo modelio. Viename vertinime teigiama, jog rusų kalbos įvestis buvo maždaug 18-23 proc. didesnė pagal žetonų skaičių modeliuose GPT-5.x/6, Gemini, Grok ir GLM, apie 38 proc. didesnė DeepSeek, 52 proc. didesnė Qwen, 86 proc. didesnė Kimi ir beveik tris kartus didesnė Claude Opus 5.

Kitame vertinime nurodyta, kad naudojant senesnį GPT-4 skaidymą į žetonus rusų kalbos tekstas galėjo kainuoti maždaug 2,3 karto daugiau nei anglų kalbos tekstas, tačiau naujesni skaidikliai šį skirtumą gerokai sumažino.