Naujas proveržis DeepSeek modelio optimizavime
Unsloth kūrėjai pasiekė reikšmingą laimėjimą dirbtinio intelekto srityje, sumažindami DeepSeek-V3.1 modelio dydį nuo stulbinančių 715 GB iki vos 170 GB. Tai buvo pasiekta naudojant pažangią dinaminę kvantavimą. Šis metodas leido išlaikyti modelio kokybę, nes svarbiausi sluoksniai buvo palikti su 6–8 bitais, o mažiau svarbūs sluoksniai buvo dar labiau suspausti.
Dinaminės kvantavimo technologijos privalumai
Dinaminė kvantavimas tapo esminiu veiksniu šioje optimizacijoje. Kūrėjai atliko kruopščią kalibraciją, naudodami kelis milijonus tokenų, kad užtikrintų, jog svoriai nepakistų. Tai leido sukurti surinkimą, kurį galima paleisti įprastame kompiuteryje su 170 GB operatyviosios atminties.
Platesnės galimybės ir pritaikymas
Be to, buvo sukurta vieno failo TQ1_0 versija, kuri yra puikiai pritaikyta Ollama platformai. Ši versija palaiko ilgus kontekstus, temperatūros ir top_p parametrų nustatymą, o MoE sluoksniai geriau veikia RAM atmintyje. Tokiu būdu, didžiausią atvirojo kodo modelį dabar galima paleisti lokaliai be serverinės fermos.
Ateities perspektyvos entuziastams
Šis pasiekimas atveria naujas galimybes dirbtinio intelekto entuziastams. Vietoje vieno didelio 32B ‘monstro’, dabar galima naudoti mažų ir greitų modelių rinkinį, kiekvieną pritaikytą specifinei užduočiai. Tai žingsnis į ateitį, kur lankstumas ir efektyvumas tampa pagrindiniais dirbtinio intelekto sistemų elementais.
