NVIDIA pristatė Nemotron 3 Ultra: naujas hibridinis AI modelis su 550 mlrd. parametrų
NVIDIA pristato Nemotron 3 Ultra
NVIDIA neseniai pristatė naują dirbtinio intelekto modelį Nemotron 3 Ultra, turintį 550 milijardų parametrų. Šio modelio svarba slypi ne tik jo dydyje, bet ir unikalioje hibridinėje architektūroje.
Hibridinė architektūra
Nemotron 3 Ultra nėra įprastas Transformer modelis. Jis naudoja Latent Mixture-of-Experts dizainą, kuris derina Mamba-2 būsenos erdvės sluoksnius su pasirinktais dėmesio sluoksniais. Tai reiškia, kad NVIDIA neatsisako Transformer technologijos, bet optimizuoja ją, pakeisdama brangius dėmesio mechanizmus efektyvesniais sekų apdorojimo komponentais.
Techninės specifikacijos ir našumas
Nemotron 3 Ultra gali pasigirti įspūdingais skaičiais: 550 milijardų bendrų parametrų, 55 milijardai aktyvių parametrų vienam ženkliui, iki 1 milijono ženklų konteksto langas ir Multi-Token Prediction sluoksniai spartesniam generavimui. Modelio svoriai, duomenys ir receptai buvo išleisti pagal OpenMDW-1.1 licenciją, todėl tai yra vienas ambicingiausių atviro svorio modelių.
Benchmark rezultatai
NVIDIA skelbia įspūdingus benchmark rezultatus: 71,9% SWE-Bench Verified, 87,0% GPQA be įrankių, 56,4 Terminal Bench 2.1 ir stiprus ilgų kontekstų našumas RULER su 1 milijonu ženklų.
Ateities perspektyvos
Transformer technologija ilgą laiką buvo pagrindinė AI architektūra, tačiau jos silpnybės taip pat gerai žinomos: standartinis dėmesys tampa vis brangesnis, kai kontekstas auga. Mamba stiliaus būsenos erdvės sluoksniai siūlo kitokį būdą efektyviau apdoroti ilgas sekas. Nemotron 3 Ultra rodo, kad ateities dideli modeliai gali būti ne „Transformer prieš Mamba“, o kruopščiai suprojektuoti hibridai, kurie derina abu.
Šis modelis ir jo architektūra gali reikšti naują etapą AI srityje, kur ne tik parametrų kiekis, bet ir architektūros efektyvumas bei duomenų kokybė taps svarbiausiais veiksniais.
