„Parth Knows AI“ svarsto, kad GPT-6 Astra proveržį galėjo lemti ne nauja architektūra, o geresnis mokymas
YouTube kūrėjas „Parth Knows AI“ teigia, kad naujasis „OpenAI“ modelis „GPT-6 Astra“ pasiekė 99,9 proc. rezultatą, jo žodžiais, sunkiausiame kada nors sukurtame samprotavimo teste. Anot jo, dalis žmonių tai jau vadina AGI, tačiau pats kūrėjas svarsto, kad toks šuolis nebūtinai reiškia naują slaptą architektūrinį sprendimą.
Jis aptaria gandus apie vadinamąjį „recurrent depth“, dar vadinamą „looped transformer“. Kūrėjo aiškinimu, tai reikštų ne didesnį modelį, o tų pačių sluoksnių pakartotinį naudojimą, kelis kartus perleidžiant per juos įvestį. Vis dėlto jis sako, kad „OpenAI“ platformoje X atmetė tokią versiją ir nurodė, jog gylis nuo GPT-4 skiriasi tik nežymiai, o vieši pranešimai esą nubėgo per toli.
„Parth Knows AI“ daro išvadą, kad jei tai nebūtų vien architektūros pergalė, tuomet ir pranašumas prieš kitus modelius neturėtų būti milžiniškas. Jis pažymi, kad nepriklausomuose, ne pačios „OpenAI“ skelbiamuose testuose „Astra“, jo vertinimu, yra tarp lyderių, bet ryškiai neatsiplėšia.
Pasak kūrėjo, labiausiai tikėtinas paaiškinimas yra paprastesnis: geresnė mokymo schema, geresni duomenys, geresnis filtravimas ir geresnis sustiprinamasis mokymas. Jis tai pateikia kaip savo nuomonę ir sako manantis, kad pažangą galėjo lemti tiesiog šiek tiek geriau išmokytas modelis, o ne koks nors išskirtinis AGI lygio architektūrinis sprendimas.
