Parth Knows AI teigia, kad Google išbandė AI modelį, kuris mokosi „miegodamas“
YouTube kūrėjas Parth Knows AI teigia, kad Google išmokė dirbtinio intelekto modelį tobulėti „miegant“. Jo pasakojime aiškinama, kad įprasti kalbos modeliai paprastai neišsaugo to, ką išmoksta konkretaus pokalbio metu, o papildomai mokomi gali pradėti pamiršti ankstesnę informaciją. Kūrėjas tai sieja su reiškiniu, vadinamu katastrofišku pamiršimu.
Anot jo, Google tam pritaikė principą, panašų į žmogaus miegą. Kūrėjo teigimu, modelis, pavadintas Hope, budrumo metu naują informaciją kaupia greitosios atminties sluoksniuose, o „miego“ metu ją perkelia į naujus svorius lėtesniuose ilgalaikiuose sluoksniuose, nepakeisdamas senųjų svorių. Jis taip pat sako, kad „sapnuodamas“ modelis susikuria savo mokymosi pavyzdžius, sujungia įprastai kartu neveikiančias dalis ir pasilieka geriausius variantus tolesniam mokymuisi.
Pasak Parth Knows AI, toks metodas pasiteisino bandant modelį mokyti dviejų anksčiau nematytų kalbų vieną po kitos. Jis tvirtina, kad įprastas modelis išmokęs antrą kalbą daugiausia pamiršo pirmąją, o šis išlaikė beveik abi. Kūrėjas taip pat nurodo, kad naujų faktų rodiklis pakilo nuo 31 proc. iki 48 proc., o didžiąją dalį darbo atliko būtent tie „sapnai“.
Vaizdo įraše jis tai pateikia kaip pavyzdį, kad Google parodė AI sistemą, kuri gali toliau mokytis ne tik vienkartinio pradinio mokymo metu, bet ir vėliau. Tai yra kūrėjo pateikiamas aiškinimas ir vertinimas.
