Kūrėjas aleko_so teigia, kad Google parodė miegą imituojantį AI, kuris geriau išsaugo ankstesnes žinias
YouTube kūrėjas aleko_so teigia, kad Google pristatė dirbtinio intelekto sistemą HOPE, kuri gali toliau mokytis ne taip greitai pamiršdama ankstesnę informaciją. Pasak jo, įprastos kalbos modelių problemos yra dvi: pokalbio metu įgyta informacija neišlieka uždarius pokalbį, o papildomai mokant modelį naujais duomenimis gali pasireikšti vadinamasis katastrofinis pamiršimas.
Kūrėjo pasakojimu, HOPE veikimas paremtas ciklu, panašiu į miegą. Kai sistema „budi“, nauja informacija pirmiausia patenka į greitesnius atminties sluoksnius. Vėliau, „miego“ metu, šios žinios perkeliamos į naujus svorius lėtesniuose ilgalaikės atminties sluoksniuose, nekeičiant senųjų svorių. Jis taip pat sako, kad modelis pats susikuria treniravimo pavyzdžių, maišo įprastai kartu neveikiančias dalis, atsirenka geriausius „sapnus“ ir iš jų mokosi, tikrindamas, ar iš tiesų tapo geresnis.
Anot aleko_so, toks metodas buvo išbandytas mokant sistemą dviejų anksčiau nematytų kalbų vieną po kitos. Jis teigia, kad įprastas AI išmokęs antrą kalbą beveik pamiršo pirmąją, o HOPE išsaugojo beveik abi. Kūrėjo teigimu, naujų faktų dalis padidėjo nuo 31 proc. iki 48 proc., o svarbiausią vaidmenį čia atliko būtent „sapnai“.
Vaizdo įrašo pabaigoje aleko_so tai pateikia kaip ženklą, kad dalis AI sistemų gali būti kuriamos taip, kad mokytųsi toliau ir po pirminio apmokymo. Jis taip pat išsako asmeninę mintį, kad tokie darbai verčia susimąstyti, ar ir žmonės patys nėra AI.
