Parth Knows AI pasakoja, kad Jev be šaltinių dažnai spėlioja, nors rodo didelį pasitikėjimą
YouTube kūrėjas Parth Knows AI savo vaizdo įraše pasakoja apie Carnegie Melon tyrėjų bandymą, kuriame buvo vertinamas AI teisėjas Jev. Pasak kūrėjo, įmonėms kasdien reikia greitai įvertinti, ar AI atsakymai tikslūs, todėl tam naudojami kiti AI modeliai kaip vertintojai. Jis teigia, kad tyrime Jev buvo lyginamas su dar 16 vertintojų.
Pasak autoriaus, kasdieniuose vertinimuose ir faktų tikrinime pagal pateiktą šaltinį Jev pasirodė neblogai: jo rezultatas atsiliko mažiau nei trimis taškais nuo geriausių išbandytų vertintojų, o kaina buvo maždaug 277 kartus mažesnė. Tačiau, kaip pasakoja kūrėjas, situacija pasikeitė, kai trims vertintojams buvo pateikta 80 atsakymų be jokių šaltinių. Anot jo, Jev surinko apie 52 proc., o GPT 5.4 – apie 55 proc., nors spėjimų pasitikėjimo įverčiai siekė maždaug 90-96 proc.
Kūrėjas pabrėžia, kad šiame bandyme didelis pasitikėjimo rodiklis be šaltinio nebuvo patikimas. Vis dėlto jis sako, kad kai Jev būdavo visiškai tikras, jis buvo teisus 99 proc. atvejų, o kai nebūdavo tikras, tikslumas krisdavo iki 48 proc. Iš to, pasak autoriaus, tyrėjai sudarė dviejų žingsnių schemą: jei Jev rodo didelį pasitikėjimą, atsakymas priimamas, o jei ne – perduodamas didesniam modeliui.
Parth Knows AI teigimu, toks metodas leido išlaikyti 99 proc. geriausių vertintojų tikslumo už maždaug pusę kainos. Kartu jis perteikia ir pagrindinį perspėjimą: pasitikėjimo rodiklis, anot tyrėjų, yra signalas perduoti užduotį toliau, o ne garantija, kad atsakymas teisingas. Jis taip pat sako, kad nė vienu iš šiame darbe tikrintų vertintojų negalima aklai pasitikėti, jei nėra tinkamo šaltinio.
