Pristatytas MTGBench – kalbos modelių daugiapakopiam samprotavimui vertinti skirtas etalonas
Yandex ir School of Data Analysis studentai sukūrė ir viešai paskelbė MTGBench – etaloną, skirtą vertinti, kaip kalbos modeliai susidoroja su sudėtingomis, daugiapakopėmis samprotavimo užduotimis.
MTGBench sudaro septyni tekstiniai žaidimai, tarp jų – Wordle, Situation Puzzles („Danetki”), Alias ir Wheel of Fortune.
Tyrėjai išbandė 16 neuroninių tinklų modelių, įskaitant Qwen, Gemini ir GPT.
Kartu parengtas straipsnis buvo priimtas į EMNLP 2026.
