HalachaBench įvertino 22 DI modelius pagal Izraelio vyriausiojo rabinato semicha egzamino klausimus
Projektas „HalachaBench“ išbandė 22 dirbtinio intelekto modelius, pateikdamas jiems 60 realių klausimų iš penkių 5787 metų Cheshvan mėnesio Izraelio vyriausiojo rabinato semicha egzaminų.
Modeliai atsakinėjo uždaru formatu, hebrajų kalba ir be interneto prieigos.
Pirmą vietą užėmė „Claude Fable 5.1“, surinkęs 79,7 balo iš 100.
Projekto duomenimis, parsisiunčiami modeliai surinko mažiau nei 11 balų.
Rezultatai buvo preliminarūs ir nebuvo oficialūs semicha egzamino įvertinimai.
