Garlic LLM leidžia PlayStation 4 konsolėje vietiškai paleisti Qwen3.5-9B modelį
Atvirojo kodo projektas Garlic LLM leidžia kalbos modelį Qwen3.5-9B paleisti vietiškai naudojant PlayStation 4 GPU. Veikimui nereikia nei asmeninio kompiuterio, nei interneto ryšio tuo metu, kai modelis naudojamas.
Nurodoma, kad tekstinių pokalbių režime sparta siekia nuo 31 iki 39 žetonų per sekundę, o kodo generavimo užduotyse – iki 43 žetonų per sekundę. Projektas taip pat palaiko 16 000 žetonų konteksto langą.
Be to, Garlic LLM palaiko balso pokalbius ir diktavimą, tam naudodamas atskirus kalbos atpažinimo ir kalbos sintezės modelius.

