Google naujovė AI srityje
Google pristatė LiteRT-LM — naująją platformą, kuri leidžia vykdyti didelius kalbos modelius tiesiai įrenginyje, nenaudojant debesų technologijos. Šis proveržis jau naudojamas Gemini Nano įrankiuose, tokiuose kaip Chrome, Chromebook Plus ir Pixel Watch.
LiteRT-LM privalumai
Vienas iš didžiausių LiteRT-LM privalumų yra jo galimybė atlikti skaičiavimus vietoje, todėl tai užtikrina greitesnę, pigesnę ir privatesnę sąveiką su dirbtiniu intelektu. Vartotojai gali tikėtis mažesnių duomenų perdavimo sąnaudų ir didesnio saugumo, nes visa informacija lieka jų įrenginyje.
Palaikomos platformos ir integracijos
LiteRT-LM yra parašytas C++ kalba ir palaiko įvairias platformas, įskaitant Android, Linux, macOS, Windows ir net Raspberry Pi. Tai reiškia, kad šis įrankis gali būti pritaikytas tiek mobiliuosiuose, tiek staliniuose įrenginiuose, taip pat ir mažesniuose, specializuotuose įrenginiuose.
Naujos galimybės kūrėjams
Kūrėjai dabar gali įtraukti pilnai veikiančius offline asistentus į bet kokias programas — nuo naršyklių iki išmaniųjų laikrodžių. Platforma taip pat palaiko darbą su CPU, GPU ir NPU, greitą užduočių perjungimą ir sesijų klonavimą, leidžiant kūrėjams lanksčiau naudoti dirbtinį intelektą.
