На PS4 запустили ИИ-модель с 9 млрд параметров без ПК и Linux

На PS4 запустили ИИ-модель с 9 млрд параметров без ПК и Linux

Arkadiy Andrienko

На PlayStation 4 теперь можно запускать не только игры, но и языковую модель Qwen3.5-9B: разработчик Леонардо Алегрия (Leonardo Alegría) выпустил Garlic LLM, приложение с открытым исходным кодом для консоли Sony. Оно работает прямо на графическом процессоре PS4 и не требует Linux, внешнего компьютера или подключения к интернету.

Garlic LLM задействует GPU PS4 напрямую. Чтобы запускать на нём вычисления, Алегрия написал ядра на OpenCL C и командные буферы PM4. Приложение обходит стандартный графический драйвер и само формирует низкоуровневые команды, которые обычно создаёт драйвер.

Модель сжали примерно до 4,5 ГБ, чтобы она поместилась в память консоли. Большинство весов используют 4-битную точность, крупные матрицы — 3-битную, а кэш внимания — 4-битную.Контекстное окно составляет 16 тысяч токенов. При написании кода Garlic LLM генерирует до 43 токенов в секунду.

Нейросеть устанавливается на консоль, как обычное приложение
Нейросеть устанавливается на консоль, как обычное приложение

Приложение умеет отвечать голосом на семи языках: испанском, английском, португальском, русском, итальянском, французском и немецком. Диктовка доступна на 25 европейских языках — для неё достаточно удерживать кнопку и говорить вместо набора текста.

В Garlic LLM также есть режим Python. По запросу модель пишет программу на MicroPython, после чего консоль запускает её сама. Проект и инструкции по установке доступны в репозитории на GitHub. Для работы приложения нужна PS4 с установленным GoldHEN.

Хотели бы попробовать запускать языковую модель прямо на PS4?

🙂 Вот он — настоящий некстген
    Об авторе
    Комментарии0