Локальные ИИ-модели до 120 млрд параметров уместили в карманное устройство

Стартап Tiiny AI готовится представить устройство, которое позволит работать с большими языковыми моделями на локальной машине, обходясь без облачных сервисов. Опытный образец размером со смартфон уже справляется с задачами, для которых обычно требуются производительные рабочие станции.

Устройство под названием AI Pocket Lab оснащено 12-ядерным процессором на архитектуре Arm и специализированным нейромодулем, а общий объём оперативной памяти составляет 80 ГБ, также в устройство встроен твердотельный накопитель на 1 ТБ, а энергопотребление системы не превышает 65 Вт.

По словам разработчиков, такая конфигурация позволяет локально работать с моделями, содержащими до 120 миллиардов параметров, что открывает возможности для многоэтапного анализа данных, генерации контента и обработки конфиденциальной информации без передачи её на внешние серверы. Для эффективной работы со сложными моделями в устройстве применяются два метода. Первый, TurboSparse, задействует только часть нейронов на каждом шаге вычислений, снижая нагрузку. Второй, PowerInfer, динамически распределяет задачи между центральным процессором и нейромодулем.

Владельцы смогут устанавливать популярные открытые модели, такие как Llama, DeepSeek или Mistral, а также локально разворачивать различных ИИ-агентов. Устройство может заинтересовать разработчиков, исследователей и создателей контента, которым требуется автономная работа с нейросетями.

Ожидается, что новинка будет впервые показана публике в рамках выставки электроники CES в начале следующего года. Более подробная информация о сроках выхода и стоимости станет известна позже.