NVIDIA выпустила ИИ, которому не нужно облако — он ищет в сети и пишет код прямо на PC

NVIDIA выпустила новые модели семейства Nemotron 3.5. Главная для обычных пользователей — Nemotron 3.5 Bolt 74B-A9B: она построена по схеме «смесь экспертов», поэтому из 74 млрд параметров одновременно задействованы только 9 млрд. Благодаря двухбитной квантизации модель помещается в 24 ГБ памяти и работает локально. С ней можно искать информацию в интернете, писать и отлаживать код, не отправляя данные в облако.

Bolt 74B-A9B уже доступна на Hugging Face и поддерживается llama.cpp, Ollama и LM Studio. Модель запускается на PC с GeForce RTX, рабочих станциях RTX PRO, DGX Spark и DGX Station, но создавали её прежде всего под ноутбуки RTX Spark, которые вышли 16 октября. У младших версий части этих ноутбуков, например Surface Laptop Ultra и ASUS ProArt P14, как раз 24 ГБ памяти.

Старшая модель линейки — мультимодальная Nemotron 3.5 Super VL со 120 млрд параметров, рассчитанная на специализированных ИИ-агентов, которые работают без перерыва. Она одинаково хорошо справляется с текстом и изображениями: распознаёт текст, разбирает таблицы, графики, PDF-документы и веб-страницы, умеет пользоваться инструментами. По оценке NVIDIA, Super VL — самая быстрая открытая агентная модель в своём классе: её пропускная способность в пять раз выше, чем у ближайшего конкурента. При этом в мультимодальных агентных задачах она, по словам компании, сопоставима с крупнейшей рассуждающей моделью NVIDIA, хотя примерно в пять раз меньше её.

Super VL уже доступна на Hugging Face, OpenRouter и в виде микросервиса NVIDIA NIM, причём компания открыла не только веса, но и датасеты с рецептами обучения. Модель уже встраивают в свои продукты Perplexity, CrowdStrike, Atlassian и Salesforce. Свои новинки NVIDIA выкладывает на площадку, которую сама же покупает: в сентябре компания договорилась о приобретении Hugging Face за $12,93 млрд (около 1,1 трлн рублей).

Третья модель, Nemotron 3.5 Bolt E4B, занимает всего 4 ГБ и рассчитана на устройства с GeForce RTX, Jetson и RTX/DGX Spark. Она сочетает естественное общение с многошаговыми агентными задачами и подойдёт для локальных голосовых ассистентов и интерактивных персонажей. Выход Bolt E4B запланирован на 23 октября — так линейка Nemotron 3.5 охватит всё, от корпоративных серверов до ноутбуков и компактных периферийных устройств.

А вы уже пробовали запускать нейросети у себя на компьютере или пока пользуетесь только облачными сервисами? Делитесь опытом в комментариях.