На Hugging Face появилась страница, где автор утверждает, что выложил полный чекпойнт модели Numbat — её связывают с Anthropic и семейством Mythos. Однако к подлинности файлов уже возникли вопросы.
В описании чекпойнта указаны примерно 14 триллионов параметров, 114 слоёв и гибридная архитектура GDN/MLA. Для MoE заявлены 1 224 эксперта: на запрос задействуются 48 из них и один общий. Также автор утверждает, что 772 файла с весами модели занимают около 7,72 терабайта.
По словам автора, это промежуточный чекпойнт предобучения, сохранённый на шаге 1 830 000 из примерно 1,96 миллиона, но Hugging Face автоматически определяет 6,8 триллиона параметров, тогда как автор страницы заявляет о 14 триллионах.
Файлы модели скачали около пяти тысяч человек. Отдельно автор указывает, что снимок сделан до постобучения и не включает RLHF (обучение с подкреплением на основе обратной связи от человека). К слову, летом стало известно, что NVIDIA ведёт переговоры о покупке Hugging Face за $13 млрд.
Как вы думаете, достаточно ли расхождения в оценке параметров, чтобы усомниться в подлинности этой утечки?
-
Правообладатели песен Элвиса Пресли потребовали от Anthropic $41 млн -
Anthropic представила Claude Duet: ИИ-агент сам пишет пользователю, когда нужна его помощь -
Власти смогут заблокировать ИИ-модель Anthropic, только если она грозит гибелью или ущербом свыше $1 млрд -
«Одна из самых значимых технологий в истории человечества»: создатели Claude выводят Anthropic на биржу