NVHBM от NVIDIA даёт +30% пропускной способности и снижает энергопотребление на 15%

NVIDIA представила NVHBM — новую память для XPU-инфраструктуры — и расширила NVLink Fusion, а первым партнёром сразу назвала Annapurna Labs из Amazon. Высокопроизводительная память станет частью более тесной интеграции между чипами NVIDIA и решениями Amazon.

NVHBM встраивает собственный контроллер памяти NVIDIA в базовый кристалл HBM, а не в основной кристалл XPU. По заявлению компании, такой подход даёт до 30% больше пропускной способности памяти по сравнению со стандартной HBM4E, снижает энергопотребление HBM до 15% и освобождает до 25% площади на кристалле XPU под вычисления.

NVIDIA также создаёт стандартную реализацию NVHBM, которую будут предлагать несколько поставщиков памяти. Кроме того, в NVLink Fusion партнёры получают доступ к NVLink chiplets, NVLink-C2C, NVLink Switches и системам NVIDIA MGX, а сама технология позволяет подключать кастомные XPU и CPU к rack-scale платформе NVIDIA AI infrastructure.

Первым партнёром по NVHBM NVIDIA называет Annapurna Labs, подразделение Amazon. Компаниям предстоит вместе развивать NVHBM и архитектуру NVLink scale-up, чтобы повысить производительность и эффективность ИИ-нагрузок.

В Amazon прямо высказались о проекте.

В NVIDIA отдельно уточняют, что Trainium4 станет первой линейкой Amazon, которая будет поддерживать NVLink Fusion вместе с GPU NVIDIA. Это значит, что ставка делается не только на саму память, но и на более тесную связку между будущими чипами Amazon и инфраструктурой NVIDIA.

Сможет ли NVHBM стать новым стандартом для ИИ-инфраструктуры или Amazon останется единичным партнёром?