NVIDIA Vera Rubin NVL72 демонстрирует высочайшую производительность в дебюте MLPerf Inference v6.1

Производительность системы, эффективное масштабирование инфраструктуры и непрерывная оптимизация программного обеспечения — ключевые рычаги, определяющие экономику выводов ИИ. Более высокая производительность системы означает создание большего количества токенов, что приводит к увеличению дохода. Эффективное масштабирование означает, что пропускная способность растет пропорционально добавлению оборудования, что требует меньше ресурсов для обслуживания пользователей в масштабе. Непрерывная оптимизация означает получение большей отдачи от инвестиций в инфраструктуру.

В основе всех трех лежит взаимозаменяемость платформ: одна и та же инфраструктура запускает любую модель и любую рабочую нагрузку: от обучения до вывода, от рекомендаций до рассуждений, от языка до видео, сохраняя высокий уровень использования.

Платформа NVIDIA специально создана для оптимизации по всем этим параметрам, о чем свидетельствуют опубликованные сегодня результаты MLPerf Inference v6.1:

Источник: NVIDIA (перевод)