Как графические процессоры NVIDIA помогают ускорить OpenAI GPT-6 Astra Ultrafast

GPT-6 Astra Ultrafast, работающий на графических процессорах NVIDIA Blackwell, теперь доступен в API OpenAI и для соответствующих пользователей ChatGPT Work и Codex.

Ускоренный за счет оптимизации вывода с помощью моделей OpenAI, использующих возможности архитектуры NVIDIA Blackwell, Ultrafast обеспечивает генерацию токенов в 8 раз быстрее, чем стандартный режим Astra. Для разработчиков более быстрая генерация может сократить циклы редактирования-тестирования-отладки агентов кодирования, сократить время, затрачиваемое на генерацию ответов между вызовами инструментов, и сделать интерактивные приложения более отзывчивыми.

Более быстрый ответ имеет наибольшее значение, когда он повторяется в рабочем процессе: агент пишет код, использует инструмент, проверяет результат и решает, что делать дальше. Ultrafast привносит возможности Astra в эти чувствительные ко времени циклы. Инфраструктура NVIDIA AI помогает OpenAI предоставлять более полезные результаты моделей, когда это необходимо разработчикам.

Источник: NVIDIA (перевод)