Red Hat добавляет в свой портфель ИИ-платформу Red Hat AI 3.4

Red Hat выпустила Red Hat AI 3.4 — обновлённую платформу для корпоративного ИИ, заточенную под крупномасштабный инференс и развёртывание агентного интеллекта в гибридных облаках. Ключевая фича релиза — модель как услуга (MaaS). Разработчики получают единый управляемый интерфейс с доступом к отобранным моделям через OpenAI-совместимые API, а администраторы могут отслеживать использование и настраивать политики. Причём единое управление работает одинаково для внутренних и внешних моделей. Сложные задачи автоматизируют AutoRAG и AutoML где от выбора стратегий извлечения данных до построения и оптимизации моделей.

В основе всей системы лежит открытая библиотека vLLM, которую дополняет кубернетес-нативный стек для инференса llm-d. В этой версии общедоступной сделали поддержку спекулятивного декодирования: оно ускоряет ответ в два-три раза с минимальным влиянием на качество и снижает стоимость взаимодействия. А ещё vLLM теперь умеет работать на CPU, что пригодится для небольших языковых моделей. Для управления инструментами агентов добавили каталог серверов MCP и шлюз MCP.

Чтобы встроить корпоративные данные в работу с моделями, в Red Hat AI 3.4 появилось управление промптами и центр оценки точности, качества и безопасности. Центр не завязан на конкретные фреймворки и заменяет разрозненные методы тестирования единым подходом. А Prompt Lab and Registry — централизованное хранилище промптов, которое становится единым источником достоверной информации для моделей и агентов. Трассировка построена на MLflow: она даёт сквозной журнал аудита для всего жизненного цикла промптов, эмбеддингов и RAG-конфигураций через OpenTelemetry. MLflow также отвечает за отслеживание экспериментов и управление артефактами для генеративного и прогнозного ИИ.

Платформа изначально поддерживает ускорители NVIDIA Blackwell и AMD Instinct MI325X. Архитектура Red Hat AI 3.4 унифицирована и может работать непосредственно в управляемых облаках сторонних провайдеров, например через Red Hat AI Inference в IBM Cloud. Это даёт операционную согласованность на разном оборудовании и у разных облачных хостингов. Все подробности о релизе можно узнать на официальном сайте.