← Главная новостей | Торговый зал
2026-11-04 · Источник：Unite AI p3
Kubernetes-нативная, учитывающая GPU система маршрутизации для LLM-инференса разворачивается единым управляемым аддоном для Amazon EKS и, по данным AWS, способна снизить задержку первого токена вплоть до 82 процентов.
Amazon Web Services представила Amazon SageMaker HyperPod Inference Gateway — Kubernetes-нативную, учитывающую GPU систему маршрутизации для инференса больших языковых моделей. Анонсированный 18 сентября 2026 года, шлюз разворачивается единым управляемым аддоном для Amazon EKS и работает на существующей инфраструктуре HyperPod. По данным AWS, система способна снизить задержку первого токена вплоть до 82 процентов — метрики, измеряющей, как быстро модель начинает возвращать вывод и ключевого показателя отзывчивости для интерактивных приложений.
Запуск бьёт в то, что AWS называет структурной слабостью того, как инференс-кластеры распределяют трафик. По версии компании, дефолтные Kubernetes-алгоритмы балансировки вроде round-robin и least-connections слепы, оставляя запросам падать без учёта ускорителей, которые их реально обслуживают. Inference Gateway спроектирован закрыть ту брешь, принимая решения о маршрутизации с учётом доступности GPU, а не трактуя инференс-эндпоинты как взаимозаменяемые.
Для команд, гоняющих LLM-сервинг на EKS, модель управляемого аддона означает: возможность приходит без отдельного control plane, который надо строить или поддерживать, а поскольку шлюз работает на существующей инфраструктуре HyperPod, внедрение не требует поднятия новых кластеров. Улучшение задержки первого токена вплоть до 82 процентов, однако, — цифра вендора; операторам, оценивающим шлюз для приложений, чувствительных к задержкам, стоит сравнить его в бенчмарках с собственными нагрузками и модельным миксом, прежде чем брать обязательства.
Стратегически анонс углубляет роль SageMaker HyperPod в сервинге нагрузок и сигнализирует о толчке AWS сделать сам инференс управляемым, оптимизированным слоем своего облачного стека. Пока отзывчивость сервинга всё больше формирует экономику генеративных ИИ-приложений, интеллект маршрутизации оформляется как дифференциатор среди гипермасштабных облаков, — и AWS заявляет права на тот слой Kubernetes-нативным инструментарием, который существующие клиенты могут включить напрямую.
Теги: AWS · SageMaker HyperPod Inference Gateway · Amazon EKS · LLM Inference · Kubernetes · GPU-Aware Routing
萬安算交所 AIXX · AIXX · Верифицированная биржа · В торговый зал