← Главная новостей | Торговый зал
2026-11-04 · Источник：SiliconANGLE
Новый программный движок пионера протокола NVMe over TCP переносит данные key-value кэша с высокоскоростной памяти GPU, улучшая экономику и производительность ИИ-инференса.
Компания Lightbits Labs Ltd. объявила о выпуске общедоступной версии Inferra — программного движка, созданного для повышения как производительности, так и экономической эффективности инференса искусственного интеллекта. Основная проектная цель продукта состоит в том, чтобы вынести данные key-value кэша за пределы ограниченной высокоскоростной памяти, устанавливаемой вместе с графическими процессорами, освободив ИИ-системы от ограничения, которое долгое время определяло, как выполняются рабочие нагрузки инференса.
Key-value кэширование лежит в основе современного инференса. Генерируя выходные данные, модели сохраняют промежуточное состояние, чтобы не приходилось повторять вычисления, а этому состоянию необходимо где-то храниться. Высокоскоростная память графических процессоров конечна, и Inferra напрямую устраняет этот потолок, перемещая данные кэша за его пределы. Lightbits представляет результат как прямое улучшение профиля затрат и скорости обслуживания ИИ-моделей, причём движок берёт на себя перемещение key-value данных по ходу выполнения инференса.
Компания, стоящая за этим движком, наиболее известна как изобретатель протокола хранения данных NVMe over TCP, и это наследие определяет её подход: давление на память вокруг инференса трактуется как задача перемещения данных. С выходом Inferra Lightbits позиционирует свою экспертизу в области программного обеспечения для хранилищ в центре дискуссии об ИИ-инфраструктуре, распространяя протокольное наследие на механику обслуживания моделей и производительность GPU.
Выпуск общедоступной версии приходит на фоне смещения внимания рынка ИИ-оборудования к эффективности инференса, где объём памяти напрямую переводится в пропускную способность и затраты. Нацеливаясь на key-value кэш, Inferra выходит на уровень технологического стека, расположенный между кремнием ускорителей и хранилищем, — территорию, которую Lightbits знает хорошо. Заявлениям компании теперь предстоит настоящее испытание в промышленных развёртываниях, где и измеряется экономика инференса.
Теги: Lightbits Labs · Inferra · KV Cache · AI Inference · GPU Memory · NVMe over TCP
萬安算交所 AIXX · AIXX · Верифицированная биржа · В торговый зал