← Главная новостей | Торговый зал

Google открыла исходный код TPU Sync: библиотека передачи KV-кэша ускоряет инференс больших моделей

2026-11-13 · Источник:MarkTechPost

Google открыла исходный код TPU Sync: библиотека передачи KV-кэша ускоряет инференс больших моделей

Google Cloud выпустила C++-библиотеку TPU Sync с открытым кодом: она рассматривает память TPU, память хоста и сеть дата-центра как единую иерархию памяти для переноса KV-кэша; по данным компании, накладные расходы на передачу снизились более чем на 90%.

Google Cloud открыла исходный код C++-библиотеки TPU Sync (лицензия Apache 2.0, с Python wheel для PyTorch и JAX). Она решает узкое место инференса больших моделей, где перенос состояния оказывается сложнее вычислений: HBM TPU, DRAM хоста, общее хранилище и сеть дата-центра рассматриваются как единая иерархия памяти, отвечающая за перенос KV-кэша и весов моделей; поверх работают глобальное KV-хранилище (поиск по префиксам), контроллер передач и менеджер KV-кэша, а также экспериментально поддерживается рассылка обучаемых весов сэмплерам для задач reinforcement learning.

В дизайне выделяются четыре ключевых решения: во-первых, прямой DMA с сохранением раскладки — чтение и запись на месте в буферы JAX PJRT и тензоры PyTorch с сохранением нативной tile-раскладки TPU, без сериализации и промежуточных буферов; во-вторых, перекрытие передач и вычислений — благодаря алиасингу буферов PJRT копирование выполняется во время вычислений, а троттлинг DMA не даёт крупным копированиям блокировать запуск ядер; в-третьих, путь данных полностью минует компиляцию XLA — передача и решардинг выполняются в нативном C++ вне XLA-графа; в-четвёртых, высокоскоростные каналы — на одном хосте Ironwood по PCIe замерено до 223 ГБ/с (близко к теоретическому пределу PCIe Gen5 в 256 ГБ/с), по сети дата-центра около 192 Гбит/с на одну сетевую карту и около 350 Гбит/с на две.

Типичный сценарий — разделённые prefill и decode (P/D) при инференсе: узлы prefill асинхронно копируют KV-блоки через DMA в закреплённую память хоста, контроллер затем направляет их потоково на узлы decode, и прибывающие блоки записываются в HBM узла decode по мере декодирования; также поддерживается кэш префиксов для контекста в 64K, и когда веса MoE заполняют HBM, эффективный объём кэша может вырасти на порядок.

Официальные данные (внутреннее тестирование в июле 2026 года, топология TPU v7x 2x2x1, MoE-модели от 235B до 480B): накладные расходы на передачу KV снизились более чем на 90%, медианная задержка передачи KV для Qwen3 235B упала с порядка секунд до примерно 230 мс; при низкой конкурентности задержка первого токена (TTFT) в среднем снизилась на 60% (235B) и 90% (480B); в пиковые периоды пропускная способность генерации для 235B выросла на 30–70%; кэш префиксов снижает TTFT для контекста 64K до 90%, повышает пропускную способность более чем на 50% и уменьшает P99 задержку между токенами на 30%.

Что касается экосистемы, TPU Sync уже служит KV-коннектором для vLLM-TorchTPU и бэкендом P/D-передачи и I/O иерархического кэша для SGLang-TorchTPU; llm-d 1.0 на GKE использует её для маршрутизации по аффинности префиксного кэша и экспериментального сброса на Managed Lustre; в создании частей для vLLM и SGLang участвовали Inferact и RadixArk, а Meta и Wayfair ведут оценку. Для работы требуются Cloud TPU v7x (Ironwood) или v6e, исходный код доступен в репозитории google/tpu-sync на GitHub; важно отметить: managed API отсутствует, README пока не рекомендует использование в универсальных сценариях, и все приведённые цифры — официальные данные самой компании.


Читайте также


萬安算交所 AIXX · AIXX · Верифицированная биржа · В торговый зал