← Главная новостей | Торговый зал

LiquidCodec: потоковый аудиокодек с 74 млн параметров от Liquid AI

2026-11-13 · Источник:MarkTechPost

LiquidCodec: потоковый аудиокодек с 74 млн параметров от Liquid AI

Liquid AI представила потоковый речевой токенизатор LiquidCodec на 74 млн параметров: кодирование примерно в 13 раз быстрее прежнего решения Mimi при полном преимуществе по бенчмаркам качества.

Liquid AI выпустила потоковый речевой токенизатор LiquidCodec — около 74 млн параметров (на модельной карте указано 73,6 млн), который обеспечивает кодирование и реконструкцию речи для двух моделей: LFM3-Audio-2B и LFM3-Omni-2B, сменяя Kyutai Mimi (96,2 млн параметров), использовавшийся в предыдущем поколении. По спецификациям он работает на частоте 24 кГц с частотой кадров 12,5 Гц и выдаёт 12 дискретных токенов на кадр в 80 миллисекунд (12 codebook); вместо RVQ квантизатор использует групповое конечное скалярное квантование (GFSQ) с независимыми группами, благодаря чему все 12 codebook могут параллельно предсказываться transformer'ом в стиле MaskGIT.

Архитектура и обучение: симметричный кодек построен из блоков архитектуры LFM3, энкодер полностью каузальный, что подходит для потоковых сценариев; декодер напрямую предсказывает спектральные коэффициенты, избавляясь от обучаемых трансконволюций для апсемплинга. Обучение шло в три этапа: сначала предобучение на 264 тыс. часов речи на 107 языках с wave- и спектральными потерями (без adversarial-потерь); затем дообучение на 55 тыс. часов полночастотной (выше 24 кГц) речи с adversarial-дискриминатором для устранения металлических артефактов тембра; в конце — ориентированное только на декодер квантово-осведомлённое обучение для упрощения edge-развёртывания.

Показатели скорости впечатляют (официальные данные, один CPU-поток Apple M4 Max, FP32): кодирование примерно в 361 раз быстрее реального времени (RTF 0,0028), что примерно в 13 раз быстрее Mimi (0,0361); декодирование примерно в 87 раз быстрее реального времени (RTF 0,0115), около 2,9-кратного превосходства над Mimi (0,0329); по сравнению с NanoCodec и X-Codec 2 преимущество сохраняется по всем показателям.

Бенчмарки качества охватывают 8 тестовых наборов (LibriSpeech test-clean, Seed-TTS на английском и китайском, а также FLEURS на 5 языках): по качеству реконструкции ViSQOL и mel-дистанция — первые места во всех случаях, ViSQOL на LibriSpeech составляет 4,319 против 4,219 у NanoCodec, 4,119 у X-Codec 2 и 4,031 у Mimi; в сравнительных TTS-экспериментах (одинаковая архитектура TTS и вычислительные ресурсы, каждая модель обучена на 101 тыс. часов данных) UTMOSv2 во всех случаях лидирует (3,31 на LibriSpeech против 2,89 у Mimi), а WER на LibriSpeech составляет 3,15% против 6,27% у Mimi. Слабые места — PESQ и сходство с говорящим: NanoCodec выигрывает в 7 из 8 тестовых наборов.

Развёртывание и лицензия: модель можно загрузить через Hugging Face Transformers (требуется trust_remote_code=True), предоставлены интерфейсы encode и decode, а также кэш для поблочного потокового декодирования; на стороне llama.cpp доступны три варианта GGUF — Q4_0, Q4_K_M и Q8_0, при этом декодер Q4_0 уменьшен в 3,5 раза, а ViSQOL снижается лишь незначительно — с 4,319 до 4,292. Веса опубликованы в репозитории LiquidAI/Liquid-Codec на Hugging Face, лицензия обозначена как other со ссылкой на LFM License (для сравнения: Mimi — CC-BY 4.0, X-Codec 2 — CC-BY-NC 4.0).


Читайте также


萬安算交所 AIXX · AIXX · Верифицированная биржа · В торговый зал