← Главная новостей | Торговый зал
2026-11-04 · Источник：deep-www.marktechpost.com-p10
Команда Qwen из Alibaba выпускает открытую мультимодальную mixture-of-experts модель, поданную как раннее превью архитектуры Qwen4, с 125B-бэкбоном в паре с N-gram эмбеддингами и мульти-токенным предсказанием.
Команда Qwen из Alibaba выпустила Qwen3.8-Flash-Next — открытую мультимодальную mixture-of-experts модель, представленную как раннее превью архитектуры, которая ляжет в основу поколения Qwen4. Релиз концентрирует вычисления на токен в небольшом активном объёме, сохраняя доступной куда более крупную разреженную параметрическую базу — структура, отличающая её от плотных моделей сопоставимого полного размера.
Параметрический счёт необычен. Qwen3.8-Flash-Next несёт в сумме 180B параметров, из которых на токен активны лишь 6B. Остальное распределено между 125B-бэкбоном, таблицей N-gram эмбеддингов на 51B и модулем мульти-токенного предсказания на 4B. Одна лишь таблица эмбеддингов держит более четверти всех параметров, что делает N-gram-компонент одной из определяющих черт дизайна.
Модель определяют четыре архитектурных изменения: гибридный дизайн, сочетающий Gated DeltaNet с Qwen Sparse Attention, механизм Gated Residual, N-gram Embedding и оптимизатор Muon. Вместе эти компоненты образуют суть превью архитектуры Qwen4, давая разработчикам и планировщикам инфраструктуры раннюю, запускаемую точку отсчёта того, куда движется модельный стек Alibaba.
На стороне эффективности самое весомое заявление — отчётная стоимость обучения, равная одной девятой от Qwen3.7-Plus. Это сравнение бьёт в экономику, важнейшую для организаций, которые обучают или дообучают модели в масштабе, и выпущенные вместе с моделью бенчмарки будут читать именно сквозь неё.
Развёртывание — второй заголовок для покупателей вычислений. FP8-чекпойнт для самостоятельного хостинга весит 172.78 GiB — объём, который сразу сужает круг GPU-конфигураций, способных обслуживать модель локально. Для команд, оценивающих открытые мультимодальные альтернативы, это требование к памяти вместе с разреженным профилем 6B активных параметров и формирует расчёт развёртывания.
Теги: Alibaba · Qwen3.8-Flash-Next · Mixture-of-Experts · Open-Weight Models · Multimodal AI · Muon Optimizer
萬安算交所 AIXX · AIXX · Верифицированная биржа · В торговый зал