← Главная новостей | Торговый зал
2026-11-04 · Источник:虎嗅·中继

Не генерирует изображения, а предсказывает будущее в абстрактном пространстве; иерархическая концепция 2022 года спустя четыре года впервые получила воспроизводимую реализацию
В лабиринтной задаче Visual AntMaze однослойная модель LeWM показала успех лишь в 18% случаев, а трёхслойный H-JEPA поднял этот показатель до 73% — это первая воспроизводимая полная реализация направления иерархических моделей мира Яна Лекуна, спустя четыре года после того, как в статье 2022 года «A Path Towards Autonomous Machine Intelligence» он предложил концепцию иерархического JEPA. За эти четыре года отношение индустрии к этому пути прошло стадии от выжидания до скептицизма и, наконец, до подтверждения на этот раз; значение далеко превосходит скачок одной цифры: это доказывает, что модель мира может решать задачи долгосрочного планирования без опоры на генерацию на уровне пикселей.
JEPA — Joint-Embedding Predictive Architecture, архитектура совместного встраивания с предсказанием. В отличие от нынешних генеративных видео-моделей, она не рисует следующий кадр, а сжимает изображение в набор абстрактных векторов — латентных представлений — и предсказывает будущее в этом абстрактном пространстве, подобно двум шахматистам, играющим с закрытыми глазами: не передвигая фигуры на доске, один называет «Ке5-е1», «пешка e2-e4», и противник мысленно просчитывает развитие партии. H-JEPA же укладывает несколько JEPA слоями: каждый уровень оснащён энкодером наблюдений, энкодером действий и латентным предиктором, предсказывающим состояния на разных временных горизонтах в собственном пространстве представлений: нижний уровень работает мельче и ближе, чем выше уровень — тем дальше и обобщённее прогноз.
При планировании порядок обратный: верхний уровень сначала задаёт грубое целевое состояние, оно становится подцелью для следующего уровня, детализация идёт по слоям, пока нижний уровень не выдаст действие. Эта иерархическая логика восходит к концепции Лекуна «из Нью-Йорка в Париж» — собираясь из Пекина в Шанхай, мозг сначала решает «ехать на высокоскоростном поезде», затем думает, как добраться до Южного вокзала Пекина, и лишь в конце — какой ногой ступить сначала; слою бронирования нужны только время, цена и номер рейса, а слою шагов — центр тяжести, ступени, поверхность. Именно это — слабое место Transformer: послеподрядное предсказание токенов означает смешивание брони билета, дороги на вокзал и спуска по лестнице в одну цепочку, и чем больше шагов, тем выше вероятность ошибки. В статье отмечается, что плоская однослойная модель в длинных задачах вынуждена разворачивать множество мелкозернистых шагов, ошибки предсказаний накапливаются, а пространство поиска действий разрастается.
Скачок с 18% до 73% впечатляет, но возникает вопрос: если три слоя столь эффективны, почему не сто? Где потолок иерархического JEPA — ответ Лекуну ещё предстоит дать.
Для покупателей AI-вычислительных мощностей сигнал этого прогресса заслуживает серьёзного внимания. Архитектуры типа JEPA делают упор на предсказание в абстрактном пространстве представлений и теоретически обходят экстремальную зависимость генеративных видео-моделей от огромных объёмов высокоскоростной видеопамяти и плотных вычислений; на этапе инференса в основном выполняется последовательный прогон латентных векторов, и характер вычислений ближе к обучению представлений, чем к диффузионному денойзингу. Если иерархические модели мира постепенно выйдут в воплощённый интеллект, робототехнику и сценарии принятия решений на длинных последовательностях, структура закупок вычислений может эволюционировать от «чисто GPU-обучающих кластеров» к «смешанным нагрузкам обучения + инференса + планирования»: закупщикам при планировании кластеров следует закладывать гибкую долю под инференс с низкой задержкой и средней пропускной способностью, а не слепо наращивать пиковую обучающую производительность.
Что касается соображений по закупкам, рекомендуем обратить внимание на три момента. Во-первых, направление моделей мира пока находится на стадии исследовательской проверки и далеко до масштабного коммерческого применения: не стоит немедленно менять аппаратные закупки на этом основании, но в контракты полезно включить пункты о совместимости архитектур. Во-вторых, обучение латентных представлений таких моделей чувствительно к пропускной способности памяти и топологии интерконнекта: при выборе узлов следует в первую очередь оценивать связность уровня NVLink и конфигурацию высокоскоростной памяти. В-третьих, сами среды симуляции (вроде задач типа Visual AntMaze) требуют постоянных вычислительных вложений: бюджет закупок должен учитывать симуляционные кластеры в общей смете. Разумный подход — маломасштабные пилоты, поэтапное масштабирование и отслеживание воспроизводимости и инженерного прогресса в последующих публикациях перед капитальными вложениями.
【Реальные рыночные данные】 Затронутая в этом материале архитектура модели относится к исследовательским публикациям и не соответствует конкретной продающейся модели вычислительной техники; данные о ценах на неё отсутствуют. Для отслеживания актуальных котировок и наличия соответствующих вычислительных ресурсов следите за отчётами WANAN News (AIXX News).
В целом историческое значение H-JEPA в том, что теоретически элегантный путь впервые воплощён в воспроизводимую полную реализацию. Она вряд ли в короткие сроки вытеснит генеративные модели, но предлагает проверенную развилку для проблемы долгосрочного планирования на пути к «автономному машинному интеллекту». Для вычислительной индустрии настоящий переломный момент наступит тогда, когда архитектура выйдет из лабиринтных задач к реальной робототехнике и промышленным сценариям принятия решений.
В: Каков конкретный результат H-JEPA в задаче Visual AntMaze?
О: Однослойная модель LeWM показала успех лишь в 18% случаев, а трёхслойный H-JEPA поднял показатель до 73%; это первая воспроизводимая полная реализация направления иерархических моделей мира Яна Лекуна.
В: В чём принципиальное отличие H-JEPA от генеративных видео-моделей мира?
О: JEPA не генерирует следующий кадр, а сжимает изображение в абстрактные латентные представления и предсказывает будущее в абстрактном пространстве; H-JEPA дополнительно укладывает несколько JEPA слоями, предсказывая на разных уровнях состояния на разных временных горизонтах для решения задач долгосрочного планирования.
Теги: Yann LeCun · H-JEPA · JEPA · LeWM · World Model
萬安算交所 AIXX · AIXX · Верифицированная биржа · В торговый зал