← Главная новостей | Торговый зал
2026-11-04 · Источник：deep-www.unite.ai-p12
Созданный вместе с Korea AI Safety Institute двуязычный бенчмарк сообщает о стабильно меньшем измеренном вреде для корейских промптов, укоренённых в контексте, почти у всех 14 оценённых frontier-моделей.
Scale AI опубликовала 17 сентября 2026 года выводы по ROK-FORTRESS — двуязычному англо-корейскому адверсариальному бенчмарку безопасности, разработанному совместно с Korea AI Safety Institute. Центральный результат: промпты, написанные на корейском и укоренённые в корейском контексте, стабильно ассоциировались с меньшим измеренным вредом почти у всех 14 оценённых frontier-моделей. Устойчивость паттерна по всей оценённой frontier-когорте, а не изолированное поведение отдельной модели, — главная выжимка бенчмарка.
Дизайн бенчмарка — то, где ROK-FORTRESS отходит от стандартной практики. Большинство многоязычных бенчмарков безопасности переводят фиксированный промпт на другой язык и меряют ответ — подход, сохраняющий формулировки, но выдирающий локальный контекст. Scale AI и Korea AI Safety Institute вместо этого построили бенчмарк вокруг Transcreation Matrix — дизайн, который отчёт противопоставляет перевод-первым многоязычным тестам: адверсариальные промпты выравниваются с корейским контекстом, а не механически переносят фиксированные английские промпты на корейский.
Почему это важно: выводы указывают, что измеренный вред не инвариантен к языку. Если frontier-системы показывают систематически меньший измеренный вред на корейских промптах с контекстом, то оценки безопасности, полученные из англоязычной оценки, могут не полностью описывать, как те же модели ведут себя для корейскоязычных пользователей. Для организаций, разворачивающих frontier-модели в двуязычных англо-корейских средах, исследование даёт обоснование локализованного адверсариального тестирования наряду с обычными англоязычными аудитами безопасности.
Совместная разработка с Korea AI Safety Institute также помещает работу в русло официальных усилий по оценке безопасности — национальный орган ИИ-безопасности выступает соавтором адверсариального бенчмарка с коммерческим провайдером оценок. С 14 оценёнными frontier-моделями и устойчивым кросс-модельным результатом ROK-FORTRESS добавляет двуязычную, чувствительную к контексту точку данных в многоязычную литературу безопасности, которая, как отмечает отчёт, сильно опиралась на прямой перевод фиксированных промптов.
Теги: Scale AI · ROK-FORTRESS · Korea AI Safety Institute · AI Safety · Multilingual Benchmark
萬安算交所 AIXX · AIXX · Верифицированная биржа · В торговый зал