Исследование Lasso Security связало водяные знаки SynthID-Text со сдвигами в отказах LLM и вызовах инструментов агентами

2026-11-04 · Источник：Unite AI

Новое исследование Lasso Security, выполненное Andrea Siposova, показывает: водяные знаки SynthID-Text могут менять то, отказывают ли модели во вредоносных запросах, и то, какие вызовы инструментов совершают агенты, — эффект получил название «sampling drift».

Водяные знаки на тексте — техника, созданная помечать контент как сгенерированный машиной ради установления происхождения, — могут иметь непреднамеренные поведенческие последствия для больших языковых моделей, свидетельствует новое исследование компании безопасности Lasso Security. Andrea Siposova, исследовательница этой компании, опубликовала работу под названием «The Provenance Tax: Understanding the Impact of LLM Watermarking on AI Agent Behavior» 17 сентября 2026 года. Статья изучает SynthID-Text — схему текстовых водяных знаков — и сообщает, что она способна менять базовое поведение модели.

Согласно выводам, водяные знаки могут менять то, откажется ли языковая модель выполнить вредоносный запрос, — сдвиг с прямыми последствиями для защитных барьеров безопасности. Они также могут менять то, какие вызовы инструментов генерирует ИИ-агент: то есть агентные системы могут действовать по-разному в зависимости от того, несёт ли выход их базовой модели водяной знак. Siposova называет этот феномен «sampling drift» («дрейф сэмплирования») и относит его на счёт того, как водяные знаки меняют процесс, которым модель порождает текст.

Различие между задуманной ролью водяных знаков и наблюдаемыми эффектами лежит в сердце работы. Обнаружение происхождения — заявленная цель дизайна этой техники, позволяющая опознавать сгенерированный текст как машинный. Тем не менее исследование показывает, что SynthID-Text не оставляет поведение модели нетронутым: механизм перестраивает саму генерацию выхода, меняя и решения об отказах, и вызовы инструментов, которые производят агенты.

Название исследования прямо формулирует этот компромисс: «налог на происхождение» (provenance tax). Для команд, разворачивающих LLM и автономных агентов, исследование подсказывает: включение водяных знаков — не нейтральная надстройка над генерацией, а фактор, способный сдвигать поведение модели, включая ответы на вредоносные промпты и выбираемые агентами действия. Эти выводы добавляют нагрузки на оценку для организаций, взвешивающих внедрение водяных знаков вместе с тестированием безопасности и надёжности.

Теги: Lasso Security · Andrea Siposova · SynthID-Text · Watermarking · AI Agents

Исследование Lasso Security связало водяные знаки SynthID-Text со сдвигами в отказах LLM и вызовах инструментов агентами

Читайте также