← Главная новостей | Торговый зал
2026-11-04 · Источник：ITWorld Korea
Без инженерно встроенного губернанса программы генеративного AI застревают в пилоте, утверждает Adnan Masood: политика должна стать исполняемыми правилами, доказательствами и измерением дрейфа.
Губернанс определяет, останутся ли программы генеративного AI застрявшими в пилоте или разовьются в прочную компетенцию, утверждает Adnan Masood в анализе для ITWorld Korea. Он трактует управление как инженерную работу: встроить политику в контроли сборки и рантайма, которые ограничивают доступ, сужают поведение, собирают доказательства и измеряют дрейф, — концепцию он называет governance by design. Цель проста: системы должны ежедневно работать в границах политики, даже когда условия меняются. Политика становится исполняемыми правилами, доказательства генерируются как побочный продукт нормальных операций, а губернанс, работающий внутри конвейера развертывания, ускоряет поставку.
Предприятия уже знают этот паттерн: платежные системы несут встроенную профилактику мошенничества и чарджбеков, а платформы клиентских данных встраивают контроли согласий и хранения данных. Генеративный AI требует того же обращения, потому что все чаще пересекает границы данных, генерирует контент и действует напрямую через инструменты.
Отправная точка — модель угроз, укорененная в реальном использовании: краткий перечень того, что может пойти не так, кому наносится вред и где должны стоять контроли, — конкретная и сфокусированная на производственных сбоях. Masood перечисляет пять: утечка данных через промпты, логи или выводы модели, позволяющая чувствительным данным быстро пересекать границы доверия; prompt-инъекции и косвенные инструкции, когда сообщения пользователей или извлеченные документы могут спровоцировать небезопасное поведение; риски целостности источников, когда на поверхность через retrieval поднимаются внешне безобидные, но устаревшие, неточные или подделанные документы; злоупотребление инструментами, ведь агенты и ассистенты могут писать в системы учета через API и workflow-инструменты; и дрейф модели и промптов, поскольку системы меняются через обновления моделей, правки промптов и циклы обновления данных.
Контроли должны следовать за этой моделью угроз. Masood отвергает ограничение их одними лишь процессными стадиями; контроли в рантайме и CI снижают зависимость от памяти и ручной проверки.
Подход опирается на стандартизированные примитивы губернанса — минимальные единицы, реализуемые и переиспользуемые между сценариями, чтобы командам не приходилось заново строить контроли: контекст идентичности (кто запросил, под какой ролью и в каком scope); границы данных (какие источники система может читать и в какие цели писать); проверки оценки политики, запускаемые перед retrieval, перед вызовами инструментов и перед выводом; lineage, фиксирующий версии промптов, моделей, индексов и политик плюс trace-ID на каждый запрос; и аудит.
Теги: Adnan Masood · AI Governance · Generative AI · Threat Modeling · Runtime Controls
萬安算交所 AIXX · AIXX · Верифицированная биржа · В торговый зал