Кто контролирует, когда ИИ начинает действовать самостоятельно?
Проблемы искусственного интеллекта: управляйте рисками и сохраняйте человеческий надзор Искусственный интеллект уже стал частью повседневной жизни компаний и во многих случаях развивался быстрее, чем обсуждения о безопасном использовании. В Бразилии 88% предприятий уже используют платформы ИИ, и теперь эта массовая адаптация получает новое измерение благодаря агентам, способным выполнять задачи и принимать решения с большей автономией.
Перед руководством встает задача воспользоваться этим потенциалом, не потеряв возможности отслеживать, что происходит с данными и, главное, какие действия эти системы выполняют от имени бизнеса. Опыт миграции в облако даёт полезный урок: многие организации двигались быстро и выстраивали управление уже после того, как приложения и данные распределились по разным средам. С ИИ эту практику можно применить заранее, не превращая безопасность в препятствие для инноваций.
Это означает ясно понимать, зачем используется новый инструмент, какие выгоды он приносит бизнесу и при каких условиях его применение соответствует уровню риска, который компания готова принять. Появление агентных систем усложнило установление границ, поскольку такие инструменты стали применяться за пределами ИТ‑подразделений. Доступные средства позволяют специалистам маркетинга, финансов, продаж или HR создавать автоматизации, которые запрашивают информацию, связывают приложения и выполняют задачи, не полагаясь на традиционные процессы разработки.
В этом контексте особое внимание заслуживают так называемые shadow agents — скрытые агенты. Проблема не только в использовании несертифицированной технологии, но и в том, что существуют системы, способные действовать без того, чтобы компания знала, какие у них привилегии, к каким данным они получают доступ и от чьего имени работают. Чем шире возможности таких агентов, тем важнее понимать, кто стоит за каждым действием.
Агент, подключённый к учетным данным сотрудника с привилегированным доступом, может унаследовать полномочия, значительно превышающие необходимые для конкретной задачи. Принципы «собственная идентичность», «доступ, соотносимый с задачей», «отслеживаемость» и «аудит» остаются критически важными, но теперь они должны учитывать также не‑человеческие идентичности и значительно большую масштабируемость действий.
Протокол Model Context Protocol (MCP), позволяющий агентам ИИ подключаться к системам, приложениям и данным компании, ещё сильнее расширяет их возможности. На практике чем больше доступа и автономии получают агенты, тем важнее чётко прописать, что им разрешено делать, к каким данным — обращаться и в каких случаях требуется вмешательство человека.
Новые агенты и интеграции могут появляться с такой скоростью, что ручные процессы безопасности не успеют за ними. Оценка, мониторинг и контроль должны идти в ногу с этим темпом, в том числе с помощью самих технологий ИИ. В этом процессе команда безопасности выявляет и контекстуализирует риски и взаимодействует с другими подразделениями, чтобы понять бизнес‑потребности и найти приемлемое решение.
Решение о том, какой уровень риска принять ради прироста продуктивности, эффективности или дохода, остаётся за бизнесом, который должен располагать достаточной информацией для осознанного выбора. Некоторые операции можно поручать агентам в пределах заранее установленных ограничений, тогда как финансовые решения, привилегированный доступ, использование чувствительных данных или действия, влияющие на клиентов, по‑прежнему требуют человеческого контроля.
Агент может выступать в роли сопилота в всё большем числе операций, но именно компания должна решать, насколько далеко он может зайти и в каких случаях человек обязан оставаться в процессе. Создание агентов будет упрощаться и охватывать всё больше подразделений компании. Полностью запрещать такое развитие — неустойчивая стратегия, как и предоставлять автономию без видимости — безответственный выбор.
Для руководства становится всё важнее позволять ИИ генерировать ценность, не теряя контроля над решениями, принимаемыми от имени бизнеса.
Claudio Bannwart, генеральный директор Netskope в Бразилии
