По сообщению Google (июнь 2026 г.). Даты запуска, доступность функций и сравнительные результаты ниже относятся к этому сообщению и отражают данные разработчика. Первоисточник.
Как мы защищаем внутренние системы от всё более способных и несовершенно согласованных ИИ
Агентные системы на базе ИИ меняют наши взаимоотношения с технологиями. Автономно выполняя сложные задачи — от киберзащиты до научных открытий и разработки продуктов — эти системы открывают новую эру производительности. Только в США агенты на базе ИИ к 2030 году могут создать экономическую ценность в размере 2,9 триллиона долларов.
По мере того как эти агенты становятся более способными, им требуются более сложные меры предосторожности. Именно поэтому мы разработали наш AI Control Roadmap: рамки для разработки и управления продвинутыми ИИ, которые мы разворачиваем внутри Google. Этот подход «глубокой обороны», который может послужить моделью для всей отрасли, выходит за пределы традиционной выверки моделей, добавляя важный уровень безопасности на уровне системы, который, по замыслу разработчика, должен снижать риски даже при несовершенном согласовании модели. Это направление контроля рисков, а не безусловная гарантия безопасности.
Наш подход к безопасности начинается с прочного фундамента, включающего традиционные меры защиты, такие как песочницы, защита конечных точек и устойчивость к инъекциям подсказок. Поверх этого AI Control Roadmap использует выверку модели, то есть обучение ИИ быть по сути безопасным и полезным, как основную защиту. Он добавляет дополнительный уровень безопасности, рассматривая внутренние агенты как потенциально несовместные с целями, обеспечивая защиту даже при несовершенной выверке.
Представьте это как инструктора вождении с двойными органами управления.
Инструктор доверяет ученику, но всегда готов взять руль или нажать на тормоз в случае ошибки. Аналогично, наша система контроля ИИ предоставляет агентам разрешения на основе их проверенного поведения, позволяя нам строить доверие через контролируемый, постепенный доступ.
Наша дорожная карта основана на простом, но осторожном предположении: а что если высокоспособный агент ИИ не согласован с нашими целями и действует неожиданно? Чтобы справиться с этим, наш план сосредоточен на трёх ключевых областях.
Во-первых, следуя лучшим практикам в кибербезопасности, мы разработали новый фреймворк моделирования угроз для ИИ. Дорожная карта рассматривает недоверенных агентов ИИ как потенциальные «внутренние угрозы» — аналогично тому, как компания могла бы относиться к потенциальному недобросовестному сотруднику, который уже имеет доступ в офис. Опираясь на отраслевой стандарт MITRE ATT&CK, глобальную базу знаний о тактиках и техниках противников, основанную на реальных наблюдениях, мы разбиваем потенциальные атаки на более мелкие тактики и техники. Это позволяет методично отслеживать риски, замечать плохое поведение до того, как оно нанесёт ущерб, и безопасно проводить учения, чтобы проверить, выдержат ли наши защиты.
Во-вторых, мы разрабатываем план внедрения мер контроля ИИ для противодействия этим рискам.
Выявление проблемы (Обнаружение):
Мониторинг — основа контроля ИИ. Мы используем другие, доверенные ИИ-системы в качестве «надзирателей», которые постоянно проверяют рассуждения, действия и планы рабочего агента, чтобы определить, отклоняется ли он от нормы.
Управление проблемой (Предотвращение и Реагирование):
Если надзиратель видит, что агент пытается совершить вредоносное действие, он может вмешаться и заблокировать действие до того, как будет причинён вред.
Наконец, чтобы убедиться в работоспособности наших систем, мы постоянно измеряем эффективность по трем критическим метрикам: покрытие (доля трафика, подверженная мониторингу), полнота обнаружения (доля замеченных несогласованных поведений) и время до реакции.
Масштабирование безопасности по мере роста способностей ИИ
По мере того как модели ИИ продолжают развиваться, наши защиты также должны усиливаться. В AI Control Roadmap мы соотнесли протоколы безопасности с измеримыми вехами развития ИИ по двум ключевым направлениям:
Способность обходить обнаружение: Сегодня мы отслеживаем видимую цепочку рассуждений модели. Однако по мере того как модели научатся скрывать свои рассуждения — либо через осведомлённость о надзоре (знание того, что их контролируют), либо через непрозрачные рассуждения (рассуждения без использования видимого текста) — простого чтения их вербализированных рассуждений будет недостаточно. Нам потребуется анализ их поведения и, возможно, инспекция внутренних механизмов модели.
Способность причинять потенциальный вред: Для низкорисковых и обратимых действий мы можем полагаться на просмотр транскриптов с задержкой и оперативное исправление проблем после их возникновения (асинхронный ответ). Для особенно высокорисковых действий, таких как крупные кибератаки, нам необходимо перейти к предотвращению в реальном времени, блокируя вредоносные действия до их выполнения (синхронный ответ). Иными словами, наша стратегия реагирования должна масштабироваться в соответствии с серьёзностью угрозы.
AI Control Roadmap рекомендует меры безопасности на основе возможностей развёрнутой модели. Способность модели к ускользанию от обнаружения определяет уровень обнаружения (D1–D4), а способность модели к выполнению атак определяет уровень предотвращения и реагирования (R1–R3).
Анализ миллиона траекторий агентов для улучшения мониторинга в реальном времени
Для создания этих систем нам нужны данные. Наша команда построила внутренний прототип асинхронной системы мониторинга, которая просматривает траектории кодирующих агентов и эскалирует находки для проверки человеком. Каждое зафлаженное событие классифицируется в соответствии с таксономией угроз из нашей дорожной карты.
Мы уже проанализировали миллион задач кодирующих агентов, что дало нам ценные данные для уточнения наших протоколов безопасности и позволило уйти от простого фильтрования по ключевым словам к выявлению поведенческих паттернов с высоким сигналом. Например, это исследование сыграло ключевую роль в создании монитора в реальном времени для агента Gemini Spark, что позволило нам реагировать в режиме реального времени на возникающие проблемы, такие как непреднамеренное удаление данных.
Важно отметить, что наши данные показывают: большинство отмеченных событий не связаны с враждебным намерением; чаще они являются результатом неправильной интерпретации агентом задачи или чрезмерного рвения достичь цели пользователя. Понимание этих нюансов критично для уточнения наших протоколов безопасности и защиты.
Защита экосистемы агентов — общая ответственность
AI Control Roadmap — один из важных элементов нашего многоуровневого подхода к безопасности агентов. Интегрируя эти протоколы с нашей более широкой инфраструктурой, мы масштабируем нашу внутреннюю безопасность для безопасного управления нашими самыми продвинутыми моделями ИИ.
Кроме того, этот многоуровневый подход к безопасности агентов должен стать совместной задачей для отрасли, политиков и академического сообщества. Согласовав экосистему вокруг лучших практик и стандартов, мы можем усилить защитников в киберпространстве и построить общественную устойчивость. Именно поэтому сегодня мы также публикуем технический фреймворк для политиков «Three Layers of Agent Security». В документе подробно описано, как нужно улучшать безопасность на уровне отдельных агентов; в многоагентных системах; и как поддерживать киберзащитников и строить устойчивость в более широкой экосистеме.
Мы намерены развивать эти фреймворки, чтобы уверенно разворачивать способные ИИ сегодня, одновременно продолжая строить безопасную основу для будущего.
Mary Phuong, Erik Jenner, Laurent Simon, Lewis Ho, Rohin Shah, Sebastian Farquhar, and Scott Coull.
Four Flynn, Anca Dragan, Alan Cooney, Bilal Chughtai, Buck Shlegeris, Cody Wild, David Lindner, Julian Stastny, Kevin Klyman, Li Ding, Myriam Khan, Raluca Ada Popa, Roland Zimmermann, Ryan Greenblatt, Senthooran Rajamanoharan, Victoria Krakovna and Xerxes Dotiwalla.