DeepMind описала AI Control Roadmap — подход к управлению рисками продвинутых агентов во внутренних системах Google. Исходная идея: даже полезно обученная модель может неверно интерпретировать задачу или превысить оговоренные границы при её выполнении.
Документ сочетает традиционные средства защиты, включая изоляцию и контроль доступа, с непрерывным мониторингом за агентом. Доверенные системы-мониторы анализируют действия агента, могут блокировать опасный шаг или передавать событие человеку для проверки.
Для оценки эффективности контроля предложены три показателя: доля трафика, охваченного мониторингом; полнота обнаружения нежелательного поведения; и время реакции на инцидент. При выборе мер принимаются в расчёт потенциальный вред и способность модели обходить механизмы обнаружения.
В анализе миллионов задач, с которыми работали кодирующие агенты, большинство выявленных проблем связывалось с неверным пониманием задания или чрезмерной склонностью завершить задачу, а не с преднамеренно враждебным поведением. В тексте подчёркивается, что описанный подход — способ снизить риски, а не гарантия отсутствия нарушений у любых агентных систем.