Основатель и гендиректор Meta Марк Цукерберг прилагал большие усилия, чтобы преувеличить безопасность нового помощника на базе ИИ Muse, утверждая, что он «создан с нуля с прицелом на конфиденциальность и безопасность». Нулевая уязвимость дня (zero-day), которая даёт локально запущенным приложениям и командам терминала полный контроль над агентом, ставит эти заявления под серьёзное сомнение. Дополнительные вопросы возникли после того, как в воскресенье Amazon начал блокировать доступ Muse к своему сайту.
Meta представила Muse несколько недель назад. Помощник «записывает встречи, заполняет формы и обрабатывает обращения в службу поддержки», «проактивно берет на себя задачи», а также может «совершать покупки, генерировать изображения, создавать документы и подключаться к вашим любимым приложениям и сервисам». Приложение для macOS (странно, но версии для Windows нет) также работает с аккаунтами пользователя в WhatsApp, электронной почте, календаре и социальных сетях. Когда для выполнения задачи требуется инструментарий, которого нет, Muse создает его на лету.
Раздутая Meta реклама безопасности Muse
Разумеется, чтобы Muse мог выполнять эти действия, пользователи сначала должны предоставить ему доступ к своим аккаунтам. Это включает аутентификацию помощника для каждого сервиса и, поскольку приложение работает на macOS, выдачу разрешений на широкий набор ресурсов устройства, ограниченных операционной системой — например, запись файлов на диск, доступ к микрофону и камере, мониторинг местоположения и календарей. Apple годами развивает эти защиты, чтобы предотвратить доступ установленных приложений или команд терминала к этим ресурсам, очевидно считая их угрозой безопасности. Muse полностью отменяет эти встроенные меры.
Нулевая уязвимость позволяет любому приложению или команде терминала получить доступ к токену, который аутентифицирует пользователей в их аккаунте Muse. Разработчики Meta спроектировали помощника так, что любое локально установленное приложение или выполненный код, независимо от имеющихся у него разрешений macOS, может изменять большой список недокументированных настроек. Большинство из них довольно безобидны, например управление тёмной темой. Однако одна настройка вовсе не безобидна: она позволяет процессам менять конечную точку, где выполняется транскрибирование. Обычно это адрес сервера, управляемого Meta. Злоумышленники могут эксплуатировать эту уязвимость, перенаправив транскрипцию на собственную конечную точку. После этого злоумышленники получают токен, дающий полный контроль над аккаунтом Muse.
«Мы можем манипулировать агентом и использовать его привилегии для выполнения любых действий», — сказал Patrick Wardle, эксперт по безопасности macOS, обнаруживший нулевую уязвимость, в интервью Ars. «Так что вместо того, чтобы писать полноценный Mac-малварь-стилер, мы можем просто использовать самого ИИ-помощника». Уордл заявил, что разработал несколько доказательных атак (proof-of-concept), которые выполняют такие действия, как запись вредоносных файлов на диск и съёмка фотографий, во многих случаях без каких-либо признаков для даже бдительного пользователя.
Более чем через 12 часов после публикации этой заметки Meta сообщила, что выпустила хотфикс, который закрыл нулевую уязвимость.
Meta опубликовала два материала за пару недель, документирующих проектные решения, направленные на обеспечение безопасности и конфиденциальности ассистента с таким широким доступом к данным и ресурсам пользователя. Эти публикации появились на фоне разоблачений, что внутреннее тестирование моделей Anthropic и Google привело к утечкам в сторонние сети, на которые инженеры изначально не намеревались нацеливаться. В традиционных атаках, проведённых человеком, такие действия могли бы привести к уголовным обвинениям. Публикации Meta, вероятно, отражают обеспокоенность возможной негативной реакцией и призывами замедлить развитие ИИ.
Проблемы проектирования
Уордл отметил, что разработчики Meta допустили несколько проектных решений, которые сделали возможной его эксплуатацию. Одно из них — выбор транскрибирования диктовки в облаке, где Meta может её логировать. macOS давно предоставляет простой способ для приложений обрабатывать диктовку и транскрибирование в процессах, которые остаются безопасно на устройстве. Если бы разработчики chose this более безопасный вариант, атака была бы невозможна.
Другим ошибочным решением стало разрешение любому приложению управлять всеми недокументированными настройками. Вероятно, Meta намеревалась, чтобы приложения, работающие с Muse, контролировали настройки интерфейса, что можно понять. Но возможность для любого приложения или команды управлять конечной точкой, где обрабатывается чувствительная речь пользователя, — совершенно другое дело. В совокупности эти проектные решения вызывают сомнения в том, сколько усилий разработчики потратили на проектирование и тестирование безопасности и конфиденциальности нового помощника.
«Для меня планка по безопасности таких приложений заметно выше. Они не обязаны быть идеальными, но когда смотришь на Muse, складывается впечатление, что, по моему мнению, они не думали о безопасности, и это действительно тревожно», — сказал Уордл. «По крайней мере, они должны думать о безопасности с самого начала, а этого, кажется, не сделали».
Ответ Amazon и последствия
Примерно за 12 часов до того, как Уордл обнародовал нулевую уязвимость, Amazon начал блокировать использование Muse для покупок на своём сайте. Пользователи, которые пытались это сделать, получали сообщение, что Muse — «неавторизованный агент ИИ [который] нарушает Условия использования Amazon».
«Мы считаем вполне очевидным, что сторонние приложения, предлагающие совершать покупки от имени клиентов у других бизнесов, должны действовать открыто и уважать решения поставщиков услуг о том, участвовать им или нет», — сказал Amazon в электронном заявлении. «Это помогает обеспечить безопасный, надёжный и стабильный пользовательский опыт, и так работают другие сервисы, включая приложения по доставке еды и рестораны, которые принимают заказы, приложения служб доставки и магазины, где они покупают товар, а также онлайн-туристические агентства и авиакомпании, с которыми они бронируют билеты клиентам. Агентские сторонние приложения, такие как Muse, имеют те же обязательства, и мы попросили Meta удалить Amazon из их опыта».
Существует несколько способов реализации атак. Один из них — когда сервер злоумышленника действует как прокси между пользователем Muse и конечной точкой Meta. Как только пользователь вводит голосовой запрос, сервер злоумышленника добавляет к нему подсказку, вызывающую вредоносную команду, например отправку архива всех сообщений WhatsApp злоумышленнику. После этого злоумышленник получает постоянный контроль над аккаунтом Muse, потому что токен автоматически отправляется также на вредоносный сервер.
Уордл — сооснователь фонда Objective-See, некоммерческой организации, занимающейся безопасностью macOS. Он также автор серии книг «The Art of Mac Malware» и бывший сотрудник NASA и Агентства национальной безопасности США. Уордл сообщил, что намерен подробнее рассказать об уязвимости и других угрозах со стороны ИИ-помощников на конференции по безопасности Objective by the Sea в ноябре.
Контраргументы и выводы
Один из контраргументов, выдвигаемых разработчиками приложений, которые могут быть эксплуатированы после компрометации устройства, состоит в том, что после такого взлома уже ничего не спасёт. Этот стандарт плохо подходит к данному случаю. Уордл обнаружил, что простая вариация атаки ClickFix — техника, ставшая особенно эффективной для обмана людей с целью заразить их устройства — это всё, что требуется злоумышленнику, чтобы получить контроль над аккаунтом Muse.
На первой иллюстрации выше видно, как Уордл с помощью простой команды терминала тайно отправляет подсказку на конечную точку Meta. Вторая иллюстрация показывает ответ. Чтобы предотвратить возможность копирования и вставки подсказки в реальных атаках, подсказка Уордла спрашивает только, как такое возможно для непривилегированного злоумышленника. Muse ошибочно отвечает, что такое действие невозможно.
Заявление Meta, опубликованное с опозданием в 12 часов, удобно проигнорировало простоту, с которой атаки ClickFix могут запускать эксплуатацию — сценарий, который я специально просил компанию прокомментировать. В заявлении Meta говорится, что нулевая уязвимость «не является удалённым эксплоитом», хотя всё более эффективная социальная инженерия даёт тот же эффект. Meta также никак не признаёт, что уязвимость подорвала архитектуру безопасности, которую Apple годами выстраивала. Компания ещё не объяснила, почему была выбрана облачная транскрипция вместо встроенного в macOS варианта на устройстве.
Как уже отмечалось, исключительный доступ, который Muse требует для работы по назначению, возлагает дополнительную ответственность на его разработчиков. Как и большинство подобных ИИ-агентов — и вопреки заявлениям Meta — Muse нельзя полностью доверять. Неясно, когда или возможно ли это изменится.