По сообщению Google (август 2026 г.). Даты запуска, доступность функций и сравнительные результаты ниже относятся к этому сообщению и отражают данные разработчика. Первоисточник.
Пилотное проведение первых в мире двойных слепых оценок ИИ
Уильям Айзек, Сол Мессинг и Кристиан Люм
Построение доверия к проприетарным бенчмаркам моделей с использованием криптографически защищённых сред
Представьте, что студенту предстоит сдача важного экзамена. Если он случайно увидит вопросы заранее, получение идеального результата будет частично заслугой этого знания, и такой результат потеряет смысл. Чтобы честно измерить уровень его знаний, он не должен иметь доступа к вопросам до начала экзамена. Именно с такой проблемой сталкивается отрасль при оценке продвинутых моделей ИИ. Если модель уже видела тестовые вопросы — проблема, известная как «загрязнение бенчмарка» — результаты можно доверять лишь частично.
Сегодня мы представляем первые в мире двойные слепые испытания проприетарной модели ИИ передового класса, которые удерживают внешние оценки в криптографическом «ящике», не позволяющем использовать их для оптимизации производительности модели до тестирования. Мы сотрудничаем с Singapore AI Safety Institute, OpenMined, AVERI и MLCommons, чтобы протестировать модель Gemini Flash Lite по конфиденциальным бенчмаркам в среде, сохраняющей приватность, тем самым повышая достоверность оценок.
В Google мы оцениваем наши ИИ-системы по широкому спектру тестов на этапах разработки и развертывания, но не полагаемся только на внутреннее тестирование. Чтобы выявлять возможные слепые зоны, мы работаем с разнообразной группой внешних партнёров, включая специализированные исследовательские лаборатории, организации гражданского общества и национальные институты по безопасности и защите ИИ (AISI), используя их уникальную экспертизу для стресс-тестирования наших моделей.
По мере роста возможностей моделей ИИ критично удостовериться, что модель не видела вопросы или подсказки теста заранее, поскольку это может исказить результаты. Политики, исследователи и предприятия должны быть уверены, что бенчмарки ИИ точно отражают истинные способности и безопасность модели, но если модель может «подсматривать» вопросы оценки заранее, это может искусственно завысить показатели и подорвать доверие.
Хотя протоколы нулевого логирования и строгие контрактные гарантии давно обеспечивают конфиденциальность внешних тестовых подсказок, внедрение технических и криптографических мер представляет собой значительный шаг вперёд в области безопасной оценки моделей.
Исторически внешние высокозначимые оценки требовали компромисса. Либо оценщики передавали свои тестовые подсказки (рискуя тем, что поставщик модели увидит вопросы заранее), либо поставщик модели предоставлял веса модели (рискуя раскрытием интеллектуальной собственности).
Двойные слепые оценки устраняют этот компромисс. Используя Confidential Space в составе портфеля Confidential Computing Google Cloud, мы можем криптографически подтвердить, что как внешние данные оценки, так и проприетарная модель остаются приватными для их соответствующих владельцев. Оценщик не может увидеть веса модели Gemini, а Google не может увидеть тестовые подсказки оценщика.
Новый подход к построению доверия в оценках моделей
Это криптографическое подтверждение помогает предотвратить загрязнение бенчмарков и защищает чувствительные данные. Поскольку модели становятся более мощными, это особенно важно для высокочувствительных оценок, например тех, которые используются в кибербезопасности или государственными органами. Двойные слепые оценки открывают возможность независимым организациям тщательно тестировать передовые модели без компромиссов по суверенитету данных или безопасности.
Мы надеемся, что этот пилот создаст новый рубеж в надзоре за моделями, помогая отрасли в целом строить более безопасные, надёжные и широко доверенные системы ИИ.