Google DeepMind проводит пилотную оценку модели Gemini Flash Lite совместно с рядом партнёров: Singapore AI Safety Institute, OpenMined, AVERI и MLCommons. Цель проекта — организовать внешние испытания модели так, чтобы участники не получали доступ к чужим конфиденциальным данным и тестовым наборам.
В основе схемы лежит технология Confidential Space от Google Cloud. В этой модели оценщик не получает веса проверяемой модели, а поставщик модели не видит закрытые тестовые запросы. Криптографические механизмы и подтверждение среды используются для проверки соблюдения такой изоляции.
Подход нацелен на уменьшение искажения бенчмарков, связанного с предварительным доступом разработчика к тестовым задачам или обучением модели на вопросах оценки. При этом сохранение секретности новых вопросов само по себе не доказывает, что похожие задания не встречались в обучающих данных модели.
Важно отметить, что пилот касается процедуры испытаний и не служит доказательством безопасности или превосходства проверяемой модели. Для корректной интерпретации результатов требуется учитывать содержание метрик, условия запуска и ограничения выбранной методики оценки.