Оценка прогресса в направлении ОИИ: когнитивная структура

По сообщению Google от 17 марта 2026 г. Даты запуска, доступность функций и сравнительные результаты ниже относятся к этому сообщению и отражают данные разработчика. Первоисточник.

Измерение прогресса в направлении ОИ: когнитивная рамка

В сообщении от 17 марта 2026 года Google DeepMind представила рамку для измерения прогресса к общему искусственному интеллекту и объявила хакатон на Kaggle для разработки соответствующих оценок.

Google DeepMind стремится помочь в измерении прогресса общей искусственной интеллекта (ОИ) с опорой на когнитивную науку. Их статья «Measuring Progress Toward AGI: A Cognitive Taxonomy» представляет рамку для понимания когнитивных способностей ИИ-систем. В анонсе исследователям предлагали разрабатывать оценки ключевых когнитивных умений для хакатона с заявленным призовым фондом 200 000 долларов. Приём работ по тому расписанию уже завершён.

Общая искусственная интеллекта (ОИ) потенциально может ускорить научные открытия и помочь решить некоторые из наиболее насущных проблем человечества. Однако трудно понять, насколько близко мы к этому ключевому рубежу, поскольку отсутствуют эмпирические инструменты для оценки общей интеллекта систем. Отслеживание прогресса в направлении ОИ потребует широкого набора методов и подходов, и мы считаем, что когнитивная наука предоставляет одну из важных частей этой картины.

Именно поэтому сегодня мы публикуем новую статью «Measuring Progress Toward AGI: A Cognitive Taxonomy», которая предлагает научную основу для понимания когнитивных способностей ИИ-систем.

Одновременно с публикацией статьи Google DeepMind объявила о сотрудничестве с Kaggle и пригласила исследовательское сообщество разрабатывать оценки для предложенной рамки.

Декомпозиция общей интеллекта

Наша рамка опирается на десятилетия исследований в психологии, нейронауке и когнитивной науке для разработки когнитивной таксономии. Она выделяет 10 ключевых когнитивных способностей, которые, по нашей гипотезе, будут важны для общей интеллекта в ИИ-системах:

  • Восприятие: извлечение и обработка сенсорной информации из окружающей среды
  • Генерация: производство выходных данных, таких как текст, речь и действия
  • Внимание: сосредоточение когнитивных ресурсов на значимом
  • Обучение: приобретение новых знаний через опыт и инструкцию
  • Память: хранение и извлечение информации во времени
  • Рассуждение: выведение верных выводов посредством логической индукции/вывода
  • Метапознание: знание и мониторинг собственных когнитивных процессов
  • Исполнительные функции: планирование, ингибирование и когнитивная гибкость
  • Решение проблем: поиск эффективных решений в предметных областях
  • Социальное познание: обработка и интерпретация социальной информации и адекватное реагирование в социальных ситуациях

Чтобы понять возможности ИИ по этим когнитивным способностям, мы предлагаем протокол оценки в три этапа, который сопоставляет производительность систем с возможностями человека:

  1. Оценивать ИИ-системы по широкому набору когнитивных задач, охватывающих каждую способность, используя отложенные тестовые наборы, чтобы предотвратить загрязнение данных.
  2. Собрать эталонные показатели людей для тех же задач на демографически репрезентативной выборке взрослых.
  3. Сопоставить производительность каждой ИИ-системы относительно распределения человеческой производительности по каждой способности.

Определение этих когнитивных способностей — важный первый шаг, но для измерения прогресса нужна не только рамка. Чтобы воплотить эту теорию в практику, Google DeepMind объявила хакатон на Kaggle — «Measuring progress toward AGI: Cognitive abilities». По анонсу хакатон был призван привлечь сообщество к разработке оценок для пяти когнитивных способностей, где разрыв в оценивании наиболее велик: обучение, метапознание, внимание, исполнительные функции и социальное познание.

Участники могут использовать недавно запущенную платформу Community Benchmarks на Kaggle для создания и тестирования своих оценок против линейки передовых моделей.

В анонсе был заявлен общий призовой фонд 200 000 долларов: по 10 000 долларов для двух лучших работ в каждой из пяти дорожек и по 25 000 долларов за четыре лучшие общие работы. Согласно опубликованному расписанию, заявки принимались с 17 марта по 16 апреля 2026 года, а объявление результатов планировалось на 1 июня 2026 года. Фактическое объявление результатов и распределение призов здесь отдельно не проверены; это историческое расписание, а не действующее приглашение.

Получайте последние новости от Google на свою электронную почту

Подпишитесь на наши рассылки с обновлениями продуктов, информацией о мероприятиях, специальными предложениями и другим. Проверьте свою почту, чтобы подтвердить подписку. Вы также можете подписаться на другой адрес электронной почты. Ваша информация будет использоваться в соответствии с политикой конфиденциальности Google. Вы можете отказаться в любой момент.

TIME назвал Google SynthID одним из лучших изобретений 2026 года. Мы обеспечиваем европейские научные исследования продвинутыми вычислениями ИИ и передовыми моделями. Применение технологий для понимания и лечения заболеваний. Мы упрощаем обнаружение контента, сгенерированного ИИ, по всему миру. EmbeddingGemma 2: открытая, легкая мультимодальная модель эмбеддингов. Последние новости об ИИ, которые мы объявили в сентябре 2026 года.