Google DeepMind представила рамочную схему для оценки продвижения к общему искусственному интеллекту. В ней предлагают измерять отдельные когнитивные способности моделей, а не сводить вывод к одному итоговому тестовому показателю.
В таксономию включены следующие области: восприятие, генерация, внимание, обучение, память, рассуждение, метапознание, исполнительные функции, решение задач и социальное познание. Авторы уточняют, что это предложенный набор областей оценки, а не подтверждение наличия у конкретной модели человеческого интеллекта.
Протокол оценки состоит из трёх этапов. Сначала модель проходит задания по каждой способности на закрытых тестовых наборах. Затем те же задачи выполняет демографически представительная выборка взрослых людей. Наконец, результаты системы сопоставляют с распределением человеческих результатов по каждой области.
Такой профиль способен показать неравномерность возможностей: высокие показатели в одной группе задач не означают одинаковую компетентность в других областях. DeepMind также привлекает исследовательское сообщество к разработке качественных заданий и сбору человеческих базовых измерений.
Публикация рамочного подхода не утверждает, что общий искусственный интеллект уже создан или получил общепринятую сертификацию; для практического применения схемы потребуются разработанные тесты и стандартизированные человеческие данные.