Google представила агентное понимание видео для моделей Gemini Flash. В основе подхода — цикл, в котором модель выбирает фрагменты записи и способы их повторного просмотра для более прицельного анализа.
Вместо равномерной выборки кадров система ищет временные окна, уточняет их по изображению, звуку или расшифровке и запрашивает детальную обработку выбранных участков. Такой метод ориентирован на поиск коротких событий в длинных записях и на подсчёт повторяющихся действий, где важны точные фрагменты, а не постоянная обработка всего видеопотока.
По внутренним тестам Google, при использовании агентного режима на отдельных задачах потребление токенов сократилось до 88% по сравнению с базовой стратегией, стоимость обработки — до 66%, а показатель качества в некоторых испытаниях вырос до 7%. Эти цифры отражают максимальные результаты на выбранных наборах задач и не являются гарантией одинаковой экономии или улучшения для всех видеозаписей.
Режим доступен через Gemini API и AI Studio для анализа загруженных видео и роликов с платформы YouTube. При этом доступность функции в пользовательских продуктах описывается отдельно. Разработчики предупреждают, что агентный подход не гарантирует безошибочного обнаружения всех событий — качество результатов зависит от конкретной задачи, длительности записи и требований к пропускам между проверяемыми фрагментами.