Cloudflare предложила подход к непрерывной оценке поведения Verified‑ботов, в котором подтверждение оператора служит лишь одной из метрик доверия, а не гарантией корректности каждого последующего запроса.
Система учитывает устойчивые наблюдения: соблюдает ли краулер опубликованные правила robots.txt, снижает ли скорость после получения ответа HTTP 429 и другие поведенческие сигналы. По задумке компании, эти сигналы формируют объяснимый диапазон доверия, а не приводят к немедленной блокировке из‑за единичного инцидента.
Cloudflare уже использует такую систему для внутренней оценки и накопления истории взаимодействий краулеров. Массовая доступность для клиентов и возможность настраивать пороги доверия описаны как следующий этап, поэтому пока это не универсальная настройка, применимая к любому аккаунту по умолчанию.
Для владельцев сайтов важно различать идентификацию бота и наблюдаемое поведение: известный краулер может создавать нежелательную нагрузку, и решение о предоставлении доступа должно опираться на сочетание объявленных правил и фактических запросов.