В 2020 году веб-разработчик заметил поток однотипных визитов из соцсетей и начал настраивать правила «Клаудфлейра» для фильтрации трафика. Такие правила могут закрыть страницы сайта для гуглбота и бингбота. Тогда поисковые системы не смогут сканировать эти страницы.
Однотипные визиты из соцсетей выдают ботный трафик
Записи «Вебвизора» и другие отчёты «Яндекс.Метрики» показали, что новые посетители ведут себя иначе, чем прежняя аудитория сайта. Разработчик счёл такое поведение несвойственным реальным людям.
Поведенческие факторы и структура трафика были для него критичны, поэтому он продолжил разбирать происхождение визитов. Позже он опубликовал свою первую статью о ботах из соцсетей в Метрике.
Правила Клаудфлейра могут задеть поисковых роботов
Поисковые роботы проверяют доступность страниц и анализируют их содержимое для выдачи. Слишком активные запросы других роботов могут ухудшить работу сайта. В практическом разборе за 2020–2026 годы после многодневных экспериментов для фильтрации трафика выбрали ручные правила «Клаудфлейра».
Слишком широкое правило может закрыть страницы для Гуглбота и Бингбота и помешать сканированию. Если после включения защиты сайт пропадает из поиска, события защиты сопоставляют с запросами этих роботов, а правила доступа проверяют на блокировку их запросов.