Новости » Клаудфлейр блокирует Бингбота — как найти ложное срабатывание
Опубликовано в

Клаудфлейр блокирует Бингбота — как найти ложное срабатывание

Клаудфлейр блокирует Бингбота — как найти ложное срабатывание

Если Клаудфлейр блокирует настоящего Бингбота, поисковому роботу становится труднее обходить страницы и обновлять сведения о сайте. Прежде чем менять защиту, администратору нужно проверить сетевой адрес робота и найти правило, которое останавливает его запросы.

Имя Бингбота в запросе ещё не подтверждает, что на сайт пришёл настоящий поисковый робот. Для проверки администратор выполняет обратный поиск по сетевому адресу, получает имя узла и проверяет его принадлежность поисковой системе. Затем выполняет прямую проверку этого имени и сопоставляет полученный адрес с адресом запроса. Поддельному роботу недостаточно представиться Бингботом, чтобы пройти такую проверку.

После проверки адреса администратор разбирает журнал запросов Клаудфлейра. Он находит обращения подтверждённого робота и выясняет, какое правило защиты их остановило. Если правило перекрыло доступ настоящему Бингботу, речь идёт о ложной блокировке. Само имя робота в журнале не доказывает ошибку защиты.

Последствия связаны с тем, какие страницы робот не смог прочитать. Если защита мешает обходу, поисковая система может медленнее обновлять сведения об этих страницах в индексе. По одной записи о блокировке нельзя установить, как изменится поисковая выдача.

Доступ администратор восстанавливает точечным изменением правила, которое остановило проверенного Бингбота. Результат он проверяет по новым запросам в журнале Клаудфлейра. Практический критерий здесь прост: настоящий робот снова получает доступ к страницам, которые раньше блокировала защита.