«Клаудфлейр» сообщила, что заблокирует ботов, которые одновременно индексируют страницы для поисковой выдачи и собирают материалы для обучения ИИ. Если защита от ИИ-краулеров включена, под ограничения могут попасть роботы «Гугла» и «Бинга», поэтому владельцам сайтов стоит убедиться, что поисковые системы по-прежнему видят их страницы.
Клаудфлейр фильтрует запросы и блокирует краулеры обучения нейросетей
«Клаудфлейр» объявила, что с 15 сентября 2026 года будет блокировать ботов двойного назначения, когда владелец сайта активировал защиту от ИИ-краулеров. Из-за этого настройка «Блокировка обучения ИИ» способна повлиять и на поисковую индексацию.
По оценке сервиса, ограничить доступ обучающим ботам хотят 17% владельцев, а поисковым — менее 1%. Такая разница объясняется тем, что происходит после обхода страницы. Поисковый краулер добавляет публикацию в индекс, после чего она может появиться в обычной выдаче или ИИ-обзоре со ссылкой. У читателя остаётся возможность перейти к оригиналу.
От параметров фильтра зависит, сохранит ли сайт видимость в поисковой выдаче. Запрет поискового обхода перекрывает канал, по которому пользователи находят страницы, поэтому владельцам нужно отдельно настроить ограничения для разных программ. Автор публикации на «Хабре» утверждает, что провайдеры ИИ-моделей мешали разделить поисковых и обучающих ботов.