Что делать если сайт атакуют боты

Просыпаемся мы как нибудь утром, ради интереса заходим в метрику и на каком нибудь сайте о котором уже лет 10 как забыли (своем) видим под тысячу прямых переходов с отказом 100%.

 

1) шаг 1 - паникуем, заходим в логи и выгружаем оттуда все ip всего, что кажется странным и не похоже на боты поисковиков

Сами данные выгружаем из логов на хостинге. Если не понятно где искать их - пишем поддержке хостинга

 

выгружаем все и блокируем в httaccess

 

Order Deny,

AllowDeny from 158.58.168.61

Deny from 194.38.23.16

Deny from 2a09:e2c2:1af2:9ab9:eb8d:26da:6ba:b739

Deny from 2a0e:e5c4:bc5e:8f11:1e0c:66ad:6750:e834

 

 

2) Шаг 2 - выдыхаем, понимаем, что IPV-4 и IPV-6 содержат огромное количество ip  и все их , если сайт попал под нагул ботов - не переблокируешь. Хотя я пытался, хотя бы и ради интереса.

 

ipv4 - пример

вместо блокирования

Deny from 98.159.226.240

Deny from 98.159.226.242

Deny from 98.159.226.243

Deny from 98.159.226.244

Deny from 98.159.226.245

Deny from 98.159.226.246

пишем

Deny from 98.159.0.0/16

вместо

Deny from 2a06:d647:58d6:e258:84e0:c512:9a66:a44c

Deny from 2a06:d647::/32

 

3) Шаг 3 - понимаем, что ipv6 не победить и смотрим все, что ранее блокировалолось и меняем подход - меняем шаг блокирования, вместо 32 - на 16

пишем следующее:

 

Deny from 2a0b:0000:0000:0000:0000:0000:0000:0000/16

Deny from 2a0c:0000:0000:0000:0000:0000:0000:0000/16

Deny from 2a0d:0000:0000:0000:0000:0000:0000:0000/16

Deny from 2a0e:0000:0000:0000:0000:0000:0000:0000/16

Deny from 2a0f:0000:0000:0000:0000:0000:0000:0000/16

Deny from 2a01:0000:0000:0000:0000:0000:0000:0000/16

Deny from 2a02:0000:0000:0000:0000:0000:0000:0000/16

Deny from 2a03:0000:0000:0000:0000:0000:0000:0000/16

Deny from 2a04:0000:0000:0000:0000:0000:0000:0000/16

Deny from 2a05:0000:0000:0000:0000:0000:0000:0000/16

Deny from 2a06:0000:0000:0000:0000:0000:0000:0000/16

Deny from 2a07:0000:0000:0000:0000:0000:0000:0000/16

Deny from 2a08:0000:0000:0000:0000:0000:0000:0000/16

Deny from 2a09:0000:0000:0000:0000:0000:0000:0000/16

Deny from 2a10:0000:0000:0000:0000:0000:0000:0000/16

Deny from 2a11:0000:0000:0000:0000:0000:0000:0000/16

Deny from 2a12:0000:0000:0000:0000:0000:0000:0000/16

Deny from 2a13:0000:0000:0000:0000:0000:0000:0000/16

 

тем самым заблокировав всю бот ферму на ipv-6

Есть мнение, что надо все  ipv-6 блокировать - я с ним не согласен - все таки сети МТС c переходами через IPV-6 не охота блокировать, поэтому выделяем только тех, что спалился.

на ipv-4 - продолжаем собирать данные и блокировать по маскам

 

Deny from 104.168.0.0/16

Deny from 109.248.0.0/16

Deny from 172.207.0.0/16

Deny from 98.159.0.0/16

Deny from 49.51.0.0/16

Deny from 45.81.0.0/16

Deny from 43.166.0.0/16

Deny from 43.159.0.0/16

Deny from 43.157.0.0/16

Deny from 43.133.0.0/16

Deny from 43.130.0.0/16

Deny from 198.235.0.0/16

Deny from 188.130.0.0/16

Deny from 104.168.0.0/16

Deny from 109.248.0.0/16

Deny from 172.207.0.0/16

 

еще момент - Важно!

 

при каждом закрытии по id - проверяем ответ сервера, чтобы не закрыть яндекс ботов

смотрим логи, каких ботов еще позакрывали сгоряча и при необходимости открыть им доступ

 

Шаг 4 - идем на https://dash.cloudflare.com/

регистрируемся, добавляем сайт, ждем обновления DNS  (что случилось через 2 дня смотрим ниже)

 

чтобы протестировать правила блокировки для прямых переходов.

можно не ждать и сразу правило добавить правило, которое я взял с https://community.cloudflare.com/t/refer/584422/6

 

Шаг 5

видим в метрике ботов.

видим, что робот яндекса не может попасть на сайт, а боты заходят спокойно

 

видим что в dash.cloudflare.com  все пропало с вкладки с правилами

Нужную страницу находим у себя в браузере в истории и сразу после перехода эта страница снова становится активной в меню.

отключаем правило с прямыми переходами и ждем, когда DNS сменятся , чтобы отвязаться от сервиса, который не справился с поставленной задачей. Конечно потом видим в комментариях, что надо было создавать белый список для поисковых роботов, но это не очевидно было в настройках. И все же, обычные настройки на уровне сервера справились бы лучше, чем целый сервис, который оказался сложнее чем настройки acceess

 

Сносим cloudflare.com через dns обратно. Фигня получилась конечно.

Итог: 1) позиции падают, если ничего не сделать - у меня упали, тк. ничего не делал

2) по опыту общения с людьми - заметил, что если кто-то заметил, что его сайт ломается - возникает желание, это исправить и как то развивать его.  При обратной ситуации - про сайт можно забыть лет на 10 (как это было у меня)