Здравствуй, дорогой читатель. Сегодня статья о блокировке плохих ботов в файле .htaccess. Данный файл — важнейший элемент обеспечения безопасности веб-ресурса. Рассмотрим основные способы запрета доступа вредоносным ботам на сайт по ip-адресу, ip-диапазону и user-agent.
Содержание
Краулеры, парсеры и другие боты на сайте
Множество ботов ежедневно посещают веб-ресурсы. И их количество постоянно увеличивается. Среди них есть полезные сайту. Одни сканируют новый контент и помогают попасть полезным страницам в поисковую выдачу. Другие фиксируют статистику ресурса, анализ которой помогает вебмастеру улучшать его.
Но не все боты, разгуливающие по вашему сайту, приносят ему пользу. Сегодня имеется довольно большое количество бесполезных и даже вредоносных программ. Некоторые пытаются похитить персональные данные или контент, взломать учетные записи, нарушить работу сервера или исказить статистику сайта.
Если вам уже удалось найти сомнительных ботов у себя, то пора заблокировать им доступ в ваше веб-пространство. Рассмотрим возможные способы запрета в файле . htaccess.
Найти данный файл на своем сайте вы можете через файловый менеджер на хостинге. Или установив плагин Yoast Seo. Тогда в административной панели сайта появится соответствующий раздел. Перейдя в нем в подраздел «Инструменты» и открыв «Редактор файлов» получите доступ к коду и возможность его дополнения.
Работая с файлом, будьте внимательны и осторожны. Неумелыми действиями можно сломать сайт. Сделайте предварительно бэкап файла, скачав его из корневой папки сайта на компьютер. Или установите плагин All In One WP Security. После чего появится в административной панели одноименный раздел. В нем, перейдя в подразделе «Настройки» во вкладку «файл .htaccess» вы получите возможность создания резервной копии данного файла и его дальнейшего восстановления.
Запрет бота на сайте в htaccess файле по ip-адресу
Мой сайт посещал SemrushBot. Один из его зафиксированных ip-адресов был 185.191.171.11. Блокировку данного адреса может осуществить следующий код, вставленный в вышеуказанный файл.
Защита сайта от ботов по ip-диапазону
Используя первый способ, следует понимать, что у ботов множество ip-адресов. Заблокировав один из них, вы не обеспечите защиту сайта от ненужных посещений навязчивого робота. Он придет с другого ip. Можно вставить много строк с адресами, но это не удобно. Поэтому полезнее блокировать адреса диапазоном.
В любом сервисе, предоставляющем информацию об ip-адресах, вводим интересующий нас. Ищем строку inetnum. В ней указан ip-диапазон. У меня это 185.191.171.00-185.191.171.255. Теперь используем ранее написанный код. В строку с ip внесем изменение. Уберем последние цифры до точки. Точку оставим. В этом случае получится охват всего диапазона ip-адресов. Можно вставить несколько строк с нужными диапазонами разных ботов.
Закрываем доступ к сайту Semrush боту по части user-agent
Эффективным является способ блокировки по имени бота (как user-agent). Благо они представляются. Того же SemrushBot я заблокировала вот так.
Возможно добавить любое количество имен бесполезных роботов через вертикальный слеш.
Как запретить доступ к сайту с помощью плагина
Если у вас установлен плагин безопасности All In One WP Security, то с его помощью еще легче запретить доступ на сайт с помощью ip-адреса и user-agent. Данный плагин создаст правило, запрещающее указанным посетителям попадать на сайт.
Для этого в консоли переходим в раздел «WP Security» в подраздел «Черный список». Отмечаем галочкой чекбокс включения черного списка. Затем в соответствующие окна вносим нужные данные: ip-адреса и юзер-агентов. И нажимаем кнопку «Сохранить настройки».
Запрещаем доступ в файле robots.txt бесполезным ботам
Зная имя бота, так же возможно ему закрыть доступ к сайту через файл robots.txt. Для этого в данном файле создаем блок указаний для него. В директиве «User-agent» указываем его имя. Директивой Disallow запрещаем ему обрабатывать содержимое всего ресурса.
Найти данный файл можно в корневом каталоге сайта через файловый менеджер на хостинге. Или в разделе «Yoast SEO» в подразделе «Инструменты» в «Редакторе файлов» если установлен на сайте плагин Yoast Seo.
Однако не все роботы выполняют рекомендации этого файла, поэтому надежнее использовать файл .htaccess.
Заключение
Бесполезных и вредоносных ботов необходимо блокировать и не допускать к содержимому сайта. Удобно запрещать доступ через .htaccess файл, вставив код вручную или используя плагины All In One WP Security и Yoast Seo. Иногда работают запреты и через файл robots.txt. Смените учетные данные авторизации в админке, если этого еще не сделали. Спрячьте страницу входа в нее. И проверьте другие элементы сайта на надежность и безопасность.