Файл .htaccess: как ботам запретить доступ к сайту

Здравствуй, дорогой читатель. Сегодня статья о блокировке плохих ботов в файле .htaccess. Данный файл — важнейший элемент обеспечения безопасности веб-ресурса. Рассмотрим основные способы запрета доступа вредоносным ботам на сайт по ip-адресу, ip-диапазону и user-agent.

Краулеры, парсеры и другие боты на сайте

Множество ботов ежедневно посещают веб-ресурсы. И их количество постоянно увеличивается. Среди них есть полезные сайту. Одни сканируют новый контент и помогают попасть полезным страницам в поисковую выдачу. Другие фиксируют статистику ресурса, анализ которой помогает вебмастеру улучшать его.

Но не все боты, разгуливающие по вашему сайту, приносят ему пользу. Сегодня имеется довольно большое количество бесполезных и даже вредоносных программ. Некоторые пытаются похитить персональные данные или контент, взломать учетные записи, нарушить работу сервера или исказить статистику сайта.

Заказать лендинг для роста продаж

Если вам уже удалось найти сомнительных ботов у себя, то пора заблокировать им доступ в ваше веб-пространство. Рассмотрим возможные способы запрета в файле . htaccess.

Найти данный файл на своем сайте вы можете через файловый менеджер на хостинге. Или установив плагин Yoast Seo. Тогда в административной панели сайта появится соответствующий раздел. Перейдя в нем в подраздел «Инструменты» и открыв «Редактор файлов» получите доступ к коду и возможность его дополнения.

Как найти файл . htaccess на сайте

Работая с файлом, будьте внимательны и осторожны. Неумелыми действиями можно сломать сайт. Сделайте предварительно бэкап файла, скачав его из корневой папки сайта на компьютер. Или установите плагин All In One WP Security. После чего появится в административной панели одноименный раздел. В нем, перейдя в подразделе «Настройки» во вкладку «файл .htaccess» вы получите возможность создания резервной копии данного файла и его дальнейшего восстановления.

Запрет бота на сайте в htaccess файле по ip-адресу

Мой сайт посещал SemrushBot. Один из его зафиксированных ip-адресов был 185.191.171.11. Блокировку данного адреса может осуществить следующий код, вставленный в вышеуказанный файл.

Запрет доступа ботам на сайт по ip диапазону в .htaccess

Защита сайта от ботов по ip-диапазону

Используя первый способ, следует понимать, что у ботов множество ip-адресов. Заблокировав один из них, вы не обеспечите защиту сайта от ненужных посещений навязчивого робота. Он придет с другого ip. Можно вставить много строк с адресами, но это не удобно. Поэтому полезнее блокировать адреса диапазоном.

В любом сервисе, предоставляющем информацию об ip-адресах, вводим интересующий нас. Ищем строку inetnum. В ней указан ip-диапазон. У меня это 185.191.171.00-185.191.171.255. Теперь используем ранее написанный код. В строку с ip внесем изменение. Уберем последние цифры до точки. Точку оставим. В этом случае получится охват всего диапазона ip-адресов. Можно вставить несколько строк с нужными диапазонами разных ботов.

Запрет доступа ботам на сайт по ip диапазону

Закрываем доступ к сайту Semrush боту по части user-agent

Эффективным является способ блокировки по имени бота (как user-agent). Благо они представляются. Того же SemrushBot я заблокировала вот так.

Запрет доступа ботам на сайт по user-agent

Возможно добавить любое количество имен бесполезных роботов через вертикальный слеш.

Как запретить доступ к сайту с помощью плагина

Если у вас установлен плагин безопасности All In One WP Security, то с его помощью еще легче запретить доступ на сайт с помощью ip-адреса и user-agent. Данный плагин создаст правило, запрещающее указанным посетителям попадать на сайт.

Для этого в консоли переходим в раздел «WP Security» в подраздел «Черный список». Отмечаем галочкой чекбокс включения черного списка. Затем в соответствующие окна вносим нужные данные: ip-адреса и юзер-агентов. И нажимаем кнопку «Сохранить настройки».

Блокировка ботов с помощью плагина

Запрещаем доступ в файле robots.txt бесполезным ботам

Зная имя бота, так же возможно ему закрыть доступ к сайту через файл robots.txt. Для этого в данном файле создаем блок указаний для него. В директиве «User-agent» указываем его имя. Директивой Disallow запрещаем ему обрабатывать содержимое всего ресурса.

Найти данный файл можно в корневом каталоге сайта через файловый менеджер на хостинге. Или в разделе «Yoast SEO» в подразделе «Инструменты» в «Редакторе файлов» если установлен на сайте плагин Yoast Seo.

Однако не все роботы выполняют рекомендации этого файла, поэтому надежнее использовать файл .htaccess.

Заказать посадочную страницу для рекламы

Заключение

Бесполезных и вредоносных ботов необходимо блокировать и не допускать к содержимому сайта. Удобно запрещать доступ через .htaccess файл, вставив код вручную или используя плагины All In One WP Security и Yoast Seo. Иногда работают запреты и через файл robots.txt. Смените учетные данные авторизации в админке, если этого еще не сделали. Спрячьте страницу входа в нее. И проверьте другие элементы сайта на надежность и безопасность.

Похожие статьи:

Оставьте комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *

20 + 16 =

Top