Как запретить ботам посещать сайт?

На скорость загрузки сайта, помимо параметров сервера, влияет нагрузка со стороны роботов различных сервисов и спам-ботов. Поэтому, будет полезно запретить нежелательным “посетителям” заходить на ваш сайт.

Достаточно эффективным решением будет сделать это с помощью директив в файле .htaccess. Запретить ботам посещать сайт можно, используя User-Agent.

Ниже приведен пример директив, которые запрещают доступ к сайт для бота, User-Agent которого "AhrefsBot".

Вариант 1:

<IfModule mod_rewrite.c>
RewriteEngine on
RewriteCond %{HTTP_USER_AGENT} “.*AhrefsBot.*” [OR]
RewriteRule “.*” “-” [F]
</IfModule>

Вариант 2:

RewriteCond %{HTTP_USER_AGENT} AhrefsBot
RewriteRule (.*) – [F,L]