Як заборонити ботам відвідувати сайт?

На швидкість завантаження сайту, крім параметрів сервера, впливає навантаження з боку роботів різних сервісів і спам-ботів. Тому, буде корисно заборонити небажаним "відвідувачам" заходити на ваш сайт.

Досить ефективним рішенням буде зробити це за допомогою директив у файлі .htaccess. Заборонити ботам відвідувати сайт можна, використовуючи User-Agent.

Нижче наведено приклад директив, які забороняють доступ до сайт для бота, User-Agent якого "AhrefsBot".

Варіант 1:

<IfModule mod_rewrite.c>
RewriteEngine on
RewriteCond %{HTTP_USER_AGENT} “.*AhrefsBot.*” [OR]
RewriteRule “.*” “-” [F]
</IfModule>

Варіант 2:

RewriteCond %{HTTP_USER_AGENT} AhrefsBot
RewriteRule (.*) – [F,L]