Как забанить плохих ботов на сайте?

[ryancoolround]

Есть хорошие хосты, которые не банятся и не как не трогаются, например:

vkontakte, msn, googlebot, yandex

А есть такие боты, которые на мой взгляд не нужны. Как я уже говорил, они портят статистику сайта. Это могут быть следующие хосты:

adbeat_bot|ahrefssiteaudit|alexibot|aqua_products|asterias|attackbot|b2w|backdoorbot|becomebot|blackwidow|blekkobot|blowfish|botalot|builtbottough|bullseye|bunnyslippers|ccbot|cheesebot|cherrypicker|chinaclaw|chroot|clshttp|collector|control|copernic|copyrightcheck|copyscape|cosmos|craftbot|crescent|curl|custo|demon|dittospyder|dotbot|downloader|dumbot|ecatch|eirgrabber|email|emailcollector|emailsiphon|emailwolf|enterprise_search|erocrawler|eventmachine|exabot|express|extractor|extractorpro|eyenetie|fairad|flaming|flashget|foobot|foto|gaisbot|getright|getty|getweb!|gigabot|github|go!zilla|go-ahead-got-it|go-http-client|grabnet|grafula|grub|hari|harvest|hatena|antenna|hloader|hmview|htmlparser|httplib|httrack|humanlinks|ia_archiver|indy|infonavirobot|interget|intraformant|iron33|jamesbot|jennybot|jetbot|jetcar|joc|jorgee|kenjin|keyword|larbin|leechftp|lexibot|libweb|libwww|linkextractorpro|linkpadbot|linkscan|linkwalker|lnspiderguy|looksmart|lwp-trivial|mass|mata|midown|miixpc|mister|moget|msiecrawler|naver|navroad|nearsite|nerdybot|netants|netmechanic|netspider|netzip|nicerspro|ninja|nutch|octopus|offline|openbot|openfind|openlink|pagegrabber|papa|pavuk|pcbrowser|perl|perman|picscout|propowerbot|prowebwalker|psbot|pycurl|pyq|python-urllib|queryn|quester|radiation|realdownload|reget|retriever|rma|rogerbot|scan|screaming|frog|seo|scooter|searchengineworld|searchpreview|semrushbot-sa|seokicks-robot|sitesnagger|smartdownload|sootle|spankbot|spanner|spbot|spider|stanford|stripper|sucker|superbot|superhttp|surfbot|surveybot|suzuran|szukacz|takeout|teleport|telesoft|thenomad|tocrawl|true_robot|turingos|twengabot|typhoeus|url_spider_pro|urldispatcher|urllib|urly|vampire|vci|voideye|warning|webauto|webbandit|webcollector|webcopier|webcopy|webcraw|webenhancer|webfetch|webgo|webleacher|webmasterworld|webmasterworldforumbot|webpictures|webreaper|websauger|webspider|webster|webstripper|webvac|webviewer|webwhacker|webzip|webzip|wesee|wget|widow|woobot|www-collector-e|wwwoffle|xenu

Хотелось бы знать, каким образом я могу их всех перебанить, кроме само собой хороших ботов.

[Sokrat1337]

что это за колекторы бекдоры демоны телепорты да павуки всякие

webbandit

teleport

pavuk

backdoorbot 

collector

demon

[ryancoolround]

2 минуты назад, Sokrat1337 сказал:

webbandit

Первая же ссылка в Яндексе, говорит тебе насторожиться и оградиться от этого бота.

3 минуты назад, Sokrat1337 сказал:

teleport

Ну вроде как бот, который сканирует сайты, что бы потом их более легко скачать, в буквальном смысле.

4 минуты назад, Sokrat1337 сказал:

pavuk

Без понятия что это за бот вообще.

5 минут назад, Sokrat1337 сказал:

collector

И тут нашли....

5 минут назад, Sokrat1337 сказал:

demon

А по этому боту вообще нет ни какой конкретики. Имя бота максимально тупое.

[ryancoolround]

Во первых, огромное спасибо пользователем сообщества IPBMafia, они помогли облегчить мне ситуацию с ботами. А теперь нужно рассказать об этом поподробнее.

Началось все с того, что в логах сайта я обнаружил то, что на сайте постоянно тусят незнакомые боты:

185.191.171.36 - - [27/Mar/2022:03:22:42 +0300] "GET /store/category/4-igry-steam/?filter%5B1%5D=1%2C7%2C9%2C17%2C6%2C14%2C4%2C3%2C13 HTTP/1.1" 200 27808 "-" "Mozilla/5.0 (compatible; SemrushBot/7~bl; +http://www.semrush.com/bot.html)"
185.191.171.36 - - [27/Mar/2022:03:22:41 +0300] "GET /store/category/4-igry-steam/?filter%5B1%5D=1%2C7%2C9%2C17%2C6%2C14%2C4%2C3%2C13 HTTP/1.0" 200 27808 "-" "Mozilla/5.0 (compatible; SemrushBot/7~bl; +http://www.semrush.com/bot.html)"
54.36.149.33 - - [27/Mar/2022:03:22:47 +0300] "GET /store/category/4-igry-steam/?filter[1]=16,11,2&minRating=2 HTTP/2.0" 200 20805 "-" "Mozilla/5.0 (compatible; AhrefsBot/7.0; +http://ahrefs.com/robot/)"
54.36.149.33 - - [27/Mar/2022:03:22:47 +0300] "GET /store/category/4-igry-steam/?filter[1]=16,11,2&minRating=2 HTTP/1.0" 200 20805 "-" "Mozilla/5.0 (compatible; AhrefsBot/7.0; +http://ahrefs.com/robot/)"
185.191.171.26 - - [27/Mar/2022:03:23:02 +0300] "GET /store/category/4-igry-steam/?filter%5B1%5D=1%2C12%2C5%2C4%2C8%2C11%2C2%2C6%2C17 HTTP/1.1" 200 27806 "-" "Mozilla/5.0 (compatible; SemrushBot/7~bl; +http://www.semrush.com/bot.html)"
185.191.171.26 - - [27/Mar/2022:03:23:02 +0300] "GET /store/category/4-igry-steam/?filter%5B1%5D=1%2C12%2C5%2C4%2C8%2C11%2C2%2C6%2C17 HTTP/1.0" 200 27806 "-" "Mozilla/5.0 (compatible; SemrushBot/7~bl; +http://www.semrush.com/bot.html)"
185.191.171.8 - - [27/Mar/2022:03:23:04 +0300] "GET /store/category/4-igry-steam/?filter%5B1%5D=1%2C15%2C13%2C6%2C12%2C17 HTTP/1.1" 200 27771 "-" "Mozilla/5.0 (compatible; SemrushBot/7~bl; +http://www.semrush.com/bot.html)"
185.191.171.8 - - [27/Mar/2022:03:23:04 +0300] "GET /store/category/4-igry-steam/?filter%5B1%5D=1%2C15%2C13%2C6%2C12%2C17 HTTP/1.0" 200 27771 "-" "Mozilla/5.0 (compatible; SemrushBot/7~bl; +http://www.semrush.com/bot.html)"
185.191.171.4 - - [27/Mar/2022:03:23:06 +0300] "GET /store/category/4-igry-steam/?filter%5B1%5D=1%2C7%2C5%2C2%2C14%2C9%2C15%2C17 HTTP/1.1" 200 27803 "-" "Mozilla/5.0 (compatible; SemrushBot/7~bl; +http://www.semrush.com/bot.html)"
185.191.171.4 - - [27/Mar/2022:03:23:06 +0300] "GET /store/category/4-igry-steam/?filter%5B1%5D=1%2C7%2C5%2C2%2C14%2C9%2C15%2C17 HTTP/1.0" 200 27803 "-" "Mozilla/5.0 (compatible; SemrushBot/7~bl; +http://www.semrush.com/bot.html)"
114.119.130.240 - - [27/Mar/2022:03:23:09 +0300] "GET /calendar/1-kalendar-gejmera/week/2021-07-12/ HTTP/1.1" 200 14068 "-" "Mozilla/5.0 (Linux; Android 7.0;) AppleWebKit/537.36 (KHTML, like Gecko) Mobile Safari/537.36 (compatible; PetalBot;+https://webmaster.petalsearch.com/site/petalbot)"
114.119.130.240 - - [27/Mar/2022:03:23:08 +0300] "GET /calendar/1-kalendar-gejmera/week/2021-07-12/ HTTP/1.0" 200 14068 "-" "Mozilla/5.0 (Linux; Android 7.0;) AppleWebKit/537.36 (KHTML, like Gecko) Mobile Safari/537.36 (compatible; PetalBot;+https://webmaster.petalsearch.com/site/petalbot)"
54.36.149.34 - - [27/Mar/2022:03:23:13 +0300] "GET /store/category/4-igry-steam/?filter[1]=17,1,15 HTTP/2.0" 200 27727 "-" "Mozilla/5.0 (compatible; AhrefsBot/7.0; +http://ahrefs.com/robot/)"
54.36.149.34 - - [27/Mar/2022:03:23:13 +0300] "GET /store/category/4-igry-steam/?filter[1]=17,1,15 HTTP/1.0" 200 27727 "-" "Mozilla/5.0 (compatible; AhrefsBot/7.0; +http://ahrefs.com/robot/)"
185.191.171.25 - - [27/Mar/2022:03:23:19 +0300] "GET /store/category/4-igry-steam/?filter%5B1%5D=14%2C8%2C7%2C16%2C11 HTTP/1.1" 200 25199 "-" "Mozilla/5.0 (compatible; SemrushBot/7~bl; +http://www.semrush.com/bot.html)"
185.191.171.25 - - [27/Mar/2022:03:23:19 +0300] "GET /store/category/4-igry-steam/?filter%5B1%5D=14%2C8%2C7%2C16%2C11 HTTP/1.0" 200 25199 "-" "Mozilla/5.0 (compatible; SemrushBot/7~bl; +http://www.semrush.com/bot.html)"
185.191.171.19 - - [27/Mar/2022:03:23:24 +0300] "GET /store/category/4-igry-steam/?filter%5B1%5D=7%2C8%2C13%2C17%2C9%2C16%2C2%2C12 HTTP/1.1" 200 27809 "-" "Mozilla/5.0 (compatible; SemrushBot/7~bl; +http://www.semrush.com/bot.html)"
185.191.171.19 - - [27/Mar/2022:03:23:24 +0300] "GET /store/category/4-igry-steam/?filter%5B1%5D=7%2C8%2C13%2C17%2C9%2C16%2C2%2C12 HTTP/1.0" 200 27809 "-" "Mozilla/5.0 (compatible; SemrushBot/7~bl; +http://www.semrush.com/bot.html)"
185.191.171.13 - - [27/Mar/2022:03:23:26 +0300] "GET /store/category/4-igry-steam/?filter%5B1%5D=1%2C13%2C11%2C10%2C2%2C12%2C8%2C5 HTTP/1.1" 200 27796 "-" "Mozilla/5.0 (compatible; SemrushBot/7~bl; +http://www.semrush.com/bot.html)"
185.191.171.13 - - [27/Mar/2022:03:23:26 +0300] "GET /store/category/4-igry-steam/?filter%5B1%5D=1%2C13%2C11%2C10%2C2%2C12%2C8%2C5 HTTP/1.0" 200 27796 "-" "Mozilla/5.0 (compatible; SemrushBot/7~bl; +http://www.semrush.com/bot.html)"

Написав об этом в техническую поддержку WEB хостинга MyArena, специалист Антон мне порекомендовал игнорировать данных ботов, так как они никакого вреда сайту не несут.

Ну не несут и хорошо подумал я и успешно забил на этот вопрос. Некоторое время все было хорошо, но затем я в последние 3-4 дня обратил внимание на то, что таблица в базе данных, core_sessions, начала превышать размер таблицы с постами. То есть, таблица с сессиями пользователей больше чем таблица с постами пользователей, и это показалось мне неправильным.

Зайдя в данную таблицу, я обнаружил что те самые боты, про которые я сообщал поддержке записываются как раз в данную таблицу в базе данных.

Уже после мне дали простой способ блокировки данных ботов. Я уверен, он не идеален, но и на этом спасибо. Ведь, после того как я его использовал, все эти боты пропали из данной таблицы.

В общем для простого решения в файле .htaccess нужно добавить следующее:

RewriteCond %{HTTP_USER_AGENT} AhrefsBot
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} MJ12bot
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} Detectify
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} dotbot
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} Riddler
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} SemrushBot
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} LinkpadBot
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} BLEXBot
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} FlipboardProxy
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} aiHitBot
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} trovitBot
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} BUbiNG
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} MauiBot
RewriteRule (.*) - [F,L]

Так что плохих ботов нужно блокировать и нельзя их игнорировать не в коем случае.