Перейти к содержанию
Одно твое сообщение на этом сайте в день делает сайт лучше! Спасибо!

Как забанить плохих ботов на сайте?


Рекомендуемые сообщения

  • Администратор

Есть хорошие хосты, которые не банятся и не как не трогаются, например:

vkontakte, msn, googlebot, yandex

А есть такие боты, которые на мой взгляд не нужны. Как я уже говорил, они портят статистику сайта. Это могут быть следующие хосты:

adbeat_bot|ahrefssiteaudit|alexibot|aqua_products|asterias|attackbot|b2w|backdoorbot|becomebot|blackwidow|blekkobot|blowfish|botalot|builtbottough|bullseye|bunnyslippers|ccbot|cheesebot|cherrypicker|chinaclaw|chroot|clshttp|collector|control|copernic|copyrightcheck|copyscape|cosmos|craftbot|crescent|curl|custo|demon|dittospyder|dotbot|downloader|dumbot|ecatch|eirgrabber|email|emailcollector|emailsiphon|emailwolf|enterprise_search|erocrawler|eventmachine|exabot|express|extractor|extractorpro|eyenetie|fairad|flaming|flashget|foobot|foto|gaisbot|getright|getty|getweb!|gigabot|github|go!zilla|go-ahead-got-it|go-http-client|grabnet|grafula|grub|hari|harvest|hatena|antenna|hloader|hmview|htmlparser|httplib|httrack|humanlinks|ia_archiver|indy|infonavirobot|interget|intraformant|iron33|jamesbot|jennybot|jetbot|jetcar|joc|jorgee|kenjin|keyword|larbin|leechftp|lexibot|libweb|libwww|linkextractorpro|linkpadbot|linkscan|linkwalker|lnspiderguy|looksmart|lwp-trivial|mass|mata|midown|miixpc|mister|moget|msiecrawler|naver|navroad|nearsite|nerdybot|netants|netmechanic|netspider|netzip|nicerspro|ninja|nutch|octopus|offline|openbot|openfind|openlink|pagegrabber|papa|pavuk|pcbrowser|perl|perman|picscout|propowerbot|prowebwalker|psbot|pycurl|pyq|python-urllib|queryn|quester|radiation|realdownload|reget|retriever|rma|rogerbot|scan|screaming|frog|seo|scooter|searchengineworld|searchpreview|semrushbot-sa|seokicks-robot|sitesnagger|smartdownload|sootle|spankbot|spanner|spbot|spider|stanford|stripper|sucker|superbot|superhttp|surfbot|surveybot|suzuran|szukacz|takeout|teleport|telesoft|thenomad|tocrawl|true_robot|turingos|twengabot|typhoeus|url_spider_pro|urldispatcher|urllib|urly|vampire|vci|voideye|warning|webauto|webbandit|webcollector|webcopier|webcopy|webcraw|webenhancer|webfetch|webgo|webleacher|webmasterworld|webmasterworldforumbot|webpictures|webreaper|websauger|webspider|webster|webstripper|webvac|webviewer|webwhacker|webzip|webzip|wesee|wget|widow|woobot|www-collector-e|wwwoffle|xenu

Хотелось бы знать, каким образом я могу их всех перебанить, кроме само собой хороших ботов.

Ссылка на комментарий
Поделиться на другие сайты
Классное и оптимизированное сражение 6 на 6 в Left 4 Dead 2

Приятной игры!
  • Администратор
2 минуты назад, Sokrat1337 сказал:

webbandit

Первая же ссылка в Яндексе, говорит тебе насторожиться и оградиться от этого бота.

3 минуты назад, Sokrat1337 сказал:

teleport

Ну вроде как бот, который сканирует сайты, что бы потом их более легко скачать, в буквальном смысле.

4 минуты назад, Sokrat1337 сказал:

pavuk

Без понятия что это за бот вообще.

5 минут назад, Sokrat1337 сказал:

collector

И тут нашли....

5 минут назад, Sokrat1337 сказал:

demon

А по этому боту вообще нет ни какой конкретики. Имя бота максимально тупое.

Ссылка на комментарий
Поделиться на другие сайты
  • Администратор

Во первых, огромное спасибо пользователем сообщества IPBMafia, они помогли облегчить мне ситуацию с ботами. А теперь нужно рассказать об этом поподробнее.

Началось все с того, что в логах сайта я обнаружил то, что на сайте постоянно тусят незнакомые боты:

185.191.171.36 - - [27/Mar/2022:03:22:42 +0300] "GET /store/category/4-igry-steam/?filter%5B1%5D=1%2C7%2C9%2C17%2C6%2C14%2C4%2C3%2C13 HTTP/1.1" 200 27808 "-" "Mozilla/5.0 (compatible; SemrushBot/7~bl; +http://www.semrush.com/bot.html)"
185.191.171.36 - - [27/Mar/2022:03:22:41 +0300] "GET /store/category/4-igry-steam/?filter%5B1%5D=1%2C7%2C9%2C17%2C6%2C14%2C4%2C3%2C13 HTTP/1.0" 200 27808 "-" "Mozilla/5.0 (compatible; SemrushBot/7~bl; +http://www.semrush.com/bot.html)"
54.36.149.33 - - [27/Mar/2022:03:22:47 +0300] "GET /store/category/4-igry-steam/?filter[1]=16,11,2&minRating=2 HTTP/2.0" 200 20805 "-" "Mozilla/5.0 (compatible; AhrefsBot/7.0; +http://ahrefs.com/robot/)"
54.36.149.33 - - [27/Mar/2022:03:22:47 +0300] "GET /store/category/4-igry-steam/?filter[1]=16,11,2&minRating=2 HTTP/1.0" 200 20805 "-" "Mozilla/5.0 (compatible; AhrefsBot/7.0; +http://ahrefs.com/robot/)"
185.191.171.26 - - [27/Mar/2022:03:23:02 +0300] "GET /store/category/4-igry-steam/?filter%5B1%5D=1%2C12%2C5%2C4%2C8%2C11%2C2%2C6%2C17 HTTP/1.1" 200 27806 "-" "Mozilla/5.0 (compatible; SemrushBot/7~bl; +http://www.semrush.com/bot.html)"
185.191.171.26 - - [27/Mar/2022:03:23:02 +0300] "GET /store/category/4-igry-steam/?filter%5B1%5D=1%2C12%2C5%2C4%2C8%2C11%2C2%2C6%2C17 HTTP/1.0" 200 27806 "-" "Mozilla/5.0 (compatible; SemrushBot/7~bl; +http://www.semrush.com/bot.html)"
185.191.171.8 - - [27/Mar/2022:03:23:04 +0300] "GET /store/category/4-igry-steam/?filter%5B1%5D=1%2C15%2C13%2C6%2C12%2C17 HTTP/1.1" 200 27771 "-" "Mozilla/5.0 (compatible; SemrushBot/7~bl; +http://www.semrush.com/bot.html)"
185.191.171.8 - - [27/Mar/2022:03:23:04 +0300] "GET /store/category/4-igry-steam/?filter%5B1%5D=1%2C15%2C13%2C6%2C12%2C17 HTTP/1.0" 200 27771 "-" "Mozilla/5.0 (compatible; SemrushBot/7~bl; +http://www.semrush.com/bot.html)"
185.191.171.4 - - [27/Mar/2022:03:23:06 +0300] "GET /store/category/4-igry-steam/?filter%5B1%5D=1%2C7%2C5%2C2%2C14%2C9%2C15%2C17 HTTP/1.1" 200 27803 "-" "Mozilla/5.0 (compatible; SemrushBot/7~bl; +http://www.semrush.com/bot.html)"
185.191.171.4 - - [27/Mar/2022:03:23:06 +0300] "GET /store/category/4-igry-steam/?filter%5B1%5D=1%2C7%2C5%2C2%2C14%2C9%2C15%2C17 HTTP/1.0" 200 27803 "-" "Mozilla/5.0 (compatible; SemrushBot/7~bl; +http://www.semrush.com/bot.html)"
114.119.130.240 - - [27/Mar/2022:03:23:09 +0300] "GET /calendar/1-kalendar-gejmera/week/2021-07-12/ HTTP/1.1" 200 14068 "-" "Mozilla/5.0 (Linux; Android 7.0;) AppleWebKit/537.36 (KHTML, like Gecko) Mobile Safari/537.36 (compatible; PetalBot;+https://webmaster.petalsearch.com/site/petalbot)"
114.119.130.240 - - [27/Mar/2022:03:23:08 +0300] "GET /calendar/1-kalendar-gejmera/week/2021-07-12/ HTTP/1.0" 200 14068 "-" "Mozilla/5.0 (Linux; Android 7.0;) AppleWebKit/537.36 (KHTML, like Gecko) Mobile Safari/537.36 (compatible; PetalBot;+https://webmaster.petalsearch.com/site/petalbot)"
54.36.149.34 - - [27/Mar/2022:03:23:13 +0300] "GET /store/category/4-igry-steam/?filter[1]=17,1,15 HTTP/2.0" 200 27727 "-" "Mozilla/5.0 (compatible; AhrefsBot/7.0; +http://ahrefs.com/robot/)"
54.36.149.34 - - [27/Mar/2022:03:23:13 +0300] "GET /store/category/4-igry-steam/?filter[1]=17,1,15 HTTP/1.0" 200 27727 "-" "Mozilla/5.0 (compatible; AhrefsBot/7.0; +http://ahrefs.com/robot/)"
185.191.171.25 - - [27/Mar/2022:03:23:19 +0300] "GET /store/category/4-igry-steam/?filter%5B1%5D=14%2C8%2C7%2C16%2C11 HTTP/1.1" 200 25199 "-" "Mozilla/5.0 (compatible; SemrushBot/7~bl; +http://www.semrush.com/bot.html)"
185.191.171.25 - - [27/Mar/2022:03:23:19 +0300] "GET /store/category/4-igry-steam/?filter%5B1%5D=14%2C8%2C7%2C16%2C11 HTTP/1.0" 200 25199 "-" "Mozilla/5.0 (compatible; SemrushBot/7~bl; +http://www.semrush.com/bot.html)"
185.191.171.19 - - [27/Mar/2022:03:23:24 +0300] "GET /store/category/4-igry-steam/?filter%5B1%5D=7%2C8%2C13%2C17%2C9%2C16%2C2%2C12 HTTP/1.1" 200 27809 "-" "Mozilla/5.0 (compatible; SemrushBot/7~bl; +http://www.semrush.com/bot.html)"
185.191.171.19 - - [27/Mar/2022:03:23:24 +0300] "GET /store/category/4-igry-steam/?filter%5B1%5D=7%2C8%2C13%2C17%2C9%2C16%2C2%2C12 HTTP/1.0" 200 27809 "-" "Mozilla/5.0 (compatible; SemrushBot/7~bl; +http://www.semrush.com/bot.html)"
185.191.171.13 - - [27/Mar/2022:03:23:26 +0300] "GET /store/category/4-igry-steam/?filter%5B1%5D=1%2C13%2C11%2C10%2C2%2C12%2C8%2C5 HTTP/1.1" 200 27796 "-" "Mozilla/5.0 (compatible; SemrushBot/7~bl; +http://www.semrush.com/bot.html)"
185.191.171.13 - - [27/Mar/2022:03:23:26 +0300] "GET /store/category/4-igry-steam/?filter%5B1%5D=1%2C13%2C11%2C10%2C2%2C12%2C8%2C5 HTTP/1.0" 200 27796 "-" "Mozilla/5.0 (compatible; SemrushBot/7~bl; +http://www.semrush.com/bot.html)"

Написав об этом в техническую поддержку WEB хостинга MyArena, специалист Антон мне порекомендовал игнорировать данных ботов, так как они никакого вреда сайту не несут.

Снимок экрана 2022-04-10 214146.jpg

Ну не несут и хорошо подумал я и успешно забил на этот вопрос. Некоторое время все было хорошо, но затем я в последние 3-4 дня обратил внимание на то, что таблица в базе данных, core_sessions, начала превышать размер таблицы с постами. То есть, таблица с сессиями пользователей больше чем таблица с постами пользователей, и это показалось мне неправильным.

Зайдя в данную таблицу, я обнаружил что те самые боты, про которые я сообщал поддержке записываются как раз в данную таблицу в базе данных.

4.jpg

Уже после мне дали простой способ блокировки данных ботов. Я уверен, он не идеален, но и на этом спасибо. Ведь, после того как я его использовал, все эти боты пропали из данной таблицы.

В общем для простого решения в файле .htaccess нужно добавить следующее:

RewriteCond %{HTTP_USER_AGENT} AhrefsBot
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} MJ12bot
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} Detectify
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} dotbot
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} Riddler
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} SemrushBot
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} LinkpadBot
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} BLEXBot
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} FlipboardProxy
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} aiHitBot
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} trovitBot
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} BUbiNG
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} MauiBot
RewriteRule (.*) - [F,L]

Так что плохих ботов нужно блокировать и нельзя их игнорировать не в коем случае.

Ссылка на комментарий
Поделиться на другие сайты

Для публикации сообщений создайте учётную запись или авторизуйтесь

Вы должны быть пользователем, чтобы оставить комментарий

Создать учетную запись

Зарегистрируйте новую учётную запись в нашем сообществе. Это очень просто!

Регистрация нового пользователя

Войти

Уже есть аккаунт? Войти в систему.

Войти
  • Похожий контент

    • Автор Райан
      Кто ни будь встречал подобных ботов? В общем я хочу сделать так, что бы этот бот почаще напоминал в Discord чатах, что мол нефиг тут спамить, идите флудить на форум.
      Что то есть подобное?
      Посоветуйте пожалуйста!
    • Автор Райан
      Подобная тема есть в разделе для CS:S, и я думаю будет справедливым создать подобную тему в разделе с Dota 2. И открываем эту тему классным скрином!

    • Автор Райан
      IP адреса ботов, которые точно стоит блокировать:
      185.191.171.13     -        13.bl.bot.semrush.com Я думаю это ни для кого не секрет, и все прекрасно уже знают, что более половины всего интернет-трафика, во всем интернете, генерируется нечеловеческими источниками (Ботами), это могут быть программы для взлома, парсеры и автоматизированные механизмы спама. В любом случае, большая часть этого нечеловеческого трафика является потенциально вредоносным.
      Помню еще давно в сети проводился тест, были взяты 1000 веб-сайтов, слава тем админам, которые помогли тому эксперименту, и в ходе аналитики выяснилось, что только 49% веб-трафика этих сайтов принадлежало людям. 20% - это безобидный трафик из поисковых систем, но 31% всего интернет-трафика связан с злонамеренными действиями.
      И прямо сейчас я покажу живой пример на нашем сайте. Идем на главную страницу, и смотрим, сколько гостей в данный момент присутствует на сайте.
      Теперь поделимся какой ни будь (Совершено неважно какой именно) страницей с сайта в наших социальных сетях.
      По итогу мы поделились этой страничкой с сайта в ВК и Facebook. Результат был предсказуем.... Резко налетели боты, которые стали генерировать нам трафик.
      А теперь пойдем по такому понятию как рекурсия. 
      1 пользователь привел нам 6 ботов, то есть:
      1 п = 6 б 2 п = 12 б 4 п = 24 б 14 п = 84 б Не знаю зачем я пишу это сейчас, и пригодится ли кому ни будь из вас эта информация. Но мне было интересно поразмышлять над этим.
    • Автор Райан
      Столкнулся с достаточно банальным багом сегодня, на сервере VS#1 в l4d2. В принципе все очень просто, бот может взять оружие сквозь стену.
      И есть люди, которые считают это фишкой, а не багом. Я же считаю это багом, и я пытался это исправить. Сначала пробовал искать необходимые плагины, но увы ничего для этого, дельного, мне не посоветовали.
      Потом пытался забаррикадировать эту стену какой нибудь преградой, что бы боты не доставали до оружия. Но в конечном итоге передумал, ведь этим способом мы меняем стандартные компании l4d2, и они становятся нестандартными...
      В итоге, я эту проблему не исправил. Она до сих пор есть на VS#1, и вы ее, если вам повезет, сможете лицезреть. Сможете увидеть, как Ник, как какой то волшебник, подбирает оружие сквозь стену...
    • Автор Райан
      Как правильно изложить суть своей проблемы:
      Создайте новую тему в разделе Трекер банов соблюдая правила форума
      Заголовок укажите на ваше усмотрение, или, например "Протест" или "Мут".
      В тексте сообщения представьтесь, чтобы мы могли вас идентифицировать (укажите свой ник, если он не совпадает с именем пользователя указанным на форуме). Напишите почему, по вашему мнению, вы получили наказание. Или укажите, если вы знаете причину (её можно посмотреть здесь). И наконец, расскажите суть протеста: почему, по вашему мнению, мы должны снять ваше наказание?
      Учтите что...
      Протесты составленные на других лиц не приветствуются Пример подачи заявки:
      Мой ник Ryancoolround. 
      Админ Sad Cat выдал мне мут за использование мата.
      Считаю, что высказывание "твоя мама лама", которое было мною использовано, не является существенным нарушением. 
  • Последние посетители   0 пользователей онлайн

    Ни одного зарегистрированного пользователя не просматривает данную страницу



×
×
  • Создать...