Как ни странно, но данная система баннов, очень быстренько так попадает в поисковик Яндекс. Заметил я это очень давно, но конкретное внимание обратил только сейчас, когда появилось время на это.

На мой взгляд, каждый уважающий себя, SEO оптимизатор, админ, в общем тот человек, у которого есть доступ к файловой системе сайта, должен избавляться от подобных проблем в кратчайшие сроки. Ведь, пока Яндекс робот тратит время на то, чтобы проиндексировать страницы без контента и добавить их в поиск, у него нет времени, чтобы проиндексировать действительно нужные страницы. Попробуем избавиться от данной проблемы.

К примеру, у нас есть сайт https://l4d2noob.ru/ и скажем наша система банов лежит по следующему пути https://l4d2noob.ru/sourcebans++/, соответственно этот путь надо полностью запретить добавлять в поиск. Для этого в FileZilla идем в корневую папку сайта, там обычно лежит файл robots.txt.

Если у вас действительно есть уже сформированный robots.txt, то вам нужно открыть его текстовым редактором стереть в нем все строки, которые как то связаны с вашим SourceBans++, и вместо них добавить следующую строку:

Disallow: /sourcebans++/

Эта строка запрещает индексировать все содержимое, что находится в разделе https://l4d2noob.ru/sourcebans++/.

---

Но может быть и такое, что у вас нет еще сформированного файла robots.txt. Тогда вам надо его создать самостоятельно в корневой папке сайта.

Вот шаблон robots.txt, который запрещает поисковикам индексировать директорию /SourceBans++/ но при этом все остальное роботам индексировать можно.

User-agent: *
Disallow: /sourcebans++/
Sitemap: Вставьте ссылку на ваш sitemap.xml здесь

Сохраняете, и ждете. Не молниеносно, но со временем, ненужные страницы начнут исчезать из поисковиков.

Изменено 30 марта30 март пользователем Ryancoolround
Удалил битые файлы. (смотреть историю редактирования)

Сейчас, спустя того как прошло много времени, и у нас появилось немного опыта, я не рекомендую закрывать Sourcebans++ от индексации. С помощью того, что страницы попадают в Sourcebans++ в тот же Яндекс, возможно и кстати очень удобно искать информацию по людям, которых ты хочешь проверить, с помощью Steam ID и IP адресов.