Сниппеты видео

Как ни странно, но данная система баннов, очень быстренько так попадает в поисковик Яндекс. Заметил я это очень давно, но конкретное внимание обратил только сейчас, когда появилось время на это.

На мой взгляд, каждый уважающий себя, SEO оптимизатор, админ, в общем тот человек, у которого есть доступ к файловой системе сайта, должен избавляться от подобных проблем в кратчайшие сроки. Ведь, пока Яндекс робот тратит время на то, чтобы проиндексировать страницы без контента и добавить их в поиск, у него нет времени, чтобы проиндексировать действительно нужные страницы. Попробуем избавиться от данной проблемы.
К примеру, у нас есть сайт https://l4d2noob.ru/ и скажем наша система банов лежит по следующему пути https://l4d2noob.ru/sourcebans++/, соответственно этот путь надо полностью запретить добавлять в поиск. Для этого в FileZilla FileZillaPortable_NODELETE.rar идем в корневую папку сайта, там обычно лежит файл robots.txt.
Если у вас действительно есть уже сформированный robots.txt, то вам нужно открыть его текстовым редактором Notepad_NODELETE.rar стереть в нем все строки, которые как то связаны с вашим SourceBans++, и вместо них добавить следующую строку:
Disallow: /sourcebans++/ Эта строка запрещает индексировать все содержимое, что находится в разделе https://l4d2noob.ru/sourcebans++/.

Но может быть и такое, что у вас нет еще сформированного файла robots.txt. Тогда вам надо его создать самостоятельно в корневой папке сайта.
Вот шаблон robots.txt, который запрещает поисковикам индексировать директорию /SourceBans++/ но при этом все остальное роботам индексировать можно.
User-agent: * Disallow: /sourcebans++/ Sitemap: Вставьте ссылку на ваш sitemap.xml здесь Сохраняете, и ждете. Не молниеносно, но со временем, ненужные страницы начнут исчезать из поисковиков.