Перейти к содержанию

До Хэллоуина осталось....

 

Рекомендуемые сообщения

  • Администратор

Аннотация 2020-08-16 094444.jpg

У нашего сайта стали попадать в Яндекс подобные страницы. Они на мой взгляд мешают быстрой и правильной индексации. Эта страница, что на скриншоте, она показывает людей, которые прочли тему. Ну зачем это отдавать в Яндекс?

Кто знает, как правильно прописать в Robots.txt, параметр отвечающий за  запрет индексации страниц оканчивающихся на =readers?

logo.png

Ссылка на комментарий
Поделиться на другие сайты

  • 1 месяц спустя...
16.08.2020 в 09:50, Ryancoolround сказал:

Кто знает, как правильно прописать в Robots.txt, параметр отвечающий за  запрет индексации страниц оканчивающихся на =readers?

Не использовать плагин Who Read This Topic, и таких страниц не будет.

Ссылка на комментарий
Поделиться на другие сайты

  • Администратор
8 минут назад, st1ngny7777 сказал:

Не использовать плагин Who Read This Topic

Верно, мы использовали такой плагин. И я уже отказался от его дальнейшего использования. Но вопрос был сформулирован, максимально точно.

Не что использовать, а как правильно прописать, что бы робот не трогал эти страницы.

logo.png

Ссылка на комментарий
Поделиться на другие сайты

  • 6 месяцев спустя...
  • Администратор

Если хотите полностью запретить сайту попадать в поисковики, пропишите в Robots.txt следующее содержимое:

User-agent: *
Disallow: /

 

logo.png

Ссылка на комментарий
Поделиться на другие сайты

  • 3 недели спустя...
  • Администратор

Более менее приемлемый Robots.txt для IPS 4.5.4.2

User-agent: *
Disallow: /admin
Disallow: /api
Disallow: /applications
Disallow: /datastore
Disallow: /dev
Disallow: /oauth
Disallow: /plugins
Disallow: /system
Disallow: /uploads
Disallow: /vendor
Disallow: /404error.php
Disallow: /Credits.txt
Disallow: /error.php
Disallow: /login
Disallow: /logout
Disallow: /register
Disallow: /lostpassword
Disallow: /privacy
Disallow: /cookies
Disallow: /guidelines
Disallow: /terms
Disallow: /online
Disallow: /staff
Disallow: /contact
Disallow: /announcement*
Disallow: /search
Disallow: /discover*
Disallow: /rss*
Disallow: /tags*
Disallow: /activity
Disallow: /new-content
Disallow: /promote*
Disallow: /ourpicks
Disallow: /leaderboard
Disallow: /pastleaders
Disallow: /topmembers
Disallow: /*do=*
Disallow: /*sort=*
Disallow: /*sortby=*
Disallow: /*csrf=*
Disallow: /*csrfKey=*
Disallow: */?tab=*
Disallow: */?_fromLogin=*
Disallow: */?_fromLogout=*
Disallow: */submit
Disallow: */create
Disallow: */edit
Allow: /uploads/monthly_*_*/*

Host: https://ip-gamers.net
Sitemap: https://ip-gamers.net/sitemap.php

Убедитесь, что в двух последних строчках вы заменили адрес на тот, который вам нужен.

logo.png

Ссылка на комментарий
Поделиться на другие сайты

  • Администратор
25.04.2021 в 23:45, Ryancoolround сказал:

Более менее приемлемый Robots.txt для IPS 4.5.4.2


User-agent: *
Disallow: /admin
Disallow: /api
Disallow: /applications
Disallow: /datastore
Disallow: /dev
Disallow: /oauth
Disallow: /plugins
Disallow: /system
Disallow: /uploads
Disallow: /vendor
Disallow: /404error.php
Disallow: /Credits.txt
Disallow: /error.php
Disallow: /login
Disallow: /logout
Disallow: /register
Disallow: /lostpassword
Disallow: /privacy
Disallow: /cookies
Disallow: /guidelines
Disallow: /terms
Disallow: /online
Disallow: /staff
Disallow: /contact
Disallow: /announcement*
Disallow: /search
Disallow: /discover*
Disallow: /rss*
Disallow: /tags*
Disallow: /activity
Disallow: /new-content
Disallow: /promote*
Disallow: /ourpicks
Disallow: /leaderboard
Disallow: /pastleaders
Disallow: /topmembers
Disallow: /*do=*
Disallow: /*sort=*
Disallow: /*sortby=*
Disallow: /*csrf=*
Disallow: /*csrfKey=*
Disallow: */?tab=*
Disallow: */?_fromLogin=*
Disallow: */?_fromLogout=*
Disallow: */submit
Disallow: */create
Disallow: */edit
Allow: /uploads/monthly_*_*/*

Host: https://ip-gamers.net
Sitemap: https://ip-gamers.net/sitemap.php

Убедитесь, что в двух последних строчках вы заменили адрес на тот, который вам нужен.

После последнего редактирования Robots.txt у нас из Яндекса начали удалятся наконец таки ненужные страницы.

Безымянный.png

Надеюсь все будет хорошо, и конкретно контент будет попадать в поиск немного быстрее.

logo.png

Ссылка на комментарий
Поделиться на другие сайты

  • Администратор
30.04.2021 в 20:34, Ryancoolround сказал:

Не знаю почему, но Bing (Да я сейчас занимаюсь индексацией сайта в Bing) пометил эту строчку с ошибкой. Может кто то подсказать, что в ней не так?

logo.png

Ссылка на комментарий
Поделиться на другие сайты

Для публикации сообщений создайте учётную запись или авторизуйтесь

Вы должны быть пользователем, чтобы оставить комментарий

Создать учетную запись

Зарегистрируйте новую учётную запись в нашем сообществе. Это очень просто!

Регистрация нового пользователя

Войти

Уже есть аккаунт? Войти в систему.

Войти
  • Похожий контент

    • Автор Ry@N
      Подписывайтесь на наш Яндекс Дзен, ведь я уверен, что вы совсем не против попытаться помочь нам продвинуть наш сайт в массы Яндекс Блогеров!
      https://zen.yandex.ru/id/609cc5d463b0a06b3fc84ccc
      https://zen.yandex.ru/id/609cc5d463b0a06b3fc84ccc
      https://zen.yandex.ru/id/609cc5d463b0a06b3fc84ccc
    • Автор Ry@N
      Вам надо изменить иконку клуба, дело в том что на иконке видно как человек курит сигарету. Так как Яндекс утверждает, что наш сайт безопасен для детей, таких иконок быть не должно... Спасибо.
    • Автор Ry@N
      Что же уважаемые мои. Я рад вам представить новую тему для нашего форума. И хоть я приверженец светлых тонов, эту тему нам дали темной, и знаете что? Она мне нравится!
      Функционал форума не поменялся, все точно так же. Просто поменялся цвет. Так же я прекрасно понимаю, что у кого то от темной темы могут болеть глаза. Поэтому я оставляю стандартную тему, а на новую тему вы сможете переключиться в самом низу форума.
      Если есть дополнительные вопросы, критика и все остальное, ну что же... Именно для этого я оставляю эту тему открытой! А теперь я пошел спать. Приятного время провождения на форуме.
      Так же не забывайте, если вы увидели в этом дизайне что то, что по вашему мнению неправильно работает, то что бы это было исправлено в разы быстрее, оставьте ваш подробный репорт в этой теме. Либо вы можете создать тему в разделе "Техническая Поддержка".
    • Автор Ry@N
      Как ни странно, но данная система баннов, очень быстренько так попадает в поисковик Яндекс. Заметил я это очень давно, но конкретное внимание обратил только сейчас, когда появилось время на это.

      На мой взгляд, каждый уважающий себя, SEO оптимизатор, админ, в общем тот человек, у которого есть доступ к файловой системе сайта, должен избавляться от подобных проблем в кратчайшие сроки. Ведь, пока Яндекс робот тратит время на то, чтобы проиндексировать страницы без контента и добавить их в поиск, у него нет времени, чтобы проиндексировать действительно нужные страницы. Попробуем избавиться от данной проблемы.
      К примеру, у нас есть сайт https://l4d2noob.ru/ и скажем наша система банов лежит по следующему пути https://l4d2noob.ru/sourcebans++/, соответственно этот путь надо полностью запретить добавлять в поиск. Для этого в FileZilla FileZillaPortable_NODELETE.rar идем в корневую папку сайта, там обычно лежит файл robots.txt.
      Если у вас действительно есть уже сформированный robots.txt, то вам нужно открыть его текстовым редактором Notepad_NODELETE.rar стереть в нем все строки, которые как то связаны с вашим SourceBans++, и вместо них добавить следующую строку:
      Disallow: /sourcebans++/ Эта строка запрещает индексировать все содержимое, что находится в разделе https://l4d2noob.ru/sourcebans++/.

      Но может быть и такое, что у вас нет еще сформированного файла robots.txt. Тогда вам надо его создать самостоятельно в корневой папке сайта.
      Вот шаблон robots.txt, который запрещает поисковикам индексировать директорию /SourceBans++/ но при этом все остальное роботам индексировать можно.
      User-agent: * Disallow: /sourcebans++/ Sitemap: Вставьте ссылку на ваш sitemap.xml здесь Сохраняете, и ждете. Не молниеносно, но со временем, ненужные страницы начнут исчезать из поисковиков.
    • Автор Ry@N
      Я не напишу тут топ 10 способов о том как привлечь игроков на свой сервер l4d2. Я хочу поинтересоваться, как вы, админы, привлекаете людей на свои сервера. Опять же, я создал тему не для того что бы обсудить что популярнее Сражение или Кооператив. Мне интересно прочитай о ваших приемах и действиях, скажем так социальных. Ну и так же отпишитесь, сработал ли в конечном приеме ваш метод или подход оказался неудачным.
      Вот ты @ENOT YouTube, как тебя привлекли играть на наших серверах?
      О способах рекламы и пиара, где девушки активно показывают листочки с названием проекта на фоне груди я уже знаю, если что...
  • Последние посетители   0 пользователей онлайн

    Ни одного зарегистрированного пользователя не просматривает данную страницу



×
×
  • Создать...