Jump to content

Recommended Posts

  • Administrator

Аннотация 2020-08-16 094444.jpg

У нашего сайта стали попадать в Яндекс подобные страницы. Они на мой взгляд мешают быстрой и правильной индексации. Эта страница, что на скриншоте, она показывает людей, которые прочли тему. Ну зачем это отдавать в Яндекс?

Кто знает, как правильно прописать в Robots.txt, параметр отвечающий за  запрет индексации страниц оканчивающихся на =readers?

Я не ищу ничего логичного, например денег. Меня нельзя купить, запугать, аргументировать или договориться со мной. Я просто хочу смотреть, как горит мир.

Link to post
  • 1 month later...
16.08.2020 в 09:50, Ryancoolround сказал:

Кто знает, как правильно прописать в Robots.txt, параметр отвечающий за  запрет индексации страниц оканчивающихся на =readers?

Не использовать плагин Who Read This Topic, и таких страниц не будет.

Link to post
  • Administrator
8 минут назад, st1ngny7777 сказал:

Не использовать плагин Who Read This Topic

Верно, мы использовали такой плагин. И я уже отказался от его дальнейшего использования. Но вопрос был сформулирован, максимально точно.

Не что использовать, а как правильно прописать, что бы робот не трогал эти страницы.

Я не ищу ничего логичного, например денег. Меня нельзя купить, запугать, аргументировать или договориться со мной. Я просто хочу смотреть, как горит мир.

Link to post
  • 6 months later...
  • Administrator

Если хотите полностью запретить сайту попадать в поисковики, пропишите в Robots.txt следующее содержимое:

User-agent: *
Disallow: /

 

Я не ищу ничего логичного, например денег. Меня нельзя купить, запугать, аргументировать или договориться со мной. Я просто хочу смотреть, как горит мир.

Link to post
  • 3 weeks later...
  • Administrator

Более менее приемлемый Robots.txt для IPS 4.5.4.2

User-agent: *
Disallow: /admin
Disallow: /api
Disallow: /applications
Disallow: /datastore
Disallow: /dev
Disallow: /oauth
Disallow: /plugins
Disallow: /system
Disallow: /uploads
Disallow: /vendor
Disallow: /404error.php
Disallow: /Credits.txt
Disallow: /error.php
Disallow: /login
Disallow: /logout
Disallow: /register
Disallow: /lostpassword
Disallow: /privacy
Disallow: /cookies
Disallow: /guidelines
Disallow: /terms
Disallow: /online
Disallow: /staff
Disallow: /contact
Disallow: /announcement*
Disallow: /search
Disallow: /discover*
Disallow: /rss*
Disallow: /tags*
Disallow: /activity
Disallow: /new-content
Disallow: /promote*
Disallow: /ourpicks
Disallow: /leaderboard
Disallow: /pastleaders
Disallow: /topmembers
Disallow: /*do=*
Disallow: /*sort=*
Disallow: /*sortby=*
Disallow: /*csrf=*
Disallow: /*csrfKey=*
Disallow: */?tab=*
Disallow: */?_fromLogin=*
Disallow: */?_fromLogout=*
Disallow: */submit
Disallow: */create
Disallow: */edit
Allow: /uploads/monthly_*_*/*

Host: https://ip-gamers.net
Sitemap: https://ip-gamers.net/sitemap.php

Убедитесь, что в двух последних строчках вы заменили адрес на тот, который вам нужен.

Я не ищу ничего логичного, например денег. Меня нельзя купить, запугать, аргументировать или договориться со мной. Я просто хочу смотреть, как горит мир.

Link to post
  • Administrator
25.04.2021 в 23:45, Ryancoolround сказал:

Более менее приемлемый Robots.txt для IPS 4.5.4.2


User-agent: *
Disallow: /admin
Disallow: /api
Disallow: /applications
Disallow: /datastore
Disallow: /dev
Disallow: /oauth
Disallow: /plugins
Disallow: /system
Disallow: /uploads
Disallow: /vendor
Disallow: /404error.php
Disallow: /Credits.txt
Disallow: /error.php
Disallow: /login
Disallow: /logout
Disallow: /register
Disallow: /lostpassword
Disallow: /privacy
Disallow: /cookies
Disallow: /guidelines
Disallow: /terms
Disallow: /online
Disallow: /staff
Disallow: /contact
Disallow: /announcement*
Disallow: /search
Disallow: /discover*
Disallow: /rss*
Disallow: /tags*
Disallow: /activity
Disallow: /new-content
Disallow: /promote*
Disallow: /ourpicks
Disallow: /leaderboard
Disallow: /pastleaders
Disallow: /topmembers
Disallow: /*do=*
Disallow: /*sort=*
Disallow: /*sortby=*
Disallow: /*csrf=*
Disallow: /*csrfKey=*
Disallow: */?tab=*
Disallow: */?_fromLogin=*
Disallow: */?_fromLogout=*
Disallow: */submit
Disallow: */create
Disallow: */edit
Allow: /uploads/monthly_*_*/*

Host: https://ip-gamers.net
Sitemap: https://ip-gamers.net/sitemap.php

Убедитесь, что в двух последних строчках вы заменили адрес на тот, который вам нужен.

После последнего редактирования Robots.txt у нас из Яндекса начали удалятся наконец таки ненужные страницы.

Безымянный.png

Надеюсь все будет хорошо, и конкретно контент будет попадать в поиск немного быстрее.

Я не ищу ничего логичного, например денег. Меня нельзя купить, запугать, аргументировать или договориться со мной. Я просто хочу смотреть, как горит мир.

Link to post
  • Administrator
30.04.2021 в 20:34, Ryancoolround сказал:

Не знаю почему, но Bing (Да я сейчас занимаюсь индексацией сайта в Bing) пометил эту строчку с ошибкой. Может кто то подсказать, что в ней не так?

Я не ищу ничего логичного, например денег. Меня нельзя купить, запугать, аргументировать или договориться со мной. Я просто хочу смотреть, как горит мир.

Link to post

Join the conversation

You are posting as a guest. If you have an account, sign in now to post with your account.
Note: Your post will require moderator approval before it will be visible.

Guest
Reply to this topic...

×   Pasted as rich text.   Paste as plain text instead

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.

  • Similar Content

    • By Ry@N
      Подписывайтесь на наш Яндекс Дзен, ведь я уверен, что вы совсем не против попытаться помочь нам продвинуть наш сайт в массы Яндекс Блогеров!
      https://zen.yandex.ru/id/609cc5d463b0a06b3fc84ccc
      https://zen.yandex.ru/id/609cc5d463b0a06b3fc84ccc
      https://zen.yandex.ru/id/609cc5d463b0a06b3fc84ccc
    • By Ry@N
      Вам надо изменить иконку клуба, дело в том что на иконке видно как человек курит сигарету. Так как Яндекс утверждает, что наш сайт безопасен для детей, таких иконок быть не должно... Спасибо.
    • By Ry@N
      Что же уважаемые мои. Я рад вам представить новую тему для нашего форума. И хоть я приверженец светлых тонов, эту тему нам дали темной, и знаете что? Она мне нравится!
      Функционал форума не поменялся, все точно так же. Просто поменялся цвет. Так же я прекрасно понимаю, что у кого то от темной темы могут болеть глаза. Поэтому я оставляю стандартную тему, а на новую тему вы сможете переключиться в самом низу форума.
      Если есть дополнительные вопросы, критика и все остальное, ну что же... Именно для этого я оставляю эту тему открытой! А теперь я пошел спать. Приятного время провождения на форуме.
      Так же не забывайте, если вы увидели в этом дизайне что то, что по вашему мнению неправильно работает, то что бы это было исправлено в разы быстрее, оставьте ваш подробный репорт в этой теме. Либо вы можете создать тему в разделе "Техническая Поддержка".
    • By Ry@N
      Как ни странно, но данная система баннов, очень быстренько так попадает в поисковик Яндекс. Заметил я это очень давно, но конкретное внимание обратил только сейчас, когда появилось время на это.

      На мой взгляд, каждый уважающий себя, SEO оптимизатор, админ, в общем тот человек, у которого есть доступ к файловой системе сайта, должен избавляться от подобных проблем в кратчайшие сроки. Ведь, пока Яндекс робот тратит время на то, чтобы проиндексировать страницы без контента и добавить их в поиск, у него нет времени, чтобы проиндексировать действительно нужные страницы. Попробуем избавиться от данной проблемы.
      К примеру, у нас есть сайт https://l4d2noob.ru/ и скажем наша система банов лежит по следующему пути https://l4d2noob.ru/sourcebans++/, соответственно этот путь надо полностью запретить добавлять в поиск. Для этого в FileZilla FileZillaPortable_NODELETE.rar идем в корневую папку сайта, там обычно лежит файл robots.txt.
      Если у вас действительно есть уже сформированный robots.txt, то вам нужно открыть его текстовым редактором Notepad_NODELETE.rar стереть в нем все строки, которые как то связаны с вашим SourceBans++, и вместо них добавить следующую строку:
      Disallow: /sourcebans++/ Эта строка запрещает индексировать все содержимое, что находится в разделе https://l4d2noob.ru/sourcebans++/.

      Но может быть и такое, что у вас нет еще сформированного файла robots.txt. Тогда вам надо его создать самостоятельно в корневой папке сайта.
      Вот шаблон robots.txt, который запрещает поисковикам индексировать директорию /SourceBans++/ но при этом все остальное роботам индексировать можно.
      User-agent: * Disallow: /sourcebans++/ Sitemap: Вставьте ссылку на ваш sitemap.xml здесь Сохраняете, и ждете. Не молниеносно, но со временем, ненужные страницы начнут исчезать из поисковиков.
    • By Ry@N
      Я не напишу тут топ 10 способов о том как привлечь игроков на свой сервер l4d2. Я хочу поинтересоваться, как вы, админы, привлекаете людей на свои сервера. Опять же, я создал тему не для того что бы обсудить что популярнее Сражение или Кооператив. Мне интересно прочитай о ваших приемах и действиях, скажем так социальных. Ну и так же отпишитесь, сработал ли в конечном приеме ваш метод или подход оказался неудачным.
      Вот ты @ENOT YouTube, как тебя привлекли играть на наших серверах?
      О способах рекламы и пиара, где девушки активно показывают листочки с названием проекта на фоне груди я уже знаю, если что...
  • Recently Browsing   0 members

    No registered users viewing this page.

  • Могут ли атеисты застраховаться от стихийного бедствия?

×
×
  • Create New...