Перейти к содержанию

Редактирование Robots.txt для IPS 4.5


Рекомендуемые сообщения

  • Администратор

У нашего сайта стали попадать в Яндекс подобные страницы. Они на мой взгляд мешают быстрой и правильной индексации. Эта страница, что на скриншоте, она показывает людей, которые прочли тему. Ну зачем это отдавать в Яндекс?

Кто знает, как правильно прописать в Robots.txt, параметр отвечающий за  запрет индексации страниц оканчивающихся на =readers?

Ссылка на комментарий
Поделиться на другие сайты
  • 1 месяц спустя...
16.08.2020 в 09:50, Ryancoolround сказал:

Кто знает, как правильно прописать в Robots.txt, параметр отвечающий за  запрет индексации страниц оканчивающихся на =readers?

Не использовать плагин Who Read This Topic, и таких страниц не будет.

Ссылка на комментарий
Поделиться на другие сайты
  • Администратор
8 минут назад, st1ngny7777 сказал:

Не использовать плагин Who Read This Topic

Верно, мы использовали такой плагин. И я уже отказался от его дальнейшего использования. Но вопрос был сформулирован, максимально точно.

Не что использовать, а как правильно прописать, что бы робот не трогал эти страницы.

Ссылка на комментарий
Поделиться на другие сайты
  • 6 месяцев спустя...
  • Администратор

Если хотите полностью запретить сайту попадать в поисковики, пропишите в Robots.txt следующее содержимое:

User-agent: *
Disallow: /

 

Ссылка на комментарий
Поделиться на другие сайты
  • 3 недели спустя...
  • Администратор

Более менее приемлемый Robots.txt для IPS 4.5.4.2

User-agent: *
Disallow: /admin
Disallow: /api
Disallow: /applications
Disallow: /datastore
Disallow: /dev
Disallow: /oauth
Disallow: /plugins
Disallow: /system
Disallow: /uploads
Disallow: /vendor
Disallow: /404error.php
Disallow: /Credits.txt
Disallow: /error.php
Disallow: /login
Disallow: /logout
Disallow: /register
Disallow: /lostpassword
Disallow: /privacy
Disallow: /cookies
Disallow: /guidelines
Disallow: /terms
Disallow: /online
Disallow: /staff
Disallow: /contact
Disallow: /announcement*
Disallow: /search
Disallow: /discover*
Disallow: /rss*
Disallow: /tags*
Disallow: /activity
Disallow: /new-content
Disallow: /promote*
Disallow: /ourpicks
Disallow: /leaderboard
Disallow: /pastleaders
Disallow: /topmembers
Disallow: /*do=*
Disallow: /*sort=*
Disallow: /*sortby=*
Disallow: /*csrf=*
Disallow: /*csrfKey=*
Disallow: */?tab=*
Disallow: */?_fromLogin=*
Disallow: */?_fromLogout=*
Disallow: */submit
Disallow: */create
Disallow: */edit
Allow: /uploads/monthly_*_*/*

Host: https://ip-gamers.net
Sitemap: https://ip-gamers.net/sitemap.php

Убедитесь, что в двух последних строчках вы заменили адрес на тот, который вам нужен.

Ссылка на комментарий
Поделиться на другие сайты
  • Администратор
В 25.04.2021 в 23:45, Ryancoolround сказал:

Более менее приемлемый Robots.txt для IPS 4.5.4.2

User-agent: *
Disallow: /admin
Disallow: /api
Disallow: /applications
Disallow: /datastore
Disallow: /dev
Disallow: /oauth
Disallow: /plugins
Disallow: /system
Disallow: /uploads
Disallow: /vendor
Disallow: /404error.php
Disallow: /Credits.txt
Disallow: /error.php
Disallow: /login
Disallow: /logout
Disallow: /register
Disallow: /lostpassword
Disallow: /privacy
Disallow: /cookies
Disallow: /guidelines
Disallow: /terms
Disallow: /online
Disallow: /staff
Disallow: /contact
Disallow: /announcement*
Disallow: /search
Disallow: /discover*
Disallow: /rss*
Disallow: /tags*
Disallow: /activity
Disallow: /new-content
Disallow: /promote*
Disallow: /ourpicks
Disallow: /leaderboard
Disallow: /pastleaders
Disallow: /topmembers
Disallow: /*do=*
Disallow: /*sort=*
Disallow: /*sortby=*
Disallow: /*csrf=*
Disallow: /*csrfKey=*
Disallow: */?tab=*
Disallow: */?_fromLogin=*
Disallow: */?_fromLogout=*
Disallow: */submit
Disallow: */create
Disallow: */edit
Allow: /uploads/monthly_*_*/*

Host: https://ip-gamers.net
Sitemap: https://ip-gamers.net/sitemap.php

Убедитесь, что в двух последних строчках вы заменили адрес на тот, который вам нужен.

После последнего редактирования Robots.txt у нас из Яндекса начали удалятся наконец таки ненужные страницы.

Надеюсь все будет хорошо, и конкретно контент будет попадать в поиск немного быстрее.

Ссылка на комментарий
Поделиться на другие сайты
  • Администратор
30.04.2021 в 20:34, Ryancoolround сказал:

Не знаю почему, но Bing (Да я сейчас занимаюсь индексацией сайта в Bing) пометил эту строчку с ошибкой. Может кто то подсказать, что в ней не так?

Ссылка на комментарий
Поделиться на другие сайты
  • 5 месяцев спустя...
  • Администратор
Disallow: /ban
Disallow: /statscss

Добавления переменных сверху в ваш Robots.txt запретить поисковикам индексировать все, что лежит в папках ban и statscss.

Это особенно полезно в тех случаях, когда например страницы с чатом в статистике индексируются роботами и из-за этого нормальные страницы медленнее попадают в поиск.

И правда, я не знаю правильно ли я указал эти переменные, но чуть позже проверю изменения в индексации.

Ссылка на комментарий
Поделиться на другие сайты
  • 2 недели спустя...
  • Администратор

Стоит так же рассказать немного шаблонной теории про Robots.TXT

Работает Robots.TXT следующим образом. Поисковые системы проверяют корень домена, и находят файл robots.txt, он всегда будет лежать именно в корне сайта: (https://ip-gamers.net/robots.txt).

  • User-agent - это имя робота.
  • Пример: User-agent: googlebot

Символ * используется для того, чтобы установить правила для всех ботов. То есть любой зашедший бот, будет подчиняться единым правилам.

  • Пример: User-agent: *

Disallow исключает определенные файлы или каталоги из поиска. Если мы хотим исключить файл text.html из поиска, мы вводим следующую строку в robots.txt:

  • Disallow: test.html

Чтобы исключить каталог из индексирования, например, probe, мы вводим следующую строку в robots.txt:

  • Disallow: /probe/
Ссылка на комментарий
Поделиться на другие сайты

Для публикации сообщений создайте учётную запись или авторизуйтесь

Вы должны быть пользователем, чтобы оставить комментарий

Создать учетную запись

Зарегистрируйте новую учётную запись в нашем сообществе. Это очень просто!

Регистрация нового пользователя

Войти

Уже есть аккаунт? Войти в систему.

Войти
  • Похожий контент

    • Автор Райан
      Это не для кого не секрет, что Яндекс показывает не те результаты поиска по тем запросам, которые вы выполняете. Но в связи с тем, что я занимаюсь форумом, я часто что то ищу в интернете, и в последнее время на "Проблему с Яндексом" я обратил больше внимания, чем обычно. Если говорить кратко, то сегодня я принял решение отказаться от глобальных поисковиков, которые работают на основе собирания о тебе информации и предоставляя результаты, которые якобы по мнению этих поисковиков могут быть тебе интересны.
      Более подробно, давайте разбираться, вместе с вами на конкретных примерах. Важно понимать, моя история браузера почищена, Куки удалены, кеш тоже почищен. Выполнять запросы я буду именно за последние сутки.
      Выполняю запрос, без кавычек: "" Даже листать не пришлось, мне сразу выдало не то, что требуется, но опять же как не крути тема приближена к играм, и простыми словами Яндекс знает что я компьютерный задрот, поэтому все же это результат поиска можно считать для меня релевантным.

      Но давайте перейдем например на пятую страницу поиска (Помним что я ищу результаты, тыкнув по кнопке "За последние сутки"):
      Может я чего то не знаю, а если не знаю, скажите что на этом скриншоте связано с фразой "Русификатор для SourceBans++ 1.6.4"? Или что то связано с игровым задротством? С модерированием форумов? Хоть что то, что может быть интересно такому человеку, как я?
      Вот что ответила техническая поддержка Яндекса, когда я написал им письмо по этому поводу:
      Окей, давайте выполним тот же самый запрос, с той же самой фильтрацией за сутки, но в режиме инкогнито. Я сразу перейду на пятую страницу.
      Как ни странно, никакого улучшения я не заметил. Находится абсолютно все, но не то, что нужно.
       
       
       
       
       
       
       
      Ладно запрос такой скажете вы. В нем есть символ +, и возможно информация выдается из-за него, а может из за цифры 6.4. Окей, упростим.
      Недавно я посмотрел классный мультик, Суперсемейка. Вторую часть не видел, но первую рекомендую глянуть. Классный мультфильм. В общем я как всегда, захотев создать тему на форуме по последнему просмотренному мною фильму, полез искать информацию.
      В основном мне предлагались девчачьи блоги где действительно обсуждалась например супер сила персонажей из мультика. Но чаще всего попадались медиа агрегаторы, которые предлагали посмотреть кино онлайн.
      Например Wink, поисковая выдача которого основана скорее всего на подставке моего запроса в некое подобие $TITLE$. Но что самое печальное, никаких форумов, никаких обсуждений, в общем скука смертная.
      А в конечном итоге мне вообще выпало это:
      Я конечно не против, на секунду даже стало интересно , но какое это отношение имеет к Суперсемейке?
      С технической поддержкой Яндекса я и по этому скриншоту пообщался, мне порекомендовали включить "Семейный поиск", и все.
       
       
       
       
       
      Ну а этот запрос я выполнял сегодня, пару часов назад. Все мы знаем, что Coub объявил о закрытии, и я соответственно мониторю поисковики по этому ключу. Вот что выдает Яндекс по запросу Coub!
      В общем это мне по настоящему надоело. Любой запрос в Яндексе, отображает абсолютно не то, что ты ищешь. ПОМИМО ЭТОГО, ЯНДЕКС ОТВЛЕКАЕТ ТЕБЯ ОТ РАБОТЫ СВОИМИ "ПЕРСОНАЛИЗИРОВАННЫМИ РЕЗУЛЬТАТАМИ".
       
      Поймите одну простую вещь. Я никогда не интересовался политикой, мне это абсолютно не интересно. И соответственно, я никогда ничего не искал про политику.
       
      И видеть такие результаты, после того как ты ввел слово не имеющее отношения к политике, это ненормально.
       
      Нет, я очень признателен Яндексу, что 18+ сайты он выводит мне только тогда, когда я их действительно ищу. В очень редких исключениях бывают ошибки. Но все же, это не гугловская библиотека откровенных ссылок по вполне безобидному запросу. Спасибо им огромное, безусловно.
       
      Но все равно, я не эксперт, но невооруженным взглядом прекрасно вижу, что у Яндекса что то сломано, и сломано это так с года 2014. И исправлять они это явно не собираются.
       
      Ну а если скажем за последние сутки нет результатов по запросу "Coub", то на мой взгляд поисковик не должен не отобразить мне ничего, вместо того, что бы подсовывать мне не интересующие меня темы, а иначе в кнопке поиска за последние сутки совсем нет смысла.
      Ищите в тех поисковиках, которые дают вам то, что вы ищете, а не просто в вас швыряют контент без какой либо фильтрации. Каждый найдет для себя, тот поисковик, который ему по душе. Я не назову тот поисковик который выбрал я, не хочу что бы пост превратился в случайную рекламу, но помните, что вы можете сделать в браузере поисковик из совершенно любого сайта.
      Как это делается на примере Chrome:
      Идем по адресу chrome://settings/searchEngines Находим пункт "Поиск по сайту" и нажимаем на кнопку "Добавить". Открываем новую вкладку, и переходим на тот сайт из которого вы хотите сделать поисковик, например ВК. На сайте в поиске, вводим любое слово, например IP-Gamers. И выполняем поиск. Получаем ссылку с результатом поиска: https://vk.com/search?c[per_page]=40&c[q]=IP-Gamers&c[section]=auto Копируем ее и возвращаемся в окно добавления поиска Ссылку с запросом вставляем в окно Url, но вместо IP-Gamers в ссылке ставим %s
      Все, при желании вы можете сделать данный поиск по умолчанию.
       
       
       
       
       
       
       
      Вот допустим ссылка для поиска по нашему сайту:
      https://ip-gamers.net/search/?&q=%s В общем, ищите то что нужно, а не хлам. Приятной ночи.
    • Автор Райан
      Подписывайтесь на наш Яндекс Дзен, ведь я уверен, что вы совсем не против попытаться помочь нам продвинуть наш сайт в массы Яндекс Блогеров!
      https://zen.yandex.ru/id/609cc5d463b0a06b3fc84ccc
      https://zen.yandex.ru/id/609cc5d463b0a06b3fc84ccc
      https://zen.yandex.ru/id/609cc5d463b0a06b3fc84ccc
    • Автор Райан
      Вам надо изменить иконку клуба, дело в том что на иконке видно как человек курит сигарету. Так как Яндекс утверждает, что наш сайт безопасен для детей, таких иконок быть не должно... Спасибо.
    • Автор Райан
      Как ни странно, но данная система баннов, очень быстренько так попадает в поисковик Яндекс. Заметил я это очень давно, но конкретное внимание обратил только сейчас, когда появилось время на это.

      На мой взгляд, каждый уважающий себя, SEO оптимизатор, админ, в общем тот человек, у которого есть доступ к файловой системе сайта, должен избавляться от подобных проблем в кратчайшие сроки. Ведь, пока Яндекс робот тратит время на то, чтобы проиндексировать страницы без контента и добавить их в поиск, у него нет времени, чтобы проиндексировать действительно нужные страницы. Попробуем избавиться от данной проблемы.
      К примеру, у нас есть сайт https://l4d2noob.ru/ и скажем наша система банов лежит по следующему пути https://l4d2noob.ru/sourcebans++/, соответственно этот путь надо полностью запретить добавлять в поиск. Для этого в FileZilla FileZillaPortable_NODELETE.rar идем в корневую папку сайта, там обычно лежит файл robots.txt.
      Если у вас действительно есть уже сформированный robots.txt, то вам нужно открыть его текстовым редактором Notepad_NODELETE.rar стереть в нем все строки, которые как то связаны с вашим SourceBans++, и вместо них добавить следующую строку:
      Disallow: /sourcebans++/ Эта строка запрещает индексировать все содержимое, что находится в разделе https://l4d2noob.ru/sourcebans++/.

      Но может быть и такое, что у вас нет еще сформированного файла robots.txt. Тогда вам надо его создать самостоятельно в корневой папке сайта.
      Вот шаблон robots.txt, который запрещает поисковикам индексировать директорию /SourceBans++/ но при этом все остальное роботам индексировать можно.
      User-agent: * Disallow: /sourcebans++/ Sitemap: Вставьте ссылку на ваш sitemap.xml здесь Сохраняете, и ждете. Не молниеносно, но со временем, ненужные страницы начнут исчезать из поисковиков.
  • Последние посетители   0 пользователей онлайн

    Ни одного зарегистрированного пользователя не просматривает данную страницу

Объявления



×
×
  • Создать...