Редактирование Robots.txt для IPS 4.5

[Ryancoolround]

У нашего сайта стали попадать в Яндекс подобные страницы. Они на мой взгляд мешают быстрой и правильной индексации. Эта страница, что на скриншоте, она показывает людей, которые прочли тему. Ну зачем это отдавать в Яндекс?

Кто знает, как правильно прописать в Robots.txt, параметр отвечающий за  запрет индексации страниц оканчивающихся на =readers?

[Гость]

16.08.2020 в 09:50, Ryancoolround сказал:

Кто знает, как правильно прописать в Robots.txt, параметр отвечающий за  запрет индексации страниц оканчивающихся на =readers?

Не использовать плагин Who Read This Topic, и таких страниц не будет.

[Ryancoolround]

8 минут назад, st1ngny7777 сказал:

Не использовать плагин Who Read This Topic

Верно, мы использовали такой плагин. И я уже отказался от его дальнейшего использования. Но вопрос был сформулирован, максимально точно.

Не что использовать, а как правильно прописать, что бы робот не трогал эти страницы.

[Ryancoolround]

Если хотите полностью запретить сайту попадать в поисковики, пропишите в Robots.txt следующее содержимое:

User-agent: *
Disallow: /

 

[Ryancoolround]

Более менее приемлемый Robots.txt для IPS 4.5.4.2

User-agent: *
Disallow: /admin
Disallow: /api
Disallow: /applications
Disallow: /datastore
Disallow: /dev
Disallow: /oauth
Disallow: /plugins
Disallow: /system
Disallow: /uploads
Disallow: /vendor
Disallow: /404error.php
Disallow: /Credits.txt
Disallow: /error.php
Disallow: /login
Disallow: /logout
Disallow: /register
Disallow: /lostpassword
Disallow: /privacy
Disallow: /cookies
Disallow: /guidelines
Disallow: /terms
Disallow: /online
Disallow: /staff
Disallow: /contact
Disallow: /announcement*
Disallow: /search
Disallow: /discover*
Disallow: /rss*
Disallow: /tags*
Disallow: /activity
Disallow: /new-content
Disallow: /promote*
Disallow: /ourpicks
Disallow: /leaderboard
Disallow: /pastleaders
Disallow: /topmembers
Disallow: /*do=*
Disallow: /*sort=*
Disallow: /*sortby=*
Disallow: /*csrf=*
Disallow: /*csrfKey=*
Disallow: */?tab=*
Disallow: */?_fromLogin=*
Disallow: */?_fromLogout=*
Disallow: */submit
Disallow: */create
Disallow: */edit
Allow: /uploads/monthly_*_*/*

Host: https://ip-gamers.net
Sitemap: https://ip-gamers.net/sitemap.php

Убедитесь, что в двух последних строчках вы заменили адрес на тот, который вам нужен.

[Ryancoolround]

25.04.2021 в 23:45, Ryancoolround сказал:

Более менее приемлемый Robots.txt для IPS 4.5.4.2

User-agent: *
Disallow: /admin
Disallow: /api
Disallow: /applications
Disallow: /datastore
Disallow: /dev
Disallow: /oauth
Disallow: /plugins
Disallow: /system
Disallow: /uploads
Disallow: /vendor
Disallow: /404error.php
Disallow: /Credits.txt
Disallow: /error.php
Disallow: /login
Disallow: /logout
Disallow: /register
Disallow: /lostpassword
Disallow: /privacy
Disallow: /cookies
Disallow: /guidelines
Disallow: /terms
Disallow: /online
Disallow: /staff
Disallow: /contact
Disallow: /announcement*
Disallow: /search
Disallow: /discover*
Disallow: /rss*
Disallow: /tags*
Disallow: /activity
Disallow: /new-content
Disallow: /promote*
Disallow: /ourpicks
Disallow: /leaderboard
Disallow: /pastleaders
Disallow: /topmembers
Disallow: /*do=*
Disallow: /*sort=*
Disallow: /*sortby=*
Disallow: /*csrf=*
Disallow: /*csrfKey=*
Disallow: */?tab=*
Disallow: */?_fromLogin=*
Disallow: */?_fromLogout=*
Disallow: */submit
Disallow: */create
Disallow: */edit
Allow: /uploads/monthly_*_*/*

Host: https://ip-gamers.net
Sitemap: https://ip-gamers.net/sitemap.php

Убедитесь, что в двух последних строчках вы заменили адрес на тот, который вам нужен.

После последнего редактирования Robots.txt у нас из Яндекса начали удалятся наконец таки ненужные страницы.

Надеюсь все будет хорошо, и конкретно контент будет попадать в поиск немного быстрее.

[Ryancoolround]

30.04.2021 в 20:34, Ryancoolround сказал:

Host: https://ip-gamers.net

Не знаю почему, но Bing (Да я сейчас занимаюсь индексацией сайта в Bing) пометил эту строчку с ошибкой. Может кто то подсказать, что в ней не так?

[Ryancoolround]

Disallow: /ban
Disallow: /statscss

Добавления переменных сверху в ваш Robots.txt запретить поисковикам индексировать все, что лежит в папках ban и statscss.

Это особенно полезно в тех случаях, когда например страницы с чатом в статистике индексируются роботами и из-за этого нормальные страницы медленнее попадают в поиск.

И правда, я не знаю правильно ли я указал эти переменные, но чуть позже проверю изменения в индексации.

[Ryancoolround]

Стоит так же рассказать немного шаблонной теории про Robots.TXT. 

Работает Robots.TXT следующим образом. Поисковые системы проверяют корень домена, и находят файл robots.txt, он всегда будет лежать именно в корне сайта: (https://ip-gamers.net/robots.txt).

• User-agent - это имя робота.
• Пример: User-agent: googlebot

Символ * используется для того, чтобы установить правила для всех ботов. То есть любой зашедший бот, будет подчиняться единым правилам.

• Пример: User-agent: *

Disallow исключает определенные файлы или каталоги из поиска. Если мы хотим исключить файл text.html из поиска, мы вводим следующую строку в robots.txt:

• Disallow: test.html

Чтобы исключить каталог из индексирования, например, probe, мы вводим следующую строку в robots.txt:

• Disallow: /probe/

[Ryancoolround]

Цитата

Более менее приемлемый Robots.txt для IPS 4.5.4.2

В более свежих версиях Invision Community сделали так, что файл robots.txt вообще не требуется. Все настраивается автоматически, через админку.