Индексация сайта поисковиками.

[ryancoolround]

В этой теме буду писать свои мысли по поводу индексации вашего ну или нашего сайта поисковыми системами. Первая мысль:

Стоит добавить в правую колонку (Сайдбар) в темах блок с последними темами, это помогает быстрее индексировать темы поисковым системам.

[ryancoolround]

Стоит так же запретить ботам индексировать раздел статистики. Для поиска на этих страницах бесполезная информация. И ботам приходится тратить время на индексацию этих страниц. А значит действительно ценный контент для поисковиков будет добавляться в эти поисковики дольше.

Спойлер

Поэтому поставил в задачник задание с скрытием этих страниц.

[ryancoolround]

На вашем сайте, если у вас поиск по сайту является важным функционалом сайта, то я рекомендую использовать именно поиск от Яндекс. Рекомендую это делать по нескольким причинам:

1. Не проверял, но есть миф, что благодаря этому сайт индексируется быстрее.
2. Вы существенно снимаете нагрузку с вашей базы данных

Единственное, если вы будете использовать на сайте поиск от Яндекс, уберите у него возможность просмотра сохраненной копии. Потому что в этом поиске баг с сохраненной копией и она ведет на страницу 404 от Яндекс.

[ryancoolround]

Икс (Индекс Цитируемости Сайта) повысился до 80.

Что это значит?

Индекс качества сайта. Отражает востребованность сайта пользователями. Он не просто попадает в поисковик, на сайт ссылаются, и чем больше на наш сайт ссылается людей на других сайтах, тем больше ИКС. 

Так вот, спасибо вам за это. Это больше чем пожертвование.

[ryancoolround]

11 часов назад, Ry@N сказал:

Индекс качества сайта. Отражает востребованность сайта пользователями. Он не просто попадает в поисковик, на сайт ссылаются, и чем больше на наш сайт ссылается людей на других сайтах, тем больше ИКС. 

Если говорить немножко более развернуто, т вот официальная формулировка ИКС от Яндекс:

Индекс качества сайта (ИКС) — это показатель того, насколько полезен ваш сайт для пользователей с точки зрения Яндекса. При расчете индекса качества учитываются размер аудитории сайта, степень удовлетворенности пользователей, уровень доверия к сайту со стороны пользователей и Яндекса, а также другие критерии.

На самом деле очень важно следить за динамикой изменения ИКС, так как этот индикатор отображает полезность ресурса для пользователей.

[ryancoolround]

Если я говорю о индексации сайта поисковиками, то можно так же поговорить про SEO спам. 

Я подумал, что напишу несколько примеров спама, которые раньше, особенно в эпоху Ucoz сайтов успешно применялись и может даже приносили пользу в краткосрочной перспективе, но в среднесрочной и долгосрочной перспективе они очень вредны.

• Невидимый текст - белый текст на белом фоне или черный текст на черном фоне или других цветов, чтобы текст имел тот же цвет, что и фон. Этот тип спама используется чаще всего и помогает уменьшить плотность ключевых слов.
• Ссылочный спам - примерно то же понятие, только разница в том, что вместо текста используются ссылки.
• Дорвеи - страница, созданная специально для привлечения трафика из поисковых систем, а затем этот трафик перенаправляется на другой сайт.
• Клоакинг - Это приводило к тому, что страница отображает для роботов контент, отличный от контента, просматриваемого обычным посетителем.
• Наполнение ключевыми словами - чрезмерное повторение ключевых слов в метатегах, на изображениях или даже в посте на форуме. (Самый яркий пример эволюции такого спама, любое видео на YouTube (Просто посмотрите теги видео через исходный код))
• Дублирующие / зеркальные сайты - Несколько доменов отображают идентичный контент.

Штрафы, которые могут применяться:

• Потеря PR;
• Постоянный бан в поисковых системах;
• Оскорбительные электронные письма в ваш адрес (Да, такое тоже бывает);
• Потеря клиентов;

Делайте сайт для себя и людей, а не для первых мест в поисковых системах, и все будет хорошо.

[ryancoolround]

Хороший администратор должен понимать чем отличается полноценное индексирование от простого сканирования.

Что такое сканирование?

• Когда мы говорим про сканирование, это означает боты Яндекса и Google переходят на ваш сайт и просто сканируют страницы, контент, рекламу AdSense. Они могут это делать по 10 раз в день на 10 страницах, 100 раз в день на одной странице, один раз в 5 дней на одной странице, вариантов уйма, все зависит от загруженности.

Что такое индексирование?

• Момент, когда боты добавляют вашу страницу в поисковик называется индексированием. Иногда он пропускает страницу, тем самым просто сканирует ее, и возвращается к ней позже. Скорость, с которой появляются страницы, проиндексированные в Google, зависит от частоты обновления соответствующего сайта. Например, новостной сайт, который публикует 50–100 новых статей в день, будет индексировать свои статьи намного быстрее, чем сайт, который публикует одну / две новости в день.

[ryancoolround]

На сайте запущен эксперимент. Я в наглую, в Robots.txt добавил следующую строку:

Clean-param: *

В теории, если на сайте настроен ЧПУ, то эта строка поможет избежать всех страниц дублей имеющих GET-параметры. Пример таких страниц:

https://ip-gamers.net/profile/281-mcqueen/content/
https://ip-gamers.net/profile/281-mcqueen/content/?change_section=1

Как этот параметр работать будет я ума не приложу. Может быть я этой строкой даже наврежу индексации. Но проверить нужно.

[ryancoolround]

В 29.12.2021 в 05:45, Райан сказал:

Clean-param: *

В теории, если на сайте настроен ЧПУ, то эта строка поможет избежать всех страниц дублей имеющих GET-параметры.

После того как я это попробовал, Яндекс прислал следующий ответ:

Цитата

Некорректный формат директивы Clean-param

Поэтому вот такой грубый вброс в Robots.TXT не подходит.

[ryancoolround]

Robots.txt для форумов на движке, точнее форке движка PHPBB, PHPBBEX, использую его на этом форуме: https://fbistories.ru/

User-Agent: *
Host: example.com
Disallow: /forum/adm
Disallow: /forum/cache
Disallow: /forum/classes
Disallow: /forum/docs
Disallow: /forum/download
Allow:    /forum/download/file.php
Disallow: /forum/files
Disallow: /forum/includes
Disallow: /forum/install
Disallow: /forum/language
Disallow: /forum/stk
Disallow: /forum/store
Disallow: /forum/mcp.php
Disallow: /forum/posting.php
Disallow: /forum/report.php
Disallow: /forum/viewtopic.php?*&view=print
Disallow: /forum/memberlist.php
Clean-param: sid /forum/
Clean-param: f&hilit /forum/viewtopic.php
Crawl-delay: 10