Перейти к содержанию

Индексация сайта поисковиками.

Опубликовано
  • Администраторы

В этой теме буду писать свои мысли по поводу индексации вашего ну или нашего сайта поисковыми системами. Первая мысль:

Стоит добавить в правую колонку (Сайдбар) в темах блок с последними темами, это помогает быстрее индексировать темы поисковым системам.

Снимок экрана 2021-04-27 132537.png

Рекомендуемые сообщения

Опубликовано
  • Автор
  • Администраторы

Стоит так же запретить ботам индексировать раздел статистики. Для поиска на этих страницах бесполезная информация. И ботам приходится тратить время на индексацию этих страниц. А значит действительно ценный контент для поисковиков будет добавляться в эти поисковики дольше.

Спойлер

image.png

Поэтому поставил в задачник задание с скрытием этих страниц.

Опубликовано
  • Автор
  • Администраторы

На вашем сайте, если у вас поиск по сайту является важным функционалом сайта, то я рекомендую использовать именно поиск от Яндекс. Рекомендую это делать по нескольким причинам:

  1. Не проверял, но есть миф, что благодаря этому сайт индексируется быстрее.
  2. Вы существенно снимаете нагрузку с вашей базы данных

Единственное, если вы будете использовать на сайте поиск от Яндекс, уберите у него возможность просмотра сохраненной копии. Потому что в этом поиске баг с сохраненной копией и она ведет на страницу 404 от Яндекс.

image.png

Опубликовано
  • Автор
  • Администраторы

Икс (Индекс Цитируемости Сайта) повысился до 80.

image.png

Что это значит?

Индекс качества сайта. Отражает востребованность сайта пользователями. Он не просто попадает в поисковик, на сайт ссылаются, и чем больше на наш сайт ссылается людей на других сайтах, тем больше ИКС

Так вот, спасибо вам за это. Это больше чем пожертвование.

Опубликовано
  • Автор
  • Администраторы
11 часов назад, Ry@N сказал:

Индекс качества сайта. Отражает востребованность сайта пользователями. Он не просто попадает в поисковик, на сайт ссылаются, и чем больше на наш сайт ссылается людей на других сайтах, тем больше ИКС

Если говорить немножко более развернуто, т вот официальная формулировка ИКС от Яндекс:

Индекс качества сайта (ИКС) — это показатель того, насколько полезен ваш сайт для пользователей с точки зрения Яндекса. При расчете индекса качества учитываются размер аудитории сайта, степень удовлетворенности пользователей, уровень доверия к сайту со стороны пользователей и Яндекса, а также другие критерии.


На самом деле очень важно следить за динамикой изменения ИКС, так как этот индикатор отображает полезность ресурса для пользователей.

  • 2 недели спустя...
Опубликовано
  • Автор
  • Администраторы

Если я говорю о индексации сайта поисковиками, то можно так же поговорить про SEO спам. 

Я подумал, что напишу несколько примеров спама, которые раньше, особенно в эпоху Ucoz сайтов успешно применялись и может даже приносили пользу в краткосрочной перспективе, но в среднесрочной и долгосрочной перспективе они очень вредны.

  • Невидимый текст - белый текст на белом фоне или черный текст на черном фоне или других цветов, чтобы текст имел тот же цвет, что и фон. Этот тип спама используется чаще всего и помогает уменьшить плотность ключевых слов.
  • Ссылочный спам - примерно то же понятие, только разница в том, что вместо текста используются ссылки.
  • Дорвеи - страница, созданная специально для привлечения трафика из поисковых систем, а затем этот трафик перенаправляется на другой сайт.
  • Клоакинг - Это приводило к тому, что страница отображает для роботов контент, отличный от контента, просматриваемого обычным посетителем.
  • Наполнение ключевыми словами - чрезмерное повторение ключевых слов в метатегах, на изображениях или даже в посте на форуме. (Самый яркий пример эволюции такого спама, любое видео на YouTube (Просто посмотрите теги видео через исходный код))
  • Дублирующие / зеркальные сайты - Несколько доменов отображают идентичный контент.

Штрафы, которые могут применяться:

  • Потеря PR;
  • Постоянный бан в поисковых системах;
  • Оскорбительные электронные письма в ваш адрес (Да, такое тоже бывает);
  • Потеря клиентов;

Делайте сайт для себя и людей, а не для первых мест в поисковых системах, и все будет хорошо.

Опубликовано
  • Автор
  • Администраторы

Хороший администратор должен понимать чем отличается полноценное индексирование от простого сканирования.

Что такое сканирование?

  • Когда мы говорим про сканирование, это означает боты Яндекса и Google переходят на ваш сайт и просто сканируют страницы, контент, рекламу AdSense. Они могут это делать по 10 раз в день на 10 страницах, 100 раз в день на одной странице, один раз в 5 дней на одной странице, вариантов уйма, все зависит от загруженности.

Что такое индексирование?

  • Момент, когда боты добавляют вашу страницу в поисковик называется индексированием. Иногда он пропускает страницу, тем самым просто сканирует ее, и возвращается к ней позже. Скорость, с которой появляются страницы, проиндексированные в Google, зависит от частоты обновления соответствующего сайта. Например, новостной сайт, который публикует 50100 новых статей в день, будет индексировать свои статьи намного быстрее, чем сайт, который публикует одну / две новости в день.
  • 1 месяц спустя...
Опубликовано
  • Автор
  • Администраторы

На сайте запущен эксперимент. Я в наглую, в Robots.txt добавил следующую строку:

Clean-param: *

В теории, если на сайте настроен ЧПУ, то эта строка поможет избежать всех страниц дублей имеющих GET-параметры. Пример таких страниц:

https://ip-gamers.net/profile/281-mcqueen/content/
https://ip-gamers.net/profile/281-mcqueen/content/?change_section=1

Как этот параметр работать будет я ума не приложу. Может быть я этой строкой даже наврежу индексации. Но проверить нужно.

Опубликовано
  • Автор
  • Администраторы
В 29.12.2021 в 05:45, Райан сказал:
Clean-param: *

В теории, если на сайте настроен ЧПУ, то эта строка поможет избежать всех страниц дублей имеющих GET-параметры.

После того как я это попробовал, Яндекс прислал следующий ответ:

Цитата

Некорректный формат директивы Clean-param

Поэтому вот такой грубый вброс в Robots.TXT не подходит.

  • 2 года спустя...
Опубликовано
  • Автор
  • Администраторы

Robots.txt для форумов на движке, точнее форке движка PHPBB, PHPBBEX, использую его на этом форуме: https://fbistories.ru/

User-Agent: *
Host: example.com
Disallow: /forum/adm
Disallow: /forum/cache
Disallow: /forum/classes
Disallow: /forum/docs
Disallow: /forum/download
Allow:    /forum/download/file.php
Disallow: /forum/files
Disallow: /forum/includes
Disallow: /forum/install
Disallow: /forum/language
Disallow: /forum/stk
Disallow: /forum/store
Disallow: /forum/mcp.php
Disallow: /forum/posting.php
Disallow: /forum/report.php
Disallow: /forum/viewtopic.php?*&view=print
Disallow: /forum/memberlist.php
Clean-param: sid /forum/
Clean-param: f&hilit /forum/viewtopic.php
Crawl-delay: 10

 

Для публикации сообщений создайте учётную запись или авторизуйтесь

Последние посетители 0

  • Ни одного зарегистрированного пользователя не просматривает данную страницу