Перейти к содержанию

Индексация сайта поисковиками.


Рекомендуемые сообщения

  • Администратор

В этой теме буду писать свои мысли по поводу индексации вашего ну или нашего сайта поисковыми системами. Первая мысль:

Стоит добавить в правую колонку (Сайдбар) в темах блок с последними темами, это помогает быстрее индексировать темы поисковым системам.

Ссылка на комментарий
Поделиться на другие сайты
  • 6 месяцев спустя...
  • Администратор

Стоит так же запретить ботам индексировать раздел статистики. Для поиска на этих страницах бесполезная информация. И ботам приходится тратить время на индексацию этих страниц. А значит действительно ценный контент для поисковиков будет добавляться в эти поисковики дольше.

Спойлер

image.png

Поэтому поставил в задачник задание с скрытием этих страниц.

Ссылка на комментарий
Поделиться на другие сайты
  • Администратор

На вашем сайте, если у вас поиск по сайту является важным функционалом сайта, то я рекомендую использовать именно поиск от Яндекс. Рекомендую это делать по нескольким причинам:

  1. Не проверял, но есть миф, что благодаря этому сайт индексируется быстрее.
  2. Вы существенно снимаете нагрузку с вашей базы данных

Единственное, если вы будете использовать на сайте поиск от Яндекс, уберите у него возможность просмотра сохраненной копии. Потому что в этом поиске баг с сохраненной копией и она ведет на страницу 404 от Яндекс.

image.png

Ссылка на комментарий
Поделиться на другие сайты
  • Администратор

Икс (Индекс Цитируемости Сайта) повысился до 80.

image.png

Что это значит?

Индекс качества сайта. Отражает востребованность сайта пользователями. Он не просто попадает в поисковик, на сайт ссылаются, и чем больше на наш сайт ссылается людей на других сайтах, тем больше ИКС

Так вот, спасибо вам за это. Это больше чем пожертвование.

Ссылка на комментарий
Поделиться на другие сайты
  • Администратор
11 часов назад, Ry@N сказал:

Индекс качества сайта. Отражает востребованность сайта пользователями. Он не просто попадает в поисковик, на сайт ссылаются, и чем больше на наш сайт ссылается людей на других сайтах, тем больше ИКС

Если говорить немножко более развернуто, т вот официальная формулировка ИКС от Яндекс:

Индекс качества сайта (ИКС) — это показатель того, насколько полезен ваш сайт для пользователей с точки зрения Яндекса. При расчете индекса качества учитываются размер аудитории сайта, степень удовлетворенности пользователей, уровень доверия к сайту со стороны пользователей и Яндекса, а также другие критерии.


На самом деле очень важно следить за динамикой изменения ИКС, так как этот индикатор отображает полезность ресурса для пользователей.

Ссылка на комментарий
Поделиться на другие сайты
  • 2 недели спустя...
  • Администратор

Если я говорю о индексации сайта поисковиками, то можно так же поговорить про SEO спам. 

Я подумал, что напишу несколько примеров спама, которые раньше, особенно в эпоху Ucoz сайтов успешно применялись и может даже приносили пользу в краткосрочной перспективе, но в среднесрочной и долгосрочной перспективе они очень вредны.

  • Невидимый текст - белый текст на белом фоне или черный текст на черном фоне или других цветов, чтобы текст имел тот же цвет, что и фон. Этот тип спама используется чаще всего и помогает уменьшить плотность ключевых слов.
  • Ссылочный спам - примерно то же понятие, только разница в том, что вместо текста используются ссылки.
  • Дорвеи - страница, созданная специально для привлечения трафика из поисковых систем, а затем этот трафик перенаправляется на другой сайт.
  • Клоакинг - Это приводило к тому, что страница отображает для роботов контент, отличный от контента, просматриваемого обычным посетителем.
  • Наполнение ключевыми словами - чрезмерное повторение ключевых слов в метатегах, на изображениях или даже в посте на форуме. (Самый яркий пример эволюции такого спама, любое видео на YouTube (Просто посмотрите теги видео через исходный код))
  • Дублирующие / зеркальные сайты - Несколько доменов отображают идентичный контент.

Штрафы, которые могут применяться:

  • Потеря PR;
  • Постоянный бан в поисковых системах;
  • Оскорбительные электронные письма в ваш адрес (Да, такое тоже бывает);
  • Потеря клиентов;

Делайте сайт для себя и людей, а не для первых мест в поисковых системах, и все будет хорошо.

Ссылка на комментарий
Поделиться на другие сайты
  • Администратор

Хороший администратор должен понимать чем отличается полноценное индексирование от простого сканирования.

Что такое сканирование?

  • Когда мы говорим про сканирование, это означает боты Яндекса и Google переходят на ваш сайт и просто сканируют страницы, контент, рекламу AdSense. Они могут это делать по 10 раз в день на 10 страницах, 100 раз в день на одной странице, один раз в 5 дней на одной странице, вариантов уйма, все зависит от загруженности.

Что такое индексирование?

  • Момент, когда боты добавляют вашу страницу в поисковик называется индексированием. Иногда он пропускает страницу, тем самым просто сканирует ее, и возвращается к ней позже. Скорость, с которой появляются страницы, проиндексированные в Google, зависит от частоты обновления соответствующего сайта. Например, новостной сайт, который публикует 50100 новых статей в день, будет индексировать свои статьи намного быстрее, чем сайт, который публикует одну / две новости в день.
Ссылка на комментарий
Поделиться на другие сайты
  • 1 месяц спустя...
  • Администратор

На сайте запущен эксперимент. Я в наглую, в Robots.txt добавил следующую строку:

Clean-param: *

В теории, если на сайте настроен ЧПУ, то эта строка поможет избежать всех страниц дублей имеющих GET-параметры. Пример таких страниц:

https://ip-gamers.net/profile/281-mcqueen/content/
https://ip-gamers.net/profile/281-mcqueen/content/?change_section=1

Как этот параметр работать будет я ума не приложу. Может быть я этой строкой даже наврежу индексации. Но проверить нужно.

Ссылка на комментарий
Поделиться на другие сайты
  • Администратор
В 29.12.2021 в 05:45, Райан сказал:
Clean-param: *

В теории, если на сайте настроен ЧПУ, то эта строка поможет избежать всех страниц дублей имеющих GET-параметры.

После того как я это попробовал, Яндекс прислал следующий ответ:

Цитата

Некорректный формат директивы Clean-param

Поэтому вот такой грубый вброс в Robots.TXT не подходит.

Ссылка на комментарий
Поделиться на другие сайты

Для публикации сообщений создайте учётную запись или авторизуйтесь

Вы должны быть пользователем, чтобы оставить комментарий

Создать учетную запись

Зарегистрируйте новую учётную запись в нашем сообществе. Это очень просто!

Регистрация нового пользователя

Войти

Уже есть аккаунт? Войти в систему.

Войти
  • Похожий контент

    • Автор Райан
      Это не для кого не секрет, что Яндекс показывает не те результаты поиска по тем запросам, которые вы выполняете. Но в связи с тем, что я занимаюсь форумом, я часто что то ищу в интернете, и в последнее время на "Проблему с Яндексом" я обратил больше внимания, чем обычно. Если говорить кратко, то сегодня я принял решение отказаться от глобальных поисковиков, которые работают на основе собирания о тебе информации и предоставляя результаты, которые якобы по мнению этих поисковиков могут быть тебе интересны.
      Более подробно, давайте разбираться, вместе с вами на конкретных примерах. Важно понимать, моя история браузера почищена, Куки удалены, кеш тоже почищен. Выполнять запросы я буду именно за последние сутки.
      Выполняю запрос, без кавычек: "" Даже листать не пришлось, мне сразу выдало не то, что требуется, но опять же как не крути тема приближена к играм, и простыми словами Яндекс знает что я компьютерный задрот, поэтому все же это результат поиска можно считать для меня релевантным.

      Но давайте перейдем например на пятую страницу поиска (Помним что я ищу результаты, тыкнув по кнопке "За последние сутки"):
      Может я чего то не знаю, а если не знаю, скажите что на этом скриншоте связано с фразой "Русификатор для SourceBans++ 1.6.4"? Или что то связано с игровым задротством? С модерированием форумов? Хоть что то, что может быть интересно такому человеку, как я?
      Вот что ответила техническая поддержка Яндекса, когда я написал им письмо по этому поводу:
      Окей, давайте выполним тот же самый запрос, с той же самой фильтрацией за сутки, но в режиме инкогнито. Я сразу перейду на пятую страницу.
      Как ни странно, никакого улучшения я не заметил. Находится абсолютно все, но не то, что нужно.
       
       
       
       
       
       
       
      Ладно запрос такой скажете вы. В нем есть символ +, и возможно информация выдается из-за него, а может из за цифры 6.4. Окей, упростим.
      Недавно я посмотрел классный мультик, Суперсемейка. Вторую часть не видел, но первую рекомендую глянуть. Классный мультфильм. В общем я как всегда, захотев создать тему на форуме по последнему просмотренному мною фильму, полез искать информацию.
      В основном мне предлагались девчачьи блоги где действительно обсуждалась например супер сила персонажей из мультика. Но чаще всего попадались медиа агрегаторы, которые предлагали посмотреть кино онлайн.
      Например Wink, поисковая выдача которого основана скорее всего на подставке моего запроса в некое подобие $TITLE$. Но что самое печальное, никаких форумов, никаких обсуждений, в общем скука смертная.
      А в конечном итоге мне вообще выпало это:
      Я конечно не против, на секунду даже стало интересно , но какое это отношение имеет к Суперсемейке?
      С технической поддержкой Яндекса я и по этому скриншоту пообщался, мне порекомендовали включить "Семейный поиск", и все.
       
       
       
       
       
      Ну а этот запрос я выполнял сегодня, пару часов назад. Все мы знаем, что Coub объявил о закрытии, и я соответственно мониторю поисковики по этому ключу. Вот что выдает Яндекс по запросу Coub!
      В общем это мне по настоящему надоело. Любой запрос в Яндексе, отображает абсолютно не то, что ты ищешь. ПОМИМО ЭТОГО, ЯНДЕКС ОТВЛЕКАЕТ ТЕБЯ ОТ РАБОТЫ СВОИМИ "ПЕРСОНАЛИЗИРОВАННЫМИ РЕЗУЛЬТАТАМИ".
       
      Поймите одну простую вещь. Я никогда не интересовался политикой, мне это абсолютно не интересно. И соответственно, я никогда ничего не искал про политику.
       
      И видеть такие результаты, после того как ты ввел слово не имеющее отношения к политике, это ненормально.
       
      Нет, я очень признателен Яндексу, что 18+ сайты он выводит мне только тогда, когда я их действительно ищу. В очень редких исключениях бывают ошибки. Но все же, это не гугловская библиотека откровенных ссылок по вполне безобидному запросу. Спасибо им огромное, безусловно.
       
      Но все равно, я не эксперт, но невооруженным взглядом прекрасно вижу, что у Яндекса что то сломано, и сломано это так с года 2014. И исправлять они это явно не собираются.
       
      Ну а если скажем за последние сутки нет результатов по запросу "Coub", то на мой взгляд поисковик не должен не отобразить мне ничего, вместо того, что бы подсовывать мне не интересующие меня темы, а иначе в кнопке поиска за последние сутки совсем нет смысла.
      Ищите в тех поисковиках, которые дают вам то, что вы ищете, а не просто в вас швыряют контент без какой либо фильтрации. Каждый найдет для себя, тот поисковик, который ему по душе. Я не назову тот поисковик который выбрал я, не хочу что бы пост превратился в случайную рекламу, но помните, что вы можете сделать в браузере поисковик из совершенно любого сайта.
      Как это делается на примере Chrome:
      Идем по адресу chrome://settings/searchEngines Находим пункт "Поиск по сайту" и нажимаем на кнопку "Добавить". Открываем новую вкладку, и переходим на тот сайт из которого вы хотите сделать поисковик, например ВК. На сайте в поиске, вводим любое слово, например IP-Gamers. И выполняем поиск. Получаем ссылку с результатом поиска: https://vk.com/search?c[per_page]=40&c[q]=IP-Gamers&c[section]=auto Копируем ее и возвращаемся в окно добавления поиска Ссылку с запросом вставляем в окно Url, но вместо IP-Gamers в ссылке ставим %s
      Все, при желании вы можете сделать данный поиск по умолчанию.
       
       
       
       
       
       
       
      Вот допустим ссылка для поиска по нашему сайту:
      https://ip-gamers.net/search/?&q=%s В общем, ищите то что нужно, а не хлам. Приятной ночи.
    • Автор Райан
      Как ни странно, но данная система баннов, очень быстренько так попадает в поисковик Яндекс. Заметил я это очень давно, но конкретное внимание обратил только сейчас, когда появилось время на это.

      На мой взгляд, каждый уважающий себя, SEO оптимизатор, админ, в общем тот человек, у которого есть доступ к файловой системе сайта, должен избавляться от подобных проблем в кратчайшие сроки. Ведь, пока Яндекс робот тратит время на то, чтобы проиндексировать страницы без контента и добавить их в поиск, у него нет времени, чтобы проиндексировать действительно нужные страницы. Попробуем избавиться от данной проблемы.
      К примеру, у нас есть сайт https://l4d2noob.ru/ и скажем наша система банов лежит по следующему пути https://l4d2noob.ru/sourcebans++/, соответственно этот путь надо полностью запретить добавлять в поиск. Для этого в FileZilla FileZillaPortable_NODELETE.rar идем в корневую папку сайта, там обычно лежит файл robots.txt.
      Если у вас действительно есть уже сформированный robots.txt, то вам нужно открыть его текстовым редактором Notepad_NODELETE.rar стереть в нем все строки, которые как то связаны с вашим SourceBans++, и вместо них добавить следующую строку:
      Disallow: /sourcebans++/ Эта строка запрещает индексировать все содержимое, что находится в разделе https://l4d2noob.ru/sourcebans++/.

      Но может быть и такое, что у вас нет еще сформированного файла robots.txt. Тогда вам надо его создать самостоятельно в корневой папке сайта.
      Вот шаблон robots.txt, который запрещает поисковикам индексировать директорию /SourceBans++/ но при этом все остальное роботам индексировать можно.
      User-agent: * Disallow: /sourcebans++/ Sitemap: Вставьте ссылку на ваш sitemap.xml здесь Сохраняете, и ждете. Не молниеносно, но со временем, ненужные страницы начнут исчезать из поисковиков.
    • Автор Райан
      Как следует из названия темы, я отключил возможность обновлять статусы в профилях. Это было сделано по нескольким причинам.
      Благодаря этому снизится нагрузка на ресурсы Форум публичное место, а значит ваш контент должен быть на более видном месте Благодаря этому ускорится индексация действительно нужных страниц Спасибо за понимание, и приятного времяпровождения на нашем объединенном сообществе для игровых серверов L4D2.
      Я как Дуров. Отключил стену, не думая о последствиях.
  • Последние посетители   0 пользователей онлайн

    Ни одного зарегистрированного пользователя не просматривает данную страницу

×
×
  • Создать...