Перейти к содержанию

Рекомендуемые сообщения

  • Администратор

Как ни странно, но данная система баннов, очень быстренько так попадает в поисковик Яндекс. Заметил я это очень давно, но конкретное внимание обратил только сейчас, когда появилось время на это.

Скришот страницы Яндекса с результатами по SourceBans++

На мой взгляд, каждый уважающий себя, SEO оптимизатор, админ, в общем тот человек, у которого есть доступ к файловой системе сайта, должен избавляться от подобных проблем в кратчайшие сроки. Ведь, пока Яндекс робот тратит время на то, чтобы проиндексировать страницы без контента и добавить их в поиск, у него нет времени, чтобы проиндексировать действительно нужные страницы. Попробуем избавиться от данной проблемы.

К примеру, у нас есть сайт https://l4d2noob.ru/ и скажем наша система банов лежит по следующему пути https://l4d2noob.ru/sourcebans++/, соответственно этот путь надо полностью запретить добавлять в поиск. Для этого в FileZilla FileZillaPortable_NODELETE.rar идем в корневую папку сайта, там обычно лежит файл robots.txt.

Если у вас действительно есть уже сформированный robots.txt, то вам нужно открыть его текстовым редактором Notepad_NODELETE.rar стереть в нем все строки, которые как то связаны с вашим SourceBans++, и вместо них добавить следующую строку:

Disallow: /sourcebans++/

Эта строка запрещает индексировать все содержимое, что находится в разделе https://l4d2noob.ru/sourcebans++/.


Но может быть и такое, что у вас нет еще сформированного файла robots.txt. Тогда вам надо его создать самостоятельно в корневой папке сайта.

Вот шаблон robots.txt, который запрещает поисковикам индексировать директорию /SourceBans++/ но при этом все остальное роботам индексировать можно.

User-agent: *
Disallow: /sourcebans++/
Sitemap: Вставьте ссылку на ваш sitemap.xml здесь

Сохраняете, и ждете. Не молниеносно, но со временем, ненужные страницы начнут исчезать из поисковиков.

Ссылка на комментарий
Поделиться на другие сайты
  • 8 месяцев спустя...
  • Администратор

Сейчас, спустя того как прошло много времени, и у нас появилось немного опыта, я не рекомендую закрывать Sourcebans++ от индексации. С помощью того, что страницы попадают в Sourcebans++ в тот же Яндекс, возможно и кстати очень удобно искать информацию по людям, которых ты хочешь проверить, с помощью Steam ID и IP адресов.

Ссылка на комментарий
Поделиться на другие сайты

Для публикации сообщений создайте учётную запись или авторизуйтесь

Вы должны быть пользователем, чтобы оставить комментарий

Создать учетную запись

Зарегистрируйте новую учётную запись в нашем сообществе. Это очень просто!

Регистрация нового пользователя

Войти

Уже есть аккаунт? Войти в систему.

Войти
  • Похожий контент

    • Автор Райан
      Это не для кого не секрет, что Яндекс показывает не те результаты поиска по тем запросам, которые вы выполняете. Но в связи с тем, что я занимаюсь форумом, я часто что то ищу в интернете, и в последнее время на "Проблему с Яндексом" я обратил больше внимания, чем обычно. Если говорить кратко, то сегодня я принял решение отказаться от глобальных поисковиков, которые работают на основе собирания о тебе информации и предоставляя результаты, которые якобы по мнению этих поисковиков могут быть тебе интересны.
      Более подробно, давайте разбираться, вместе с вами на конкретных примерах. Важно понимать, моя история браузера почищена, Куки удалены, кеш тоже почищен. Выполнять запросы я буду именно за последние сутки.
      Выполняю запрос, без кавычек: "" Даже листать не пришлось, мне сразу выдало не то, что требуется, но опять же как не крути тема приближена к играм, и простыми словами Яндекс знает что я компьютерный задрот, поэтому все же это результат поиска можно считать для меня релевантным.

      Но давайте перейдем например на пятую страницу поиска (Помним что я ищу результаты, тыкнув по кнопке "За последние сутки"):
      Может я чего то не знаю, а если не знаю, скажите что на этом скриншоте связано с фразой "Русификатор для SourceBans++ 1.6.4"? Или что то связано с игровым задротством? С модерированием форумов? Хоть что то, что может быть интересно такому человеку, как я?
      Вот что ответила техническая поддержка Яндекса, когда я написал им письмо по этому поводу:
      Окей, давайте выполним тот же самый запрос, с той же самой фильтрацией за сутки, но в режиме инкогнито. Я сразу перейду на пятую страницу.
      Как ни странно, никакого улучшения я не заметил. Находится абсолютно все, но не то, что нужно.
       
       
       
       
       
       
       
      Ладно запрос такой скажете вы. В нем есть символ +, и возможно информация выдается из-за него, а может из за цифры 6.4. Окей, упростим.
      Недавно я посмотрел классный мультик, Суперсемейка. Вторую часть не видел, но первую рекомендую глянуть. Классный мультфильм. В общем я как всегда, захотев создать тему на форуме по последнему просмотренному мною фильму, полез искать информацию.
      В основном мне предлагались девчачьи блоги где действительно обсуждалась например супер сила персонажей из мультика. Но чаще всего попадались медиа агрегаторы, которые предлагали посмотреть кино онлайн.
      Например Wink, поисковая выдача которого основана скорее всего на подставке моего запроса в некое подобие $TITLE$. Но что самое печальное, никаких форумов, никаких обсуждений, в общем скука смертная.
      А в конечном итоге мне вообще выпало это:
      Я конечно не против, на секунду даже стало интересно , но какое это отношение имеет к Суперсемейке?
      С технической поддержкой Яндекса я и по этому скриншоту пообщался, мне порекомендовали включить "Семейный поиск", и все.
       
       
       
       
       
      Ну а этот запрос я выполнял сегодня, пару часов назад. Все мы знаем, что Coub объявил о закрытии, и я соответственно мониторю поисковики по этому ключу. Вот что выдает Яндекс по запросу Coub!
      В общем это мне по настоящему надоело. Любой запрос в Яндексе, отображает абсолютно не то, что ты ищешь. ПОМИМО ЭТОГО, ЯНДЕКС ОТВЛЕКАЕТ ТЕБЯ ОТ РАБОТЫ СВОИМИ "ПЕРСОНАЛИЗИРОВАННЫМИ РЕЗУЛЬТАТАМИ".
       
      Поймите одну простую вещь. Я никогда не интересовался политикой, мне это абсолютно не интересно. И соответственно, я никогда ничего не искал про политику.
       
      И видеть такие результаты, после того как ты ввел слово не имеющее отношения к политике, это ненормально.
       
      Нет, я очень признателен Яндексу, что 18+ сайты он выводит мне только тогда, когда я их действительно ищу. В очень редких исключениях бывают ошибки. Но все же, это не гугловская библиотека откровенных ссылок по вполне безобидному запросу. Спасибо им огромное, безусловно.
       
      Но все равно, я не эксперт, но невооруженным взглядом прекрасно вижу, что у Яндекса что то сломано, и сломано это так с года 2014. И исправлять они это явно не собираются.
       
      Ну а если скажем за последние сутки нет результатов по запросу "Coub", то на мой взгляд поисковик не должен не отобразить мне ничего, вместо того, что бы подсовывать мне не интересующие меня темы, а иначе в кнопке поиска за последние сутки совсем нет смысла.
      Ищите в тех поисковиках, которые дают вам то, что вы ищете, а не просто в вас швыряют контент без какой либо фильтрации. Каждый найдет для себя, тот поисковик, который ему по душе. Я не назову тот поисковик который выбрал я, не хочу что бы пост превратился в случайную рекламу, но помните, что вы можете сделать в браузере поисковик из совершенно любого сайта.
      Как это делается на примере Chrome:
      Идем по адресу chrome://settings/searchEngines Находим пункт "Поиск по сайту" и нажимаем на кнопку "Добавить". Открываем новую вкладку, и переходим на тот сайт из которого вы хотите сделать поисковик, например ВК. На сайте в поиске, вводим любое слово, например IP-Gamers. И выполняем поиск. Получаем ссылку с результатом поиска: https://vk.com/search?c[per_page]=40&c[q]=IP-Gamers&c[section]=auto Копируем ее и возвращаемся в окно добавления поиска Ссылку с запросом вставляем в окно Url, но вместо IP-Gamers в ссылке ставим %s
      Все, при желании вы можете сделать данный поиск по умолчанию.
       
       
       
       
       
       
       
      Вот допустим ссылка для поиска по нашему сайту:
      https://ip-gamers.net/search/?&q=%s В общем, ищите то что нужно, а не хлам. Приятной ночи.
    • Автор Райан
      Такой дорогой движок, а файловое хранилище у него, словно это поделка семиклассника на уроке информатики. Мне не понравилось что все данные хранятся вперемешку в папке Uploads, где единственная сортировка, это сортировка по месяцам. И в папке с месяцем могут хранится как и файлы вложений, и аватарки и файлы стилей. Это не очень удобно, особенно если ты ищешь потерянные вложения, и боишься удалить что то лишнее.
      И лучше это сделать на начальном этапе, когда твой сайт мало весит, чем мучатся в разы дольше потом.
      Для начала разберемся с аватарками пользователей. Сделаем так, что аватарка не будет генерироваться из первой буквы ника, потому что такая аватарка, это тоже одна jpg картинка. Сделаем так, что бы у нового пользователя была заранее установленная аватарка.
      Идем по пути:
      Система > Пользователи > Профили > Настройка Профиля В разделе "Стандартные Аватары" выбираем первый пункт "Использовать стандартный аватар стиля", нажимаем сохранить.
      Теперь отключаем дополнительные методы входа. Это вход через Steam, Facebook и так далее. Суть в том, что аватарки, которые обновляются в сообществе, если пользователь поменял аватарку скажем в Steam, они не отображаются удаленно, они импортируются к вам на сервер. И ладно бы, если пользователь поменяет аватарку и старая аватарка удалится. Нет, она остается лежать мертвым грузом у вас на сервере.
      Идем по пути:
      Система > Вход и регистрация Удаляем все методы входа, кроме стандартного.
      Так же по пути:
      Система > Приложения Система > Плагины Не забудьте удалить все приложения и плагины, которые отвечали за дополнительные методы входа. В них теперь нет необходимости.
      Двигаемся дальше, по пути:
      Система > Файлы > Настройки хранения Для каждого раздела, который вы видите в настройках хранения, мы будем в FTP доступе создавать отдельную папку. Причем не в директории uploads, создадим для этого отдельный каталог  и назовем его например downloads. И уже в этой директории для аватарок создаем папку avatar, для реакций папку reactions, и так далее.
      У меня например получилось 20 папок.
      После создания папок, в настройках хранения файлов переходим на вкладку конфигурация. Нажимаем кнопку "Создать", метод хранения выбираем "Файловая система", а в строке директория, вместо окончания ссылки upload мы напишем downloads/Avatars. Потом нажмем сохранить, и так надо повторить для каждой созданной папки.
      Когда вы создали кучу методов хранения, возвращаемся обратно на вкладку "Методы Хранения". И уже смайлам выбираем файловую систему для смайлов. Аватарам, файловую систему для аватаров. Ну вы поняли.
      Когда все файловые системы указали, нажимаем на кнопку "Сохранить" внизу. Начнется процесс перемещения файлов. Этот процесс длительный, займет времени как минимум полчаса. Можете отдохнуть.
      Помимо этого на сайте вы сможете видеть битые ссылки / изображения, пока перемещение не будет завершено. Не переживайте, все будет хорошо, в конце.
      Когда процесс перемещения завершится, делаем резервное копирование вашей папки uploads, что бы в случае фатальной ошибки, у вас была возможность все исправить. А после резервного копирования, в папки uploads оставляем 2 файла - index.html, .htaccess и папку logs, а остальное просто удаляем с сервера. Не бойтесь, вы же сделали резервную копию!
      Затем в разделе:
      Система > Поддержка Пару тройку раз чистим кеш.
      Я вот еще и перемещенные файлы снес, в папках avatars, различных Cover папках. Поэтому вы сейчас у нас в сообществе, большую часть профилей видите с битыми картинками.
      Но в теории, данная операция очистит ваше дисковое пространство на 40%. В ТЕОРИИ! Я не знаю как вы пользуетесь файловым хранилищем.
      Спасибо за внимание!
    • Автор Райан
      Небольшой проект по оптимизации и сокращению использования памяти для эффектов частиц по умолчанию. Этот аддон для Left 4 Dead 2 не приведет к значительному увеличению производительности, но уменьшит ненужное выделение памяти для более чем 800 эффектов частиц одновременно.
      Другие аддоны, изменяющие различные pcf файлы, могут конфликтовать с этим аддоном. Поэтому убедитесь, что такие аддоны как:
      +Ultra Particle Effect У вас отключены.
      Само собой архив без всякого мусора я прикрепил к посту, но на всякий случай, вот еще добавляю ссылку на мастерскую Steam.
      memory_optimized_particles.zip
    • Автор Райан
      У нашего сайта стали попадать в Яндекс подобные страницы. Они на мой взгляд мешают быстрой и правильной индексации. Эта страница, что на скриншоте, она показывает людей, которые прочли тему. Ну зачем это отдавать в Яндекс?
      Кто знает, как правильно прописать в Robots.txt, параметр отвечающий за  запрет индексации страниц оканчивающихся на =readers?
    • Автор Райан
      В этой теме буду писать свои мысли по поводу индексации вашего ну или нашего сайта поисковыми системами. Первая мысль:
      Стоит добавить в правую колонку (Сайдбар) в темах блок с последними темами, это помогает быстрее индексировать темы поисковым системам.
  • Последние посетители   0 пользователей онлайн

    Ни одного зарегистрированного пользователя не просматривает данную страницу

×
×
  • Создать...