13Июнь/140

Удалить страницу из индекса

Удалить страницу из индекса

Удалить страницу из индекса

Многие оптимизаторы уже сталкивались с проблемой лишних или «мусорных» страниц в индексе. Допустим, страница на сайте должна быть обязательно, а ее присутствие в индексе не желательно по каким-либо причинам. Очень часто проблема может возникнуть из-за неправильной настройки CMS. Возможно, где-то остались ссылки со старого шаблона или неверно генерируются страницы. Но это сейчас не важно. В данной статье я постараюсь объяснить и перечислить методы удаления страницы из индекса поисковых систем.

1) Самый очевидный способ, это добавить страницу в файл Robots.txt, который находится в корне сайта. Существует целый ряд команд, позволяющих управлять поисковой системой. Кстати, многие поисковики воспринимают содержимое этого файла по-разному, так что внимательно ознакомьтесь с правилами написания и оформления этого файла:

Яндекс: http://help.yandex.ru/webmaster/?id=996567

Google: http://support.google.com/webmasters/bin/answer.py?hl=ru&answer=156449

2) Второй способ сильно напоминает первый. Это указание в HTML коде мета-тега robots. Суть в том, что для каждой страницы можно отдельно написать правило, позволяющее управлять поисковой системой. В отличии от файла, в мета-теге можно указать еще и запрет учитывать вес страницы. То есть контент будет считаться, а вес – нет.  Выглядит код так:

<meta name=»robots» content=»noindex,nofollow» />

3) Третий способ практически такой же,  как второй. Это внесение в HTML код:

X-Robots-Tag: noindex, nofollow

Этот код пока что работает только с буржуйскими поисковиками; Google в их числе. Но скорее всего, в будущем, он будет работать и на наших поисковых машинах.  Возможно, вы посчитаете эти 3 способа за один, но не нужно быть слишком уверенными. Каждый из них употребляется в конкретном случае.

4) Четвертый способ не очень популярен среди оптимизаторов. Он заключается в том, что нужно непосредственно сообщить поисковику об удалении ненужной страницы. Сделать это можно с помощью специальных «АНТИурилок». То есть, полная противоположность «Аддурилок».

Googlehttps://www.google.com/webmasters/tools/

Яндекс: http://webmaster.yandex.ru/delurl.xml

У этого варианта удаления страницы есть большой плюс для Google. Потребуется всего пара часов, и страница пропадет из индекса. Но со стороны Яндекса все немного печальнее: было замечено, что удаление страницы происходит только на следующий апдейт. Также, следует упомянуть что для того чтобы этот способ заработал, необходимо запретить индексацию в robots.txt, мета-теге, или удалить страницу, поставив 404.

5) Пятый способ не совсем подходит в вышеупомянутый перечень. Он заключается в том, что на ненужную страницу нужно повесить 404 ошибку. Как вы понимаете, это не просто закрытие от индекса. Это по факту, удаление страницы.

Какой именно выбрать способ, решайте по обстоятельствам.

Комментарии (0) Пинги (0)

Пока нет комментариев.


Оставить комментарий

CAPTCHA image
*

Нет обратных ссылок на эту запись.