Удалить страницу из индекса

Многие оптимизаторы уже сталкивались с проблемой лишних или «мусорных» страниц в индексе. Допустим, страница на сайте должна быть обязательно, а ее присутствие в индексе не желательно по каким-либо причинам. Очень часто проблема может возникнуть из-за неправильной настройки CMS. Возможно, где-то остались ссылки со старого шаблона или неверно генерируются страницы. Но это сейчас не важно. В данной статье я постараюсь объяснить и перечислить методы удаления страницы из индекса поисковых систем.

1) Самый очевидный способ, это добавить страницу в файл Robots.txt, который находится в корне сайта. Существует целый ряд команд, позволяющих управлять поисковой системой. Кстати, многие поисковики воспринимают содержимое этого файла по-разному, так что внимательно ознакомьтесь с правилами написания и оформления этого файла:

Яндекс: http://help.yandex.ru/webmaster/?id=996567

Google: http://support.google.com/webmasters/bin/answer.py?hl=ru&answer=156449

2) Второй способ сильно напоминает первый. Это указание в HTML коде мета-тега robots. Суть в том, что для каждой страницы можно отдельно написать правило, позволяющее управлять поисковой системой. В отличии от файла, в мета-теге можно указать еще и запрет учитывать вес страницы. То есть контент будет считаться, а вес – нет.  Выглядит код так:

<meta name=»robots» content=»noindex,nofollow» />

3) Третий способ практически такой же,  как второй. Это внесение в HTML код:

X-Robots-Tag: noindex, nofollow

Этот код пока что работает только с буржуйскими поисковиками; Google в их числе. Но скорее всего, в будущем, он будет работать и на наших поисковых машинах.  Возможно, вы посчитаете эти 3 способа за один, но не нужно быть слишком уверенными. Каждый из них употребляется в конкретном случае.

4) Четвертый способ не очень популярен среди оптимизаторов. Он заключается в том, что нужно непосредственно сообщить поисковику об удалении ненужной страницы. Сделать это можно с помощью специальных «АНТИурилок». То есть, полная противоположность «Аддурилок».

Google: https://www.google.com/webmasters/tools/

Яндекс: http://webmaster.yandex.ru/delurl.xml

У этого варианта удаления страницы есть большой плюс для Google. Потребуется всего пара часов, и страница пропадет из индекса. Но со стороны Яндекса все немного печальнее: было замечено, что удаление страницы происходит только на следующий апдейт. Также, следует упомянуть что для того чтобы этот способ заработал, необходимо запретить индексацию в robots.txt, мета-теге, или удалить страницу, поставив 404.

5) Пятый способ не совсем подходит в вышеупомянутый перечень. Он заключается в том, что на ненужную страницу нужно повесить 404 ошибку. Как вы понимаете, это не просто закрытие от индекса. Это по факту, удаление страницы.

Какой именно выбрать способ, решайте по обстоятельствам.