Что-то часто в последнее время я сталкиваюсь с большими сайтами. Новые отраслевые порталы, интернет-магазины с тысячами товаров, интернет-СМИ. И везде я встречаю одни и те же проблемы. Точнее проблема. Индексация сайтов оставляет желать лучшего. То поисковые системы знают слишком мало страниц сайта, то, наоборот, в индексе поисковиков болтается сотни и тысячи «пустых» страниц.
Как выявить проблемы сайта с индексацией поисковыми системами? Есть несколько приемов, позволяющих с почти 100% вероятностью найти все ошибки.
Зеркала сайта
У одного сайта начались проблемы с Google. Позиции сайта в этой поисковой системе просели,трафик упал вдвое. Причина — поисковик проиндексировал несколько тысяч страниц зеркала сайта и «склеил» дубли.
В в базу поисковых систем попадают страницы не только основного сайта, но и его «зеркал». В результате поисковые системы индексируют большое количество дублей страниц (страницы с одинаковым содержанием, но разными адресами). Все это приводит к большим проблемам.
Как предупредить проблемы? Проверить все зеркала на индексацию поисковыми системами и закрыть их от индексации (или настроить редирект с них на основной домен).
Xenu
Проверить сайт очень полезной программой — Xenu (скачать Xenu можно тут). Это паук, который обходит весь сайт. С ее помощью очень удобно искать битые ссылки и редиректы, а также строить дерево сайта.
Страницы в базе поисковых систем
Проверить, какие страницы сайта проиндексированы поисковыми системами. Обращайте внимание на слишком длинные адреса, на слишком легкие страницы (Яндекс показывает размер файлов), на страницы без титульных фраз. Проверить стоит и страницы, адреса которых заканчиваются конструкциями вида id=номер (проиндексированы могут быть страницы с идентификаторами сессий).
Если на сайте есть поиск (а у больших сайтов он есть практически всегда), нужно убедиться, что в базу поисковых систем не попали страницы с результатами выдачи по сайту (например, /search?=что-то там).
Конечно, это далеко не все. Но эти способы, по моему опыту, позволяют найти 80−90% ошибок с индексацией сайта.
Популярность: 5% [?]
С зеркалами сайта нужно быть аккуратнее. Склейка идет долго, и потом может выйти себе дороже...