Индексация сайта и проблема дубликатов (пример из жизни).

Летом проводил аудит сайта. Сайт был сделан на битриксе, но делали его какие-то мудаки не очень ответственные люди. Дело в том, что все адреса страниц генерировались через всякие непонятные конструкции типа www.mysite.ru/?432&PRINT=321&ID=3882. Из-за этого формировалась невероятная куча дубликатов. В следствии чего, от апдейта к апдейту количество страниц в индексе Яндекса постоянно прыгало от 600 до 1000 штук. То есть Яндекс выкинет ненужные дубли, а на их место приходят другие. Он их снова выкидывает, они снова появляются. В итоге статистика вебмастера показала, что за всю историю существования сайта (пол года) было проиндексировано чуть ли 140К страниц. Ну и естественно почти столько же было выкинуто.

Мы мучились почти месяц, старались исправить сайт (он был довольно большим). Полностью переделали навигацию, прикрутили ЧПУ, запретили к индексации нафиг ненужные страницы типа поиска по сайту и страниц календаря на сайте, и многое другое. В итоге после всего это сайт начал нормально индексироваться, и поисковое продвижение стало более или менее реально. Количество проиндексированных страниц стало более или менее реально и замерло на уровне 2000 страниц. Постепенно растет за счет публикации новостей и расширения сайта.

Привожу реальную посещаемость этого сайта (красным отмечен момент переделки сайта)

Ну и конечно же рост поискового трафика с Яндекса.

Тут, конечно, свой вклад внесло и поисковое продвижение сайта, но это все было бы не возможно без основы основ – правильно сделанного сайта. За период с Июля по Ноябрь (то есть 4 месяца), посещаемость сайта выросла в два раза.

Какая у всего этого мораль? Нет, я не считаю, что это ошибка программиста. Задача программиста сделать так, что бы сайт работал без ошибок и лагов. Проблема в том, что программист всегда должен работать в команде с оптимизатором, который подскажет, как сделать сайт так, что бы поисковики его нормально жрали. Сделать хороший сайт может только команда специалистов. Как правило, команда состоит только из дизайнера и программиста. Проблема в том, что про оптимизатора частенько забывают.

Рекомендую почитать по теме:

Запись опубликована в рубрике Поисковое продвижение с метками , , , . Добавьте в закладки постоянную ссылку.

2 комментария: Индексация сайта и проблема дубликатов (пример из жизни).

  1. NMitra говорит:

    Точно rel=»canonical» не всегда помогает. Вернее так: сначала проиндексирует, затем убирает из выдачи. У меня на одну страницу за пару дней наштамповалось около 1000 страниц дубликатов вида http://URL?commentPage=1000. Робот проходил по ссылке «Старые» у комментариев, а таких бесконечность. Пока сообразила, пока придумала как исправить…

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

*

Можно использовать следующие HTML-теги и атрибуты: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <strike> <strong>