Что называют дублями страниц?

Дубли – это страницы сайта, контент которых полностью или частично совпадает с контентом других, уже существующих в сети страниц. Бывают они четкими и нечеткими.

Четкие дубли – это страницы с абсолютно одинаковым контентом, которые имеют разные урл-адреса. Примером четких дублей могут являться зеркала главной страницы сайта:

site.ru
www.site.ru
site.ru/index.php

Нечеткие дубли – это страницы с очень похожим контентом:

  • страницы, где объем контентной части гораздо меньше сквозной части: галереи; страницы с описанием товара всего одним предложением и т.д.
  • страницы, где частично или полностью, но в произвольном порядке повторяются одни и те же контентные блоки: страницы категорий товаров, отсортированных по различным параметрам, страницы поиска по сайту, страницы с анонсами новостей и т.д.

Чем грозят дубли продвижению сайта?

  1. При обнаружении большого количества дублированных страниц, поисковая система понижает такой сайт в рейтинге, накладывает санкции, вплоть до изъятия всех страниц сайта из поиска.
  2. Дубли влияют на релевантность страниц сайта, мешая качественному продвижению сайта. При наличии дублей поисковая система не может определить какая страница является приоритетной для продвижения. В результате вес распределяется между несколькими страницами, ни одна из которых не занимает высокой позиции в топе.
  3. Из-за большого количества дублей страниц поисковый робот тратит гораздо больше времени на индексацию сайта.

Как появляются дубли страниц?

1. Система управления сайтом. Наиболее частая причина, возникающая из-за несовершенств работы используемой CMS. Типичная ситуация для примера — если одна запись на сайте принадлежит к нескольким категориям, чьи символьные коды входят в URL самой записи. На выходе получаем конкретные дубли, например:

site.ru/category1/post/
site.ru/category2/post/

2. Служебные разделы. Также относится к несовершенству функционирования системы управления, однако из-за распространенности проблемы, рассмотрим эту ситуацию отдельно. Наиболее часто встречается при работе с сайтом на CMS Joomla и Bitrix. Один из вариантов возникновения дублей такого типа, если какая-либо функция на сайте (авторизация, фильтрация, поиск и т.д.) множит параметрические адреса, имеющие идентичный контент относительно страницы без параметров в URL. Например:

site.ru/page.php
site.ru/page.php?ajax=Y

3. Человеческий фактор. Сюда относится всё то, что является порождением рук человеческих:

  • упомянутые выше одинаковые сквозные участки текста;
  • сквозные статические блоки;
  • банальное копирование текстов.

По второму пункту есть пояснение. Здесь речь идет в первую очередь про код. На этот счет идет много дебатов, но однозначно можно сказать, что большие участки сквозного кода — очень плохо.

4. Технические ошибки. Нечто среднее между несовершенством работы CMS и человеческим фактором. Первый пример, который приходит в голову, имел место быть на системе Opencart, когда криво поставленная ссылка привела к зацикливанию:

site.ru/page/page/page/page/../..

Как найти дубли страниц на сайте?

  1. Ввести в поисковую строку команду site: доменное имя вашего сайта, через пробел фрагмент текста. В выдаче вы увидите все страницы с этой фразой на вашем сайте.
  2. Воспользоваться специальными сервисами и программами для поиска дублей. Одной из наиболее популярных бесплатных программ является Xenu.
  3. Воспользоваться инструментами для поиска дублей на панели веб-мастеров Яндекс или Google.

Как удалить дубли страниц?

Для начала необходимо выяснить причину появления дублей на вашем сайте. Потому что бессмысленно старательно и искать закрывать дублированные страницы от индексации, если через неделю появится новая порция таких страниц. Это касается дублей, возникающих в результате ошибок работы CMS, которые вы можете решить самостоятельно или же с помощью программиста. Далее, если причины появление дублей

1. Закрытие в robots.txt. Наиболее бесхитростный вариант. Как правило все дубли — порождения несовершенства системы управления сайтом, имеют одинаковую структуру алиасов, что позволяет закрыть их «по маске« путем добавления одной-двух директив в файл robots.txt.

2. 301 редирект. Такой вариант решения проблемы уместен, если дубли носят точечный характер и вы не хотите их закрывать от индексации по той или иной причине (например, на них уже кто-то успел поставить внешнюю ссылку). В таком случае просто настраиваем 301 редирект с дубля на основную страницу и проблема решена.

3. Канонические ссылки. Неплохое решение для описанной выше ситуации, когда один и тот же пост доступен по разным урлам. Для каждого такого поста внедряется в код тег вида <link=»canonical» href=»http://site.ru/cat1/page.php»>, где http://site.ru/cat1/page.php — вариант урла записи, который вы хотите индексировать.

Данный тег программно внедряется для каждого поста и далее пусть у него будет хоть 100 урлов — на всех них в коде будет рекомендация для поисковой системы, какой урл вы советуете индексировать, а на какие не обращать внимания (на страницы, чей собственный url и url в link rel=»canonical» не совпадают).

Продвижение интернет-магазинов – задача не из легких, над этим требуется комплексная работа. Если у вас возникают трудности, то вы можете заказать у нас услугу Продвижение сайта «Старт».