Автор статьи:
Дублирование контента - проблема всего современного интернета. Одна и та же страница во множестве CMS получает различные адреса - технический, публичный, "для печати", с параметрами и прочими вариациями. Поисковые системы не могут знать, что все эти ссылки ведут на одну страницу с одним и тем же контентом. В результате претендентами на попадание в выдачу становятся несколько одинаковых страниц с одного домена, но лишь одну из них поисковик должен предоставить пользователю.
Появление "клонов" также влечет и некоторые другие проблемы:
- после обнаружения множества копий контента поисковики замедлят индексацию - зачем тратить ресурсы на сайт, если его контент преимущественно копированный?
- в выдачу может попасть "техническая" версия страницы, например - подготовленная на печать;
- поисковик будет оценивать лишь одну страницу из всех найденных, и не всегда – ту, на которую бы вы хотели привлекать трафик.
Почему дубли стали проблемой?
Для отслеживания пользователей обычно используются cookie, но в некоторых случаях такая возможность отсутствует, и в дело идут специальные ключи, добавляемые к адресу страницы. Если посетитель решит поделиться ссылкой, он скопирует её вместе с этим уникальным кодом, и теперь в сети появилась еще одна уникальная ссылка на страницу. Google даже описал эту проблему в справочнике для вебмастеров.
Интернет-магазины часто используют в качестве описания тексты от производителя. Но, как правило, на рынке всегда есть несколько продавцов, а еще и сайт самого производителя - уникальность страниц теряется моментально, а шансы получения пенальти от поисковиков за воровство контента увеличиваются.
Многие выносят мобильные версии сайтов на поддомены, но контент, который попадает на них, нужно маркировать соответствующими метатегами. Забывая об этом, вебмастер сам создает дубли страниц в промышленных масштабах.
В некоторых случаях вебмастер решает, что лучше поддерживать две версии ресурса - с приставкой www и без неё. Но о необходимости маркировки основной страницы, опять же, вспоминают редко.
Насчитывается еще несколько возможных причин дублирования - разбиение комментариев на страницы без использования ajax, архивные версии страниц, поддержка сайтом модифицируемых путей к одной и той же странице и т.п. Такие ошибки встречаются редко, но всё еще не ушли в прошлое.
Решение проблемы дублей
Самое главное оружие вебмастера - это перенаправления. Если страница, на которой размещен дублированный контент, не является основной, просто перенаправляйте с неё на основной адрес. Если же её использование оправдано, то используйте метатеги.
Метатег "rel=canonical" рекомендуется к использованию Google для четкого обозначения основной страницы, на которую следует направить роботов поисковику. Сама страница в этом случае будет считаться копией и не получит оценки вообще. Более радикальный подход - использовать noindex для дублированных страниц.
Если несколько страниц вашего сайта хранят похожую информацию, объедините их в одну или дополните ценным контентом так, чтобы они перестали быть похожими.
Некоторые сайты передают контент в аренду другим ресурсам. Если это ваш случай, то убедитесь, что при размещении материала вебмастер указал метатеги, иначе ваш оригинал может получить пенальти как неуникальный контент. В крайнем случае попросите закрыть индексацию страницы с вашим контентом вовсе, если цель размещения - привлечение пользователей, а не поисковиков.
Наконец, не плодите сущности - используйте только тот формат ссылок, который считаете основным.
Инструменты
Проблема дублирования контента достаточно популярна, и существует ряд инструментов для её выявления.
Google Webmaster Tools умеет выискивать дубли в метатегах и описаниях страниц. Для этого выберите в разделе "Вид в поиске" подпункт "оптимизация HTML".
Siteliner - полезный сервис поиска "битых" ссылок, дублированного контента и некоторых других проблем на сайтах.
ScreamingFrog - платный сервис, предлагающий, тем не менее, бесплатную проверку 500 страниц сайта. Проверка на дубли - одна из его многочисленных возможностей.
