Какие бывают дубли: технические, контентные и параметрические
Дубли на сайте делятся на три основных типа, и каждый требует своего решения. Технические дубли создаёт сама архитектура вашего сайта — поисковик Google видит www.example.com и example.com как две совершенно разные страницы, адрес сайта /page отличается от /page/ со слешем в конце, http и https для Google это вообще различные версии страницы.
Параметры URL вроде UTM-меток, session ID и других GET-параметров тоже порождают новые версии с разным адресом.
Контентные дубли появляются, когда одинаковые страницы доступны с разных адресов: в интернет-магазине товар часто висит в разных категориях, в блоге статья может быть опубликована и в разделе новостей, и в основном каталоге. Параметрические дубли самые проблемные на больших сайтах — их может быть тысячи или миллионы.
Каждая комбинация фильтров (цвет, размер, цена) и GET-параметров создаёт отдельный адрес страницы, которую робот Google индексирует как отдельную.
Когда поисковик сканирует такой сайт, краулинговый бюджет расходуется на индексирование копий, и авторитет разреживается по множеству дублирующих версий страницы вместо того, чтобы собраться на основной версии. Позиции в поисковой выдаче падают, трафик уменьшается.
Search Console, Яндекс.Вебмастер и инструмент Screaming Frog помогут найти дубли быстро, а link rel canonical или 301-редирект на основную версию скажут роботу, какой адрес считать главным.
Важный момент: дубли на сайте не враг, если их правильно настроить через canonical href, редирект или noindex для дублирующей страницы в robots.txt. Тогда архитектура сайта остаётся удобной для пользователей, а позиции в поиске как в Google, так и в Яндексе не страдают.
Просто требуется правильная конфигурация, и вебмастер или SEO-специалист решит этот вопрос за несколько часов работы.