Clean param
Директива clean-param в robots.txt управляет параметрами URL и помогает поисковым системам правильно индексировать страницы сайта, экономя краулинговый бюджет. Когда на сайте много параметров в структуре URL, может создаться множество дублирующихся версий одной страницы с идентичным содержанием. Используйте директиву clean-param в robots.txt, чтобы указать поисковым роботам, какие параметры следует игнорировать при индексировании. Данная оптимизация особенно важна для Яндекса и других поисковых систем, которые должны эффективно расходовать ресурсы на краулинг. Параметры через clean-param обычно это utm-параметры, идентификаторы сессии и другие трекинговые параметры, не меняющие основной контент страницы вашего сайта. Правильная настройка clean-param улучшает SEO метрики и помогает исключить дубли контента из индекса.
Директива clean-param: назначение, синтаксис и принцип работы в robots.txt
robots.txt с директивой clean-param для указания параметров, которые поисковый робот должен игнорировать при индексированииСинтаксис директивы clean-param в robots.txt
Директива clean-param в файле robots.txt записывается простой строкой. Вот её основная форма:
Clean-param: параметр1 параметр2 параметр3
Каждый параметр перечисляется через пробел. Это необходимо указать для нужного user-agent. Например, для Yandex:
user-agent: Yandex
Clean-param: utm_source utm_medium utm_campaign sessionid
Или для Google (если вы хотите, чтобы Google также обработал эту информацию):
user-agent: Googlebot
Clean-param: utm_source utm_medium
Файл robots.txt обрабатывает эти записи автоматически. Поисковые системы сначала ищут свой user-agent, а затем применяют все директивы clean-param, указанные для этого user-agent. Если у вас есть последовательность директив, каждая Clean-param добавляет новые параметры к списку игнорирования, они накапливаются.
Поддержка чистки параметров в robots.txt
Поддержку директивы clean-param реализовали разные поисковые системы на разных сроках. Яндекс имеет полную поддержку этой директивы и использует информацию при индексировании. Google также поддерживает механизм обработки параметров, но через другие каналы — Search Console предоставляет интерфейс для управления параметрами URL.
Для поискового робота Яндекса в robots.txt можно использовать:
user-agent: Yandex
Clean-param: utm_source utm_medium utm_campaign utm_content sessionid
При этом для каждого параметра нужно понимать, что robots.txt должен находиться в корне домена вашего сайта. Текстовый файл robots.txt по пути /robots.txt — единственное место, где поисковые системы ищут эту информацию. Неправильное расположение файла означает, что clean-param не будет применяться вообще.
Проблема дублирующегося контента и краулинговый бюджет
Когда страница одного сайта доступна через множество различных URL с разными параметрами, возникает серьёзная проблема. Представьте интернет-магазин:
/product/123
/product/123?utm_source=google&utm_medium=cpc
/product/123?utm_source=yandex&utm_medium=search
/product/123?sessionid=abc123def456
/product/123?utm_medium=email&utm_campaign=promo
Все эти URL содержат одно и то же содержание — описание товара с номером 123. Но поисковому роботу они выглядят как разные страницы. Робот использует свой краулинговый бюджет — ограниченное количество запросов, которое он может сделать в сутки к вашему сайту. Если бюджет потрачен на индексирование пяти версий одной и той же страницы, робот не сможет посетить пять новых URL.
Здесь и помогает clean-param. Используйте эту директиву, чтобы сказать роботу: «Все эти параметры не меняют содержание страницы, игнорируй их». Робот перестанет обрабатывать дубли и сосредоточится на новых версиях страницы вашего сайта.
Реальные примеры параметров для clean-param
На практике список параметров для очистки часто включает utm-параметры. В Google Analytics и других инструментах аналитики используются utm_source, utm_medium, utm_campaign, utm_content, utm_term. Все эти параметры нужны для отслеживания источника трафика, но не влияют на сам процесс отображения страницы.
Для форумов часто используются параметры сессии. Например, на форуме vBulletin параметр s содержит идентификатор сессии:
/forum/showthread.php?t=12345&s=abc123def456
Параметр t в параметрах URL типа showthread — это ID темы, и он влияет на содержание. Но s — это просто сессия, её можно указать в clean-param:
user-agent: Yandex
Clean-param: s utm_source utm_medium sessionid refid
Для интернет-магазинов параметр email часто используется при подписке на рассылку, но не меняет того, что пользователь видит на странице товара. Параметры вроде ref, partner, source — это реферальные коды, которые тоже не влияют на отображение страницы.
Критически важное различие: параметры, меняющие содержание, нельзя в clean-param
Здесь важна одна критическая деталь. Некоторые параметры действительно меняют содержание и поведение страницы. Их нельзя указывать в clean-param. К ним относятся:
Параметры сортировки и фильтрации: sort=price, filter=color:red, pn=2 (номер страницы). Если пользователь добавляет ?sort=price_asc, он видит совершенно другой порядок товаров. Это не трекинговый параметр, это параметр, который влияет на контент. Указав его в clean-param, вы скажете роботу игнорировать эту разницу, и в индексе может оказаться неправильная версия.
Параметры для фильтрации по диапазону: price_min=100&price_max=500. Это меняет список товаров на странице.
Параметры языка или версии: lang=en, version=mobile. Хотя иногда это отслеживание, но часто это параметры, которые реально меняют контент.
Правило простое: в clean-param указывайте только параметры, которые используются исключительно для аналитики, отслеживания, идентификации сессии пользователя. Все остальное оставляйте как есть, чтобы поисковый робот правильно индексировал разные версии контента.
Проверка обработки clean-param в Search Console
Google Search Console позволяет проверить, как Google интерпретирует параметры вашего сайта. Хотя Google использует другой метод (через консоль, а не через robots.txt), результат похож.
Зайдите в Search Console > Настройки > Параметры URL. Там вы можете указать, какие параметры нужно игнорировать при сканировании. Google использует эту информацию вместе с информацией из robots.txt, чтобы правильно обрабатывать ссылки.
Для Яндекса проверку можно сделать логически: посмотрите в Yandex Webmaster, какие URL индексированы. Если clean-param работает правильно, вы должны увидеть меньше дубликатов с utm и session параметрами. В отчётах об индексировании Яндекс показывает, сколько URL обнаружено и сколько индексировано. После правильной настройки clean-param количество обнаруженных URL должно оставаться высоким, но количество индексированных дубликатов должно снизиться.
Используйте инструменты проверки, чтобы убедиться: откройте несколько URL с разными tracking параметрами и проверьте, видит ли Яндекс их как дубли. Если Yandex обрабатывает robots.txt правильно, в индексе должны остаться только версии без tracking параметров.
Примеры использования clean-param и чек-лист реализации для вашего сайта
Для каких параметров подходит директива clean-param?
Директива clean-param в robots.txt файле показывает поисковым системам, какие параметры URL не влияют на содержимое страницы. Примеры использования clean-param начинаются с utm-параметров: utm_source, utm_medium, utm_campaign — это параметры для отслеживания трафика, которые не меняют контент. Синтаксис в robots.txt выглядит так: user-agent: * / clean-param: utm_source utm_medium / или применяйте ко всему сайту глобально.
Идентификаторы сессий (sessionid, sid, userid) требуют отдельной директивы clean-param в файле robots.txt: clean-param: sessionid sid /account/. Параметры e-commerce (sort, pn — номер страницы, p1, p2 для фильтров) указывают в clean-param отдельно: clean-param: sort pn order /catalog/. Параметры форумов (поисковый параметр s, параметр t для темы, ref для referrer) добавляют в clean-param: clean-param: s t ref /forum/. Использование clean-param в robots.txt экономит краулинговый бюджет робота поисковых систем.
Как проверить clean-param в поисковых консолях?
Google Search Console предоставляет инструмент инспекции URL для проверки, распознаёт ли система clean-param из robots.txt. Используйте поле инспекции Search Console: введите URL с параметром (пример: example.com/page?utm_source=google&utm_medium=email) и посмотрите, как обрабатывает эту страницу система. Если clean-param работает правильно, консоль выведет, что параметр игнорируется. Для Яндекса используйте инструменты Yandex Webmaster: смотрите отчёты об индексировании, где видны обнаруженные и индексированные страницы. После правильной настройки clean-param в robots.txt количество дубликатов параметров должно снизиться значительно. Используйте логи краулования робота (проверьте user-agent: Googlebot и user-agent: Yandex в логах сервера) для анализа частоты посещений URL с параметрами. Проверяйте результаты clean-param через Search Console и Yandex Webmaster регулярно.
Что проверить при внедрении clean-param?
Шаг 1: определите параметры на вашем сайте через логи сервера и Google Analytics — выделите те, что не меняют основной контент страницы. Шаг 2: отредактируйте файл robots.txt в корне вашего сайта, добавьте новые директивы clean-param. Шаг 3: используйте правильный синтаксис: перечисляйте параметры через пробел в clean-param, указывайте путь или / для всего сайта. Шаг 4: примеры синтаксиса: clean-param: utm_source utm_medium / (глобально), clean-param: s t /forum/ (для форумов), clean-param: sort pn /shop/ (для сайта e-commerce).
Шаг 5: критически проверьте — не включайте параметры, меняющие содержимое страницы (ID товара, активные фильтры). Шаг 6: загрузите robots.txt на сервер, используйте Google Search Console и Yandex Webmaster для проверки распознавания clean-param. Смотрите логи краулования и убедитесь, что робот обрабатывает clean-param правильно. Результат: уменьшение дубликатов в индексе, экономия краулингового бюджета.