Дублированный контент — это любой контент, появляющийся на более чем одном URL: внутри одного сайта (внутреннее дублирование) или на нескольких сайтах (внешнее дублирование через синдикацию или скрейпинг). Документация Google утверждает, что дублированный контент сам по себе не карается, но практический эффект дублирования в том, что Google должен выбрать, какую версию индексировать и ранжировать, нередко распределяя или размывая сигналы, которые были бы сильнее, будучи сосредоточены на одном URL.
Типы внутреннего дублированного контента
Вариации URL с параметрами: Один и тот же контент на нескольких URL из-за параметров отслеживания, идентификаторов сессий, порядков сортировки или параметров фильтрации. /products/?sort=price и /products/?sort=name могут отдавать идентичный контент с разным URL.
Вариации протокола и поддомена: http://example.com vs https://example.com, или www.example.com vs example.com. Должны отдавать один контент через канонизацию или редирект, но иногда не делают этого.
Вариации с завершающим слешем: /about/ и /about — одна страница, доступная со слешем или без. Если оба возвращают 200 без канонизации — это дубликаты.
Пагинация без канонизации: Пагинированные серии (/blog/page/1/, /blog/page/2/), где вводный контент на каждой странице создаёт частичное дублирование.
Версии для печати и мобильные версии: Устаревшие сайты с отдельными URL /print/ или /m/, отдающими схожий контент с основным URL.
Страницы архивов категорий и тегов: Многие CMS генерируют страницы архивов для каждой категории и тега. Публикация в 3 категориях и 5 тегах может быть доступна с 8 разных URL архивов.
Синдицированный контент: Ваш собственный контент, переопубликованный на других платформах без канонической атрибуции.
Решение с каноническим тегом
Тег <link rel="canonical"> — основной инструмент консолидации дублированного контента. Он объявляет, что среди нескольких URL с похожим контентом один является авторитетной «канонической» версией.
<link rel="canonical" href="https://example.com/products/" />
На всех вариантах с параметрами, отсортированных представлениях и комбинациях фильтров, дублирующих канонический URL, указывайте canonical на чистый URL. Google, как правило, уважает canonical, индексируя канонический URL, а не варианты.
Важно: canonical — это подсказка, а не директива. Google может её проигнорировать, если считает указание некорректным. Для случаев, где нужно жёсткое правило, используйте редирект.
Когда использовать редирект вместо canonical
301-редирект: Используйте, когда URL не должен быть доступен напрямую — старый URL не служит никакой цели, кроме перехода к новому. Лучшее решение для http:// → https://, консолидации www → non-www и вариантов для печати/мобильных, которые больше не нужны.
Canonical: Используйте, когда URL имеет ценность для пользователя (например, отсортированный список товаров удобен), но вы хотите, чтобы Google индексировал только каноничную версию. Альтернативный URL продолжает работать и обслуживать пользователей.
Различие: редиректы полностью устраняют дублирующий URL. Канонические теги оставляют оба URL рабочими, консолидируя сигналы поиска.
Noindex для тонкого и почти дублированного контента
Для страниц, генерируемых CMS, но не содержащих значимого уникального контента — страницы архивов тегов, страницы авторов без описания, глубокие страницы пагинации — <meta name="robots" content="noindex, follow"> удаляет их из индекса без перенаправления.
Noindex уместен, когда страница имеет ценность для пользователя (пользователи попадают на неё через навигацию), но не имеет поисковой ценности. Страница продолжает работать; она просто невидима для поиска.
Консолидация: объединение дублирующих URL
Когда два URL независимо накопили внешние ссылки и позиции, редирект со слабого URL на более сильный — самая чистая консолидация. Это объединяет ссылочный капитал обоих в один URL.
Типичные сценарии консолидации:
- Две статьи блога на одну тему, опубликованные в разное время
- Основное руководство и статья «что такое X», существенно перекрывающиеся по содержанию
- Мигрированный URL, на старый вариант которого всё ещё идут некоторые ссылки
Перед консолидацией убедитесь, что контент достаточно похож, чтобы редирект был логичен для пользователей, переходящих по нему.
Выявление дублированного контента
Screaming Frog или аналогичные краулеры: Определят дублированные title страниц, meta descriptions и почти идентичное содержимое. Настройте проверку дублированных тегов <h1> и meta descriptions как прокси для дублированного контента.
Отчёт Coverage в GSC: «Дубликат без выбора пользователем canonical» и «Дубликат, Google выбрал другой canonical, нежели пользователь» — оба сигнала GSC указывают на проблемы с дублированием.
Поиск с оператором site:: Быстрая проверка: site:example.com "точная фраза из статьи" покажет несколько проиндексированных страниц с одинаковым текстом при наличии дублирования.
Аудит canonical: Обойдите сайт и проверьте, что каждая страница либо не имеет canonical (подразумевается самоканонизация), либо имеет canonical, указывающий на живой, неперенаправленный URL.