Полные дубли сайта

Поисковики борются за уникальность и поощряют сайты с оригинальным контентом. Но при неправильной технической настройке даже авторские тексты и картинки могут задвоиться. Есть несколько способов поиска полных дублей сайта и решение для каждого случая.
Оглавление

• Дубль с www и без www
• Дубль со слешем и без слеша на конце
• Дубль со слешем и с суффиксом
• Дубль на тестовом или старом поддомене
• Выводы

Полные дубли – такие копии ресурса, при которых одна страница публикуется и индексируется по двум и более адресам (URL). Такие сайты даже при оригинальном наполнении попадают под фильтры и не могут достичь вменяемых показателей посещаемости.

Дубль с www и без www

Первая ошибка – доступность сайта по адресам с www и без www.


Проблема решается тремя способами. Во-первых, в настройках сервера (для апача – в файле .htaccess) указывается постоянная переадресация (301 Redirect) с дубля на основной домен. Какой выбрать, с www или без www – не принципиально, но поисковики предпочитают второй вариант.
К слову, SEO-специалисту необязательно работать с этим файлом. Как правило, задачу поручают программисту. Но оптимизатору будет в плюс, если он справится с парой строчек кода.
Во-вторых, в настройках панели вебмастера укажите предпочтительный адрес. В Яндексе: перейдите в кабинет управления сайтом, далее Настройки индексирования – Переезд сайта.

В Гугле: добавьте оба зеркала сайта (с www и без www). Зайдите в представление сайта, далее «Панель инструментов», нажмите шестеренку в правом верхнем углу. Выберите пункт «Настройки сайта».

Третий способ – указать директиву Host в файле robots.txt. Эту директиву читает только Яндекс.
К оглавлению

Дубль со слешем и без слеша на конце

Еще один полный дубль появляется, если индексируются адреса со слешем (косой чертой) и без слеша на конце. Убирают такие дубли в настройках файла .htaccess. По вкусу выбираем основной вид и с дубля настраиваем 301 редирект.

К оглавлению

Дубль со слешем и с суффиксом

При неправильной настройке CMS каждая новая страница может появляться в двух видах, например, у основной на конце будет слеш, а у дублированных суффиксы: .php, .html, .htm.


Лечим двумя способами.
Первый – решаем проблему в корне, перенастраивая CMS. Это долго и иногда дорого, зато эффективно.
Второй – опять обращаемся к файлу .htaccess и прописываем директиву, согласно которой все страницы с суффиксами будут автоматически перенаправляться на страницы без суффиксов или наоборот, если так больше нравится. Но в этом случае есть риск, что попадут нужные для индекса страницы или попадут не все лишние.
К оглавлению

Дубль на тестовом или старом поддомене

Домены третьего уровня вроде test.site.ru, old.site.ru и т.д. тоже потенциально опасны. Обязательно проверяйте, чтобы служебная и устаревшая информация была закрыта от индексации. Все исправляется в файле robots.txt соответствующего поддомена.
Как закрыть сайт от индексации, в статье о директивах файла robots.txt.
К оглавлению

Выводы

Дубли снижают уникальность сайта и даже при оригинальном контенте могут навлечь санкции.
Основной способ убрать дубли – настроить директиву 301 Redirect в файле .htaccess. Панели вебмастеров позволяют назначить главное зеркало. Дополнительная подсказка для Яндекса – директива Host в файле robots.txt.
Устаревшие и тестовые поддомены закрывают в файлах robots.txt.