Директивы файла robots

Директивы – команды в файле robots.txt. Они служат рекомендациями для поисковых роботов, какие страницы индексировать, а какие пропускать.
Оглавление

• User-agent
• Allow
• Disallow
• Sitemap
• Clean-param
• Host
• Crawl-delay
• Выводы

Директивы – команды в файле robots.txt. На их основе поисковые роботы решают, посещать ли ту или иную страницу.
Каждая директива пишется с новой строки. Основных директив семь, есть и дополнительные, менее распространенные.
NB! Опытные веб-мастера рекомендуют ставить как можно меньше директив в этом файле. Добавляйте каждую новую строку по принципу «семь раз отмерь, а потом еще раз семь раз отмерь».
К оглавлению

User-agent

В этой директиве указывается браузер посетителя. Разумеется, веб-мастеров больше заботят не живые пользователи, а роботы поисковых систем. Как правило, в этой строке указывают all или *, чтобы указать информацию для всех краулеров.
К оглавлению

Allow

Allow в переводе с английского значит «разрешить». Эта директива открывает указанные разделы и страницы для индексации.
По умолчанию все страницы открыты для индексации, поэтому директива используется редко.
К оглавлению

Disallow

Disallow, запретить. Указывает файлы и папки, не подлежащие индексации: панель администратора, стили, скрипты, страницы фильтров и поиска и т.д.
К оглавлению

Sitemap

Карта сайта. Указывает расположение файла sitemap.xml (чаще в корне сайта).
К оглавлению

Clean-param

Директива clean-param закрывает от индексации страницы с параметрами, например, с utm-метками. Иначе говоря, страницы mysite.ru/advertisement и mysite.ru/advertisement?utm_source=yadir&utm_medium=cpc&utm_campaign=advertisement не будут считаться клонами, если написать:
Clean-param: /advertisement
К оглавлению

Host

Host – опциональная директива, ее читает только Яндекс. Указывает адрес главного зеркала сайта (например, с www или без него). Директива читается только с указанием протокола.
В файле указывается только одна директива host. В противном случае вторая и следующие игнорируются.
К оглавлению

Crawl-delay

Директива crawl-delay регламентирует частоту посещений сайта роботами. Все системы, кроме Гугла, принимают к сведению эту директиву.
Crawl-delay: 2
Веб-мастер дает роботам тайм-аут в 2 секунды. Нет гарантии, что они так часто будут посещать сайт, но процесс индексации ускорится.
Если сайт не обновляется так часто, промежуток прописывают больше. У роботов нет чувства юмора, зато они понимают, когда владелец сайта пытается их обмануть.
К оглавлению

Выводы

Все команды в файле robots.txt пишутся директивами, каждая директива пишется с новой строки. Этими командами вебмастера закрывают одни страницы для индексации и открывают другие, указывают рекомендуемую частоту обхода сайта, адрес карты сайта и другие параметры.