Правила синтаксиса в файле robots.txt

Синтаксис файла robots.txt определяет, корректно ли роботы прочитают рекомендации веб-мастера и примут ли к сведению информацию о закрытых страницах. Основная информация о правилах синтаксиса содержится в справке панели веб-мастера Яндекса и Гугла.

Оглавление

• Порядок написания директив
• Описание и назначение специальных знаков
• Выводы

Правильный синтаксис в файле robots.txt – гарантия стабильной работы файла и адекватной индексации сайта. Ошибки, наоборот, приводят к индексации служебных и закрытых страниц.

Каждая директива пишется с новой строки. Директивы allow, disallow и clean-param можно повторять, например, если закрывают от индексации несколько папок.

К оглавлению

Порядок написания директив

Директивы пишутся в следующем порядке:

• User-agent;
• Allow, disallow (тут порядок неважен);
• Crawl-delay;
• Остальные (host, sitemap, clean-param и т.д.)

К оглавлению

Описание и назначение специальных знаков

После директивы ставятся двоеточие и пробел, затем указывается адрес папки в виде относительной ссылки (без указания имени домена). Например:

Disallow: /admin

Указывать слеш после названия папки или нет, дело вкуса. Но поисковые роботы не станут заходить во вложенные файлы.

Директивы читаются сверху вниз. Иначе говоря, если веб-мастер указал, что всю папку закрывает от индексации, а чуть ниже один файл открываете – файл будет открыт. Если поменять директивы местами, файл окажется закрыт.

Пустые строки считаются разделительными. Все директивы, касающиеся одного бота (или группы ботов), пишутся строками подряд. Ошибкой будет такая запись:

User-agent: *

Disallow: /admin

Host: http://mysite.ru

В этом случае все пустые строки нужно убрать.

* - символ, который означает «любое количество любых знаков». Пример использования:

Disallow: /*/private

Закрывает все папки и документы второго уровня с именем private, как бы ни называлась родительская папка.

All – «все». Применяет указанную директиву ко всему содержимому сайта. Вместо него можно написать слеш.

Allow: /

Allow: all

Это равнозначные директивы.

$ - конец строки. С помощью этого символа, в частности, закрывают от индексации файлы с определенным расширением:

Disallow: *.pdf$

Директива закрывает от индексации все файлы с расширением .pdf, где бы они ни находились и как бы ни назывались.

Пустое место после директивы трактуется как «ничего». Иными словами, следующая строка закроет от индексации весь сайт:

Allow:

Кстати, ее иногда применяют обиженные веб-мастера к заказчикам, которые задерживают гонорар.

# – решеткой отделяют комментарии. Строки или фрагменты строк после этого знака игнорируются.

К оглавлению

Выводы

Соблюдая правила синтаксиса в файле robots.txt, веб-мастер получает гарантию, что поисковые роботы правильно интерпретируют все команды. Осторожно обращайтесь с пустыми строками и пробелами после директив.

Подробно о правилах настройки файла читайте в справке панели вебмастера в Яндексе и Гугле.