Файл robots.txt – текстовый документ в корне сайта, содержащий информацию о страницах сайта и директивы по их обработке. С его помощью закрывают от индексации служебные страницы и техническую информацию.
ОглавлениеRobots.txt – текстовый файл, регулирующий правила индексации страниц на сайте. Кроме того, в нем прописывают информацию о карте сайта в формате .xml и адресе главного зеркала.
С помощью robots.txt можно закрыть от поисковых роботов технические разделы, в том числе дубли. Такие страницы снижают уникальность сайта, а потому в работе над внутренней оптимизацией файл необходим.
Представители поисковых систем утверждают, что файл robots.txt «может быть принят к сведению», то есть риск индексации служебных страниц остается, особенно в случае с Гуглом. Но чаще директивы файла исполняются.
Этот текстовый файл – не единственный способ управления индексацией страниц. О других методах подробнее в других статьях.
Валидация robots.txt
Проверяют файл в панели веб-мастера.
Можно вставить адрес сайта или его содержимое. Инструмент укажет, какие строки читаются, а какие игнорируются.
Частые ошибки
Некоторые веб-мастера перестраховываются и пишут список директив дважды: один раз для всех роботов и отдельно для одного, чаще для Яндекса. Это не совсем верно.
Заходя на сайт, поисковый робот в файле robots.txt сразу ищет директивы, касающиеся его. Если они их находит, то прочие игнорирует.
То есть, если веб-мастер для всех роботов запретил индексацию фильтра и панели администратора, а для Яндекса только указал директиву host, Яндекс проиндексирует весь сайт.
Есть сайты, на которых файла нет или он не настроен. В результате в индекс попадает вся информация, в том числе конфиденциальная. Так, в 2011 году в индекс попал текст СМС-ок, отправленных абонентами «Мегафона» через сайт оператора связи.
Файл располагают не в корне сайта, а во вложенных папках. Это тоже ошибка, ПС его просто не найдут.
В файле не закрывают от индексации весь сайт во время технических работ (например, до запуска). В результате он обрастает плохой кармой: много пустых страниц, непонятные дубли и т.д.
Файл забывают обновить после запуска. В итоге ресурс работает, деньги на рекламу и продвижение тратятся, а трафика нет.
В отдельных статьях рассмотрим синтаксис и основные директивы файла роботс.
Выводы
Файл robots.txt дает поисковым роботам указание, какие документы на сайте индексировать и как часто. Правильная настройка ускоряет обход сайта роботами, исключает из индекса служебную информацию.
В панели вебмастера есть инструмент валидации роботс. После каждого изменения оптимизатор проверяет там файл на ошибки.
Подробно о правилах настройки файла читайте в справке панели вебмастера в Яндексе и Гугле.
Комментариев нет:
Отправить комментарий