Для улучшения полноты и качества индексации сайтов в интернете, поисковая компания Яндекс вводит существенную инновацию – отныне поисковые роботы больше не будут учитывать незаполненную директиву Allow в качестве запрещающей команды в файле Robots.txt.
Нередко забывчивые или некомпетентные веб-мастера забывают корректно оформлять директиву Allow, в результате чего робот-индексатор при попытке обхода сайта наталкивается на полное запрещение посещения веб-страниц.
- User agent: *
- Allow:
В прежней интерпретации команд такого рода правило рассматривалось как полный запрет на индексацию сайта. Обычно администраторы сайтов при сознательном намерении запретить обход страниц сайта индексирующими роботами производят более четкое оформление директивы.
Чтобы избежать случайных ошибок и не очевидных проблем сайтов с индексацией в Яндексе, поисковая компания приняла решение внести изменения в правила интерпретации команды Allow. При обнаружении незаполненной директивы роботы ее просто игнорируют.
Отныне, чтобы ввести полный запрет на индексацию, необходимо применить другую директиву с корректным оформлением:
- Disallow: * либо Disallow: /
Новшество можно считать полезным для веб-мастеров и администраторов сайтов. Повышение требований к настройке команд в файле, управляющем поисковыми роботами, должно привести к снижению частоты случаев проблем с индексацией сайтов по причине ошибок и небрежностей.
Чтобы проверить, соответствуют ли реальные параметры индексации проекта намерениям администратора, необходимо обратиться к инструментам в Яндекс. Вебмастере. Рекомендуется обращать более серьезное внимание на наличие пустых значений в командах, которые могут быть интерпретированы поисковыми роботами как запрещение индексации.
