Произошли обновления в инструменте тестирования файлов robots.txt, который находится в Google Webmaster Tools. Пользователи теперь имеют возможность выявить ошибки, мешающие индексации страниц сайта (вот бы такой инструментарий яндексу!), а также проводить редактирование файлов, проверку урлов на блокировку, просмотр старых версий файлов robots.txt
В случае неиндексирования Гуглом страниц или целой части сайта, с помощью тестера robots.txt, который расположен в отделе Индексирование Вебмастера Гугла, вы сможете провести проверку, существует ли проблема в определённом файле robots.txt . Ранее данный раздел носил название Заблокированные URL.
Блог веб-мастеров Гугла сообщает, что теперь изменения проверка могут осуществляться пользователями. Для вступления изменений в силу, необходимо сделать загрузку новой версии файла на сервер.
Сверх всего вышеперечисленного теперь есть возможность для просмотра более ранних версий файла robots.txt, а также вы сможете увидеть время постановки блокировки индексирования. К примеру, в случае обнаружения роботом 500-ой ошибки для файла robots.txt, Гугл как правило останавливает последующую индексацию ресурса.
Джон Мюллер в посте на Гугл плюс, которой посвящён этой новости советует всем проводить проверку robots.txt на ошибки и предупреждения всегда и в случаях даже если вы думаете, что файл идеален.
