Новые правила обработки Яндексом директивы Allow файла robots.txt

596

Сегодня, в полдень, команда поисковика Яндекс опубликовала изменённые правила для обработки директивы Allow которая находится в файле robots.txt.

Этот файл предназначен для управления поведением поискового робота на страницах сайта. Существует возможность задать параметры индексирования сайта не только для всех роботов но и для каждого в отдельности.

Директива Allow используется для разграничения доступа к частям сайта или к нему в целом.

Это представлено в примере:

User-agent: Yandex
Allow: /catalog
Disallow:/
# запрещает всё скачивать, кроме страниц расположенных в '/catalog'

 

На данный момент её необходимо использовать с учётом порядка, поскольку странице сайта могут соответствовать несколько директив, то будет выбрана первая по порядку появления в User-agent блоке. В дальнейшем от учёта порядка для Allow предполагается отказаться в пользу сортировки по длине URL’a и последовательного их применения. Принятие таких мер позволит поисковой системе Яндекс соответствовать международным принципам применения данных директивы для повышения удобства вебмастеров российских так и зарубежных, при составления файла robots.txt.

User-agent: Yandex
Allow: /catalog
Disallow: /
# запрещает скачивать все, кроме страниц
# находящихся в '/catalog'

User-agent: Yandex
Disallow: /
Allow: /catalog
# запрещает скачивать весь сайт

Рекомендуется проверить соответствие использования директив allow и disallow согласно новым требованиям.