Robots.txt host использование в 2021
Использование в файле robots.txt директивы HOST в Яндекс.
Robots.txt — это текстовый файл, который содержит параметры индексирования сайта для роботов поисковых систем.
В марте 2018 года поисковая система Яндекс отказалась от использования директивы Host. Правило можно удалить из robots.txt, но на всех главных зеркалах веб-сайта вместо него нужно поставить 301-й постраничный редирект.
В свете отказа от директивы Host я бы хотел (Яндекс, Платон Щукин) рассказать подробнее о рекомендациях по переезду сайта. Данные рекомендации предназначаются как для переезда на протокол https, так и для переезда на новое доменное имя, поскольку алгоритм будет совпадать.
Директива Host позволяла сохранить доступность старого сайта на период переезда, однако ее использование было также сопряжено с некоторыми неудобствами. Например, необходимо было проверять, что в директиве Host всех зеркал указан один и тот же сайт, иначе переезд мог произойти некорректно. В связи с этим было решено отказаться от использования директивы Host - теперь переезд будет выполняться только при помощи редиректа HTTP-301. Это также упростит совмещение переезда в Яндексе и других поисковых системах.
