Как сделать правильный robots.txt и что это такое?

Здравствуйте, дорогие читатели моего блога nazyrov.ru! Сегодня я хотел бы рассказать о том как сделать правильный robots.txt, и что это вообще за штука.

Файл robots.txt всегда должен располагаться в корневой директории по адресу — http://ваш сайт/robots.txt

Этим файлом ни в коем случае не стоит пренебрегать. Роботы поисковых систем ориентируются на сайте в первую очередь по нему.

Так для чего же вообще нужен этот файл? В robots.txt прописываются определенные правила, которые запрещают индексировать страницы, файлы и папки, не содержащие нужной информации. Это такие папки, как wp-admin, wp-includes, которые необходимы для работы движка. А так же страницы, содержащие дублированный контент – архивы, архивы меток, рубрики, ленты новостей RSS и прочая ерунда.

Дублированный контент, это вообще отдельная большая тема, о нем уже немало написано в интернете. Не буду на этом останавливаться подробно, внизу статьи есть ссылка, перейдя по которой можете более детально ознакомиться с различными дублями, которые тормозят сайт. Информация проверена, работает 100 %.

Кроме вышеперечисленных файлов и папок, в robots.txt необходимо закрывать все страницы, содержащие большое количество исходящих ссылок, скриптов и страницы не содержащие какой-либо нужной информации.

Настройка robots.txt

Я считаю, что при создании файла robots.txt нужно прописывать 3 директивы для разных поисковых роботов — для Google, Яндекс и остальных роботов.

Конечно, можно было бы задать одно правило для всех, но как показывает практика, отечественная и западная поисковая система во многих вопросах никак не придут к соглашению.

К примеру, если закрыть доступ Гуглботу к скриптам и CSS,то он упорно не будет видеть что блог адаптирован к мобильным, а для Яндекс открытие этих файлов в роботс может наплодить немало дублей страниц. Сейчас Яндекс тоже начинает индексироватьCSS, но пока все на стадии тестирования и неизвестно сколько это тестирование продлится.

Для блогов, использующих движок WordPress я бы рекомендовал использовать следующий robots.txt (я сам его использую):

User-agent: *  Disallow: /cgi-bin  Disallow: /wp-admin  Disallow: /wp-includes  Disallow: /wp-content/plugins  Disallow: /wp-content/cache  Disallow: /wp-content/themes  Disallow: */trackback  Disallow: */feed  Disallow: /*?  Disallow: /author/  Disallow: /transfers.js  Disallow: /go.php  Disallow: /xmlrpc.php    User-agent: Yandex  Disallow: /cgi-bin  Disallow: /wp-admin  Disallow: /wp-includes  Disallow: /wp-content/plugins  Disallow: /wp-content/cache  Disallow: /wp-content/themes  Disallow: */trackback  Disallow: */feed  Disallow: /*?  Disallow: /author/  Disallow: /transfers.js  Disallow: /go.php  Disallow: /xmlrpc.php  Host: nazyrov.ru    User-agent: Googlebot  Allow: *.css  Allow: *.js  Allow: /wp-includes/*.js  Disallow: /cgi-bin/  Disallow: /wp-admin/  Disallow: /wp-includes/  Disallow: /wp-content/cache  Disallow: */trackback  Disallow: */feed  Disallow: /author/  Disallow: /transfers.js  Disallow: /go.php  Disallow: /xmlrpc.php  Disallow: /*?  Sitemap: /sitemap.xml  

Сейчас я объясню, что это все означает.

Директива User-agent:

Содержит название поискового робота. Если прописывается robots.txt для всех роботов, то нужно поставить звездочку: User-agent: *.Если допустим сообщение предназначено исключительно для поисковой системы Яндекс, то прописываем:
User – agent: Yandex.

Директива Disallow:

Означает запрет индексирования чего-либо. Если вы хотите полностью запретить индексировать сайт, то достаточно прописать в файле robots.txt следующее:

User-agent: *  Disallow: *

Директива Host:

Здесь прописывается ваш домен с www.sait.ru или просто sait.ru

Директива Host обязательно должна присутствовать для робота Яндекса. Она указывает на главное зеркало.

Директива Sitemap:

Здесь нужно указать ссылку на карту сайта XML. О том, как ее сделать я писал в статье – как сделать карту сайта на WordPress.

Директива Allow:

Эта директива, наоборот показывает поисковому роботу, что данный раздел необходимо индексировать.

Я описал лишь основные директивы и спецсимволы, необходимые для простого сайта или блога. Но если страницы вашего сайта содержат какие-то динамические параметры – рефереров, идентификаторы сессий, то для этого можно использовать дополнительные директивы, которые рекомендует Яндекс. Подробнее можете увидеть по ссылке: http://help.yandex.ru/webmaster/controlling-robot/robots-txt.xml

Юзер агенты поисковых систем для файла robots.txt

У каждой поисковой системы есть свои юзер агенты, отвечающие за определенную часть контента. Один агент отвечает, за изображения, второй за мультимедию и так далее.

Добавление их в файл robots.txt может расширить его возможности. Например, вы хотите запретить индексировать все изображения на сайте поисковому роботу яндекса. Для этого достаточно прописать:

User-agent: YandexImages  Disallow: /wp-content/uploads/

Для поисковой системы Яндекс, существуют следующие юзер агенты:

Yandex — все роботы поисковой системы яндекс.
YandexBot — основной индексирующий робот яндекса
YandexMedia — робот мультимедийных данных;
YandexImages — индексирующий Яндекс.Картинки;
YandexDirect — робот, индексирующий страницы, участвующих в Рекламной сети Яндекса;
YandexBlogs — робот поиска по блогам, индексирующий комментарии постов;
YandexNews — робот Яндекс.Новостей;
YandexPagechecker — робот, обращающийся к странице при валидации микроразметки;

А для поисковой системы Google следующие:

Googlebot – веб поиск Google;
Googlebot-News – робот Google новостей;
Googlebot-Images – робот Google – картинок;
Googlebot-Video — робот мультимедийных данных;
Googlebot-Mobile – робот индексирующий оптимизацию под мобильные устройства;
Googlebot-AdSense — робот, страницы, участвующих в сети AdSense;
Adsbot-Google – проверка качества целевой страницы и отсутствие копипаста.