Robots.txt для WordPress

Добавил Tokito | Опубликовано в Оптимизация, Плагины | Дата: 04-04-2011 |

Как всё происходит чаще всего? Вы выбираете тематику для своего блога на WordPress, собираете материал, заливаете WordPress на хостинг, ищите материал (нанимаете копирайтеров, рерайтеров или пишете материал сами), устанавливаете плагины, настраиваете их, добавляете первые 10 статей. У меня всё именно так происходит, а следующим пунктом идёт создание robots.txt для WordPress.

В данной статье я выложу стандартно-нормальный robots.txt, который размещен на всех моих сайтах. Правильный robots.txt – это первый шаг – первая оптимизация блога на WordPress. Вот так он выглядит:

User-agent: Yandex
Crawl-delay: 5
User-agent: Google
Crawl-delay: 5
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Host: tokito-blog.ru
Sitemap: http://tokito-blog.ru/sitemap.xml

Естественно, адрес tokito-blog.ru нужно заменить на адрес вашего блога.

Немного пояснений robots.txt для WordPress:
Crawl-delay: 5 – эта строчка позволяет немного уменьшить нагрузку на ваш сайт в моменты, когда происходят апдейты поисковых систем, то есть робот не будет бешено лазить по вашему сайту и нагружать его, а с перерывами. По моему личному опыту, отрицательно на сайт или скорость индексации это не сказывается.

Создать robots.txt для WordPress можно как вручную, так и с помощью плагина. Вручную нужно создать текстовый документ robots.txt и в него вставить всё это, а затем залить его в корневую папку, чтобы он мог открываться по адресу http://yourdomen.ru/robots.txt. Я же использую плагин, который автоматом создаёт карту… то есть, практически автоматом. Сначала скачайте плагин, называется он KB Robots.txt (в поиске найдёте), установите стандартным образом и в настройках заполните пустое поле.

Похожие материалы:

Комментарии

Оставлено (3) комментариев в Robots.txt для WordPress

  1. Огромное спасибо за статью, и не только. А за весь материал который есть на вашем ресурсе. Свой сайт собственно и построил на ваших статьях.

  2. Полезная информация, особенно про robots.txt

  3. eed
    Disallow: /comments
    Disallow: */trackbac а почему по два раза то.

Оставить комментарий

20.33MB | MySQL:47 | 0.216sec