Создание файла robots txt для WordPress — отличный роботс

Рубрика: Блогинг
как-настроить-robotstxt
Автор:
Дата:

Доброго времени суток, ребята! На связи Максим, с материалом о невероятно важном файле robots txt, который должен присутствовать практически на каждом блоге и сайте, так как без него, продвижение практически невозможно. В этот раз, мы без лишних прелюдий начнём разбирать основные вопросы поста. Даже не стану рассказывать о своих событиях в жизни, к сожалению, ничего интересного со мной сейчас не происходит и, вообще, меня засосала рутина.

Зачем нужен robots.txt

Начнём с назначения этого, казалось бы, невзрачного текстового файлика, чья значимость далеко не преувеличена. Итак, файл robots.txt – это обычный текстовый файл (создаётся с помощью блокнота), расположенный в корневой директории сайта, в котором прописываются специальные инструкции для роботов поисковых систем. Эти записи способны запрещать или, наоборот, позволять поисковикам индексировать отдельные страницы и разделы сайта (блога).

Представьте, будто ваш сайт – это уютная квартирка, в которой есть несколько комнат. Хотя нет, квартиры будет мало, так что представим дом, где полно самых разных помещений приватного характера (только для хозяев): спальня, кладовки, чердак со складом всякой утвари, комната с сейфом и так далее. И все эти помещения в доме, должны быть доступны только хозяевам, но не гостям.

Я полагаю, вы поняли, о чём я говорю?! Дело в том что, на вашем блоге имеются такие пространства, которые не должны видеть роботы (гости), то есть, мы прячем всё не подходящее для их глаз и открываем только нужные блоки, разделы. Именно это является нашей задачей, вернее файла robots.txt – открыть доступ к одним разделам и закрыть к другим.

Ещё одна функция — устранение в поисковой выдаче яндекс и гугл дублированного контента. Если принять во внимание, что анонсы постов в архивах и рубриках будут одинаковы, то роботы могут проиндексировать то и другое, или иногда путаться, не зная какой материал нужно проиндексировать. В общем, если мы закроем одни страницы и разделы и откроем другие, то роботы со стопроцентной гарантией будут знать, что необходимо показывать в поисковых системах.

Читайте также:  Проверка внешних ссылок ведущих на сайт в сервисе Ahrefs

Создание файла

Создание файла robots txt и настройка для wordpress, производится в обычном текстовом документе формата txt. Затем, в него заносятся различные данные, которые мы сейчас и рассмотрим на примере моего файла. Кстати, рекомендую использовать его, так как считаю, что он является наиболее правильным.

  1. User-agent: * — с помощью этой директивы прописываются имена роботов, для которых станут действовать следующие за ней правила. В данном случае, звёздочка разрешает всем роботам действовать по правилам, которые располагаются чуть ниже.
  2. Disallow: /wp-admin – директива disallow запрещает индексацию каких-либо разделов, где прописываются элементы сайта, которые не должны попасть к поисковым роботам. В нашем случае, мы запрещаем к индексации папку с административными файлами блога.
  3. Disallow: /wp-includes — запрет на индексацию папки со служебными библиотеками.
  4. Disallow: /wp-content/plugins – запрет для папки с плагинами.
  5. Disallow: /feed/
  6. Disallow: */feed
  7. Disallow: */trackback
  8. Disallow: */comments
  9. Disallow: /*?
  10. Disallow: /*?* — с пятого по десятый пункт, мы запрещаем индексацию различных url адресов, которые могут привести к образованию дублей страниц.
  11. Disallow: /tag – запрещает индексировать метки на сайте.
  12. Host: ваш блог.ru – здесь необходимо прописать адрес вашего сайта без www и http.
  13. Sitemap: http://ваш блог.ru/sitemap.xml – данный пункт даёт ответ на вопрос о том, как прописать sitemap в robotstxt. Не забывайте, что здесь необходимо добавить http, но без использования www.

В целом «роботс» для моего блога выглядит так:

  • User-agent: *
  • Disallow: /wp-admin
  • Disallow: /wp-includes
  • Disallow: /wp-content/plugins
  • Disallow: /feed/
  • Disallow: */feed
  • Disallow: */trackback
  • Disallow: */comments
  • Disallow: /*?
  • Disallow: /*?*
  • Disallow: /tag
  • Host: pay-day.ru
  • Sitemap: http://pay-day.ru/sitemap.xml

Куда загружать robots.txt

После создания правильного файла, его необходимо загрузить на ваш хостинг в корневую директорию сайта. На своём примере покажу его местонахождение:

Читайте также:  Как сделать иконку для сайта онлайн за 11 минут не напрягаясь

местоположение файла роботс на нашем хостинге
Кстати, в случае надобности, вы всегда можете редактировать его прям в менеджере файлов, на своём хостинге.

После правильной настройки и загрузки файла на хостинг, нам потребуется проверить доступность robots.txt. На примере моего блога, проверяется она следующим образом – я ввожу в строку своего браузера следующий адрес: http://pay-day.ru/robots.txt

проверка роботс в строке браузера

Доступ к файлу работает, значит всё хорошо, теперь можем приступать к работе с блогом и публикациям своих постов.

На всякий случай я решил записать видео на тему поста, для более ясного понимания всех моих действий. А сейчас, мне нужно откланяться и пройтись в магазин – очень уж кушать хочется. Наверное, приготовлю картошку с сыром, луком и майонезом в режиме тушения, в мультиварке. Всего доброго, друзья!

С Уважением, Максим Бойко.

 

Создание файла robots txt для WordPress - это легко! В моём посте, мы всё разберём детально, кроме того настройка файла также не останется незамеченной.

На мою рассылку подписались 9000 человек! Скорей подпишись и получи от меня подарок.

Комментариев к статье: 4

  • Петр Русаков

    Вот эти строки наигрубейшая ошибка:

    Disallow: /*?

    Disallow: /*?*

    Я писал о дублях replytocom в одной из своих статей

    04.11.2015 в 16:08 Ответить
    • Максим

      Не думаю, что это наигрубейшие ошибки. Пока оставлю именно так и посмотрю, как всё работает.

      05.11.2015 в 15:58 Ответить
  • Милена

    А нас на курсах учили просто скопировать и вставить этот роботс, не разобравшись что к чему. Так и не понимала до конца — для чего он нужен)

    04.10.2016 в 10:22 Ответить
    • Максим Бойко

      На каких курсах вы учились?)

      04.10.2016 в 12:00 Ответить

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *