Создаем правильный robots txt для WordPress и зачем он нужен

правильный robots txt для WordPress
http://zarabotattyt.ru/

Здравствуйте, уважаемые читатели блога http://zarabotattyt.ru! Для того чтобы ваш сайт продвигался в поисковых системах Яндекс и Google, вашему сайту просто не обойтись без двух файлов: robots txt и sitemap xlm. Сегодняшнюю статью, я решила посвятить первому, т.е. robots txt и конечно же тому, как правильно его создать. [reclam]Очень часто начинающие вебмастера допускают практически одну и ту же ошибку: они делают ошибку в файле robots txt или вовсе его не составляют. Между тем именно robots txt и sitemap xlm отвечают за индексацию сайта и без них вам никак не продвинутся в поисковиках.

Файл robots txt нужно создавать для того, чтобы поисковые системы Google и Яндекс (именно эти поисковые системы господствуют в Рунете) проиндексировали ваш сайт. Но так как движок сайта далек от совершенства и в наших интересах избежать полной индексации сайта, нам нужно правильно прописать доступность сайта для поисковых систем. Кроме того, в файле robots txt прописывают правила поведения для ботов. Этот файл создается достаточно просто в любом текстовом редакторе, после чего его необходимо разместить в корневой папке на вашем хостинге. Сделать это можно с помощью любого FTP загрузчика (например, Totalcomander)

Остается только привести пример правильного robots txt для WordPress, которым я пользуюсь сама. вы можете скопировать его и отредактировать в любом текстовом редакторе. Вам нужно будет изменить 3 последние строчки, прописав там домен своего сайта.

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Host: zarabotattyt.ruSitemap: http://zarabotattyt.ru/sitemap.xml.gz
Sitemap: http://zarabotattyt.ru/sitemap.xml

Искренне ваша Ирина Орлова

[reclam]

Оставьте комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *