О да, блог будет отлично индексироваться и без robots.txt и скорее всего первый пост попадет в индекс шустрого Гугла уже через 3-5 часов. Но что повлечет за собой такая индексация впоследствии, вот в чем загвоздка. Последствия могут быть весьма плачевными, особенно для тех, кто потом в дальнейшем войдет в курс дела и поймет, что заранее не создав robots.txt получил кучу дубликата блога.

Для чего нужен robots.txt? При обращении поисковых ботов к блогу да и к сайту в частности, первым делом происходит сканирование на наличие этого файла, если таковой отсутствует блог будет все равно проиндексирован, но нужно ли это?

Файл robots.txt необходим не для управления поисковыми ботами, а для некоторого направления в индексации, говорящий им о том, что нужно индексировать, а что нет. Он ставит команду на запрет сканирования и занесения в базу поисковика некоторых нежелательных директорий блога.

Основная проблема при работе с WordPress, заключается в большом количестве дубликатов контента, который он создает. Под разными URL адресами на блоге можно найти один и тот же контент, что рассматривается поисковой системой как дубликат и она начинает постепенно применять к блогу свои фильтры. Сюда можно отнести адреса: рубрик, категорий, тегов, RSS канала, запросов через поиск и еще массу ненужных для внесения в базу поисковика адресов – входа в панель администрации WordPress и административную папку в целом.

Чтобы решить проблему дубликатов контента, естественно необходимо создать robots.txt для блога WordPress. У каждого он может быть свой в зависимости от названия папок в корневой части блога и смотря, что Вы хотите срыть от поисковых ботов. Приведу лишь пример файла, который использую на своем блоге. Путем некоторых экспериментов у меня вышел следующий robots.txt, который я считаю наиболее эффективным для WordPress:

User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /wp-includes/
Disallow: /xmlrpc.php
Disallow: /wp-admin
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /tag/
Disallow: /page/
Disallow: /trackback/
Disallow: /feed/- запрет фида канала RSS
Disallow: /comments/– данную строку указывать, если хотите запретить комментарии
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?feed=
Disallow: /?s=
Disallow: /*?*
Disallow: /*?
Sitemap: http://megasoft.3dn.ru/sitemap-forum.xml (пример)- карта блога

User-agent: Yandex – команды поисковому боту Яндекса
Disallow: /cgi-bin/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /wp-includes/
Disallow: /xmlrpc.php
Disallow: /wp-admin
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /tag/
Disallow: /page/
Disallow: /trackback/
Disallow: /feed/– запрет фида канала RSS
Disallow: /comments/ – данную строку указывать, если хотите запретить комментарии
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?feed=
Disallow: /?s=
Disallow: /*?*
Disallow: /*?
Host: seocekret.ru- адрес хоста, которым нужно исключить зеркала для Яндекса с www

Строки которые не расписаны в объяснении, думаю и так можно догадаться, что они запрещают. Хочу лишь обратить особое внимание на запрет *?* и *? – данная команда даст роботу запрет на индексацию динамических адресов блога, которые обычно по умолчанию создаются при написании постов, и если у Вас URL адреса страниц имеют именно такой вид со знаком вопроса, то обязательно исключите эти команды из файла robots.txt.

Если на блоге Вы используете вид статических адресов, например http://megasoft.3dn.ru/blog/ (пример), формируя их с помощью плагина, то оставьте все как есть. Создать robots.txt довольно просто – достаточно открыть блокнот и скопировать в него вышеуказанные строки, затем сохранить файл с расширением txt. После чего залейте его в корневой каталог блога, через FTP или непосредственно с панели хостера управления блогом.