Всем привет. Имеется самописный движек блога и поэтому возник вопрос с настройкой robots.txt. Что стоит исключать из поиска ?
Вопрос 1: На страницу выводится 5 записей. В низу есть листалка. Вторая и следующие страницы листалки имеют вот такой url: site.ru/index/5 , site.ru/index/10, site.ru/index/15 и так далее
Стоит ли ставить запрет на индексирование site.ru/index/ ?
Вопрос 2: Категории имеют следующий вид: site.ru/category/1 Стоит ли исключать site.ru/category/ ?
Вопрос 3: Некоторые функции блога работают на аяксе и обращаются к обработчику. url вот такой site.ru/ajax/название_функции
Стоит ли исключать site.ru/ajax/ ?
Вопрос 4: Что делать с комментариями к записям ?
Вопрос 5: Админку, как я понял, тоже нужно исключать ?
Буду благодарен тому, кто ответит на вопросы и поможет составить robots.txt
служебные каталоги, в которых находится админка и т.п., а также страницы, дублирующие контент (когда есть основная страница, а еще похожие страницы с тем же контентом, но другими адресами) остальное закрывать только если тебе не нужно, чтобы оно попадало в индекс
