|
помощь в robots.txt
|
|
Пользователь
вечер добрый ув форумчане, такая ситуация прошу помочь в настройке индексации сайта, зарегистрировал сайт в ЯндексВебмастер и вот такая ситуаци я при запросе с www.site.ru и site.ru
ТИЦ Загружено роботом Страниц в поиске
сайт.ru 202 0
www.сайт.ru 713 96
читал мануал видел что нужно настроить robots.txt, можете помочь его написать чтобы была индексация сайта была только по site.ru и разрешить всем роботам просматривать сайт. |
Пост отредактировал Artzie - Среда, 07.03.2012, 18:58 |
|
Проверенный
Какая CMS ?  |
|
Пользователь
|
Проверенный
Я в uCoz мало понимаю так, как у меня таб был сайт 5 лет назад, уже забыл все. Но по моему вот такой подходящий:
User-agent: *
Disallow: /a/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat
Disallow: /search
Host: http:// тут ссылка на сайт. |
|
Заблокированные
Artzie, У меня вот такой robots.txt:
User-agent: *
Disallow: /a/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat
Disallow: /search
Disallow: /shop/order/
Host: сайт.ру
Sitemap: http://сайт.ру/sitemap.xml
Sitemap: http://сайт.ру/sitemap-forum.xml
Yandex и Google отлично индексируют сайт. |
|
Пользователь
| ок щас проверю, второй вопрос как часто индексируется сайт ботами от поисковоиков? |
|
Четверг, 08.03.2012, 00:29
Проверенный
>> как часто индексируется сайт ботами от поисковоиков?
Это тебе никто не скажет. К каждому сайта - свой подход; если сделать перлинковку, то быстрее будет индексироваться. |
|
Четверг, 08.03.2012, 00:33
Проверенный
Quote (TrustBase) Host: http://
В хост не нужен http:// |
Ира — любовь всей моей жизни.
Привет. Я знаю, ты читаешь это.
22.01.16 |
|
Четверг, 08.03.2012, 08:51
Пользователь
| я так понял если в host указать просто site.ru то и индексироваться сайт будет только по нему? задал я такой вопрос по причине когда я через http://www.cy-pr.com анализирую сайт с www. то он отображает Проиндексированные страницы: Яндекс, а если без www то страниц 0. |
|
