|
robots.txt для DLE
|
|
Воскресенье, 25.12.2011, 21:36
Проверенный
Это правильно составлено?
[spoiler="Google"] [/spoiler]
User-agent: *
Disallow: /engine/go.php
Disallow: /user/
Disallow: /newposts/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /*rss
Disallow: /page/
Disallow: /tags/
Disallow: /*print
Disallow: /ruls.html
Disallow: /favorites/
Disallow: /*do=search
Sitemap: адрес_сайт/sitemap.xml
User-agent: Yandex
Disallow: /engine/go.php
Disallow: /user/
Disallow: /newposts/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /*rss
Disallow: /page/
Disallow: /tags/
Disallow: /*print
Disallow: /ruls.html
Disallow: /favorites/
Disallow: /*do=search
Sitemap: адрес_сайт/sitemap.xml
Host: адрес_сайт |
Пост отредактировал Fortune - Воскресенье, 25.12.2011, 21:37 |
[url=http://megasoft.3dn.ru/forum/96-303754-1]Моя раздача[/url] |
|
Понедельник, 26.12.2011, 11:17
Пользователь
|
Понедельник, 26.12.2011, 17:10
Проверенный
|
Пятница, 30.12.2011, 10:39
Пользователь
А зачем дублировать отдельно для яндекса, если строка User-agent: * означает, что это будет применено ко всем пс?
И может быть ошибка, а может быть и нет, но по умолчанию правила сайта rules.html, а здесь прописано Disallow: /ruls.html. |
|
Вторник, 24.01.2012, 11:32
Пользователь
А вот мой робот txt файл
User-agent: *
Disallow: /engine/go.php
Disallow: /user/
Disallow: /newposts/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
но ешё у меня отдельный от яндекс тхт файл он пустой
http://all-ourfootball.ru вот мой сайт
Я непойму у меня сайт яндексом вообще проиндексирован полностью? |
|
Четверг, 26.01.2012, 11:06
Пользователь
 |
Мой skype azoona465
Моя icq 76668045
Раскручиваю сайты,форумы и.т.д
Пишем не стесняемся. |
|
Четверг, 26.01.2012, 17:47
Проверенный
| Fortune, роботс не плохой, но я бы открыл для индексации "page" и закрыл страницу с архивами "2011" "2012" |
Быть дерьмом может каждый, а реально заставить себя делать что-то могут не все. |
|
Пятница, 27.01.2012, 01:36
Проверенный
Fortune, для Яндекса это все не требуется указывать.
Quote Disallow: /engine/go.php
Disallow: /user/
Disallow: /newposts/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /*rss
Disallow: /page/
Disallow: /tags/
Disallow: /*print
Disallow: /ruls.html
Disallow: /favorites/
Disallow: /*do=search
Достаточно просто прописать User Agent и ниже вставить адрес зеркала сайта.
masterfootball, robots.txt у тебя не полный. |
Пост отредактировал JackBlack - Пятница, 27.01.2012, 01:41 |
|
|
Четверг, 02.02.2012, 01:46
Проверенный
| Немного не полный , я бы еще добавил бы |
|
