|
Самый правильный Robots.txt для DLE
|
|
Проверенный
Здравствуйте,выкладываю статью из своего блога.В ней речь пойдет о Robots.txt для DLE.
Сделал я тему на talk.maulnet.ru со своим Robots :
Code User-agent: *
Disallow: /*print
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /user/
Disallow: /favorites/
Disallow: /index.php?do=register
Disallow: /?do=lastcomments
Disallow: /statistics.html
Sitemap: http://сайт/sitemap.xml
User-agent: Yandex
Host: сайт.ру
Шло немного споров,вот те варианты которые предлагались:
Code User-agent: *
Disallow: /*print
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /user/
Disallow: /index.php?do=register
Disallow: /index.php?do=lastcomments
Disallow: /index.php?do=stats
Disallow: /index.php?do=pm
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?do=addnews
Disallow: /index.php?do=register
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?subaction=newposts
Sitemap: http://your.site/sitemap.xml
User-agent: Yandex
Host: your.site Этот оспаривал я,так как строки
Code Disallow: /index.php?do=register
Disallow: /index.php?do=lastcomments
Disallow: /index.php?do=stats
Disallow: /index.php?do=pm
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?do=addnews
Disallow: /index.php?do=register
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Можно заменить одной:
Code Disallow: /index.php?do=
Дальше были еще: Code User-agent: * (всем роботам, в том числе и гугл)
Disallow: /*print (закрываем все версии для печати)
Disallow: /autobackup.php (это им (роботам) не надо)
Disallow: /admin.php (админка им нафиг не нужна, и не надо говорить, что роботы ее не индексируют)
Disallow: /index.php?do= (Закрываем все лишнее - коменты, регистрацию, добавление новостей, статистику, личку, поиск, обратную связь, leech (зашифрованые внешние ссылки))
Disallow: /page/ (закрываем страницы - повтор кратких новостей)
Disallow: /tags/ (закрываем теги, от них пользы уже никакой практически, только для юзверей)
Disallow: /favorites/ (избранное - нафиг, это только для пользователей)
Disallow: /user/ (все Внешные ссылки домена из профилей - убираем)
Disallow: /2009/ (календарик, архив новостей - нафиг повторение)
Disallow: /2010/ (тоже самое с календариком)
Sitemap: http://сайт/sitemap.xml (показывает где наш сайтмап)
User-agent: Yandex
Sitemap: http://сайт/sitemap.xml (выше писал)
Host: сайт.ру (без слов) Но в конце всех споров мы пришли к единому выводу.И вот он самый правильный Robots.txt для DLE:
Code User-agent: *
Disallow: /user/*
Disallow: */page/*
Disallow: */page,*
Disallow: */print:*
Disallow: *do=*
User-agent: Yandex
Disallow: /user/* # пользователи
Disallow: */page/* # навигация по страницам
Disallow: */page,* # навигация по страницам новостей и комментариев в новостях
Disallow: */print:* # страницы для печати
Disallow: *do=* # убрать, если ЧПУ отключен
Host: site.ru
Решётку и слова что за ней уберите.
|
|
|
Пользователь
| MacLeo, Спасибо большое!!!А загружать в engine? |
|
Заблокированные
| пасибо большое за полезную тему |
Созданию темы бесплатно, оставь заявку на моем сайте.Сайт в профиле! |
|
Четверг, 10.06.2010, 00:03
Проверенный
|
Четверг, 10.06.2010, 01:45
Проверенный
| SuPeRsTaR загружать в корневую папку! ТС слушай у меня с робот проблемка google показал очень много заблокированых страниц для индексации в основном новости это из зи робот.тхт ? я использовал 2 вариант который ты опубликовал! |
|
Четверг, 10.06.2010, 10:58
Пользователь
Спасибо  |
|
Четверг, 10.06.2010, 13:37
Проверенный
)SHPUD(, Пользуйтесь окончательным что я дал.С ним проблем не будет.
qwerty11, да для uCoz выкладывали уже,он отличается от стандартного тем что добавляется Host  |
|
|
Четверг, 10.06.2010, 13:39
Проверенный
| спасибо! |
Отзывы: http://megasoft.3dn.ru/forum/11-196583-1767503-16-1281350105
http://s39.radikal.ru/i086/1008/99/864862133f18.jpg |
|
Четверг, 10.06.2010, 13:43
Проверенный
| СеоШник, пожалуйста,пользуйтесь на здоровье |
|
|
Четверг, 10.06.2010, 13:44
Проверенный
MacLeo, вы то правильно сделали но все же если смотреть с целью монетизации сайта то календарь обратную связь и кое что ещё где содержатся ссылки не закрывал от индексации так как с этих страничек тоже можно продавать ссылки зачем же тогда запрещать индекс их???  |
Используйте возможность купить копии часов мировых брендов по низким ценам. Копии таких известных марок, как Chanel, Gucci, Patek Philippe, Rolex, Calvin Klein, Hublot и другие популярные марки часов. www.Chasiki.in.ua - цените свое время! |
|
Четверг, 10.06.2010, 13:45
Проверенный
| kagan, Robots делался для улучшения индексации сайта, а не для монетизации |
|
|
Четверг, 10.06.2010, 13:48
Проверенный
MacLeo, Самого правельного не существует.
Для каждого индивидуальный. |
Пост отредактировал TextBuy - Четверг, 10.06.2010, 13:49 |
|
Четверг, 10.06.2010, 13:50
Проверенный
MacLeo, да я не спорю монетизация то вообще отдельная ветка одно с другим связано плохо когда у тебя много страниц в индексе наверное нет
чтобы была хорошая индексация странички должны быть не дальше 2-3 ликов от морды тогда вероятно все попадут в индекс |
Пост отредактировал kagan - Четверг, 10.06.2010, 13:50 |
Используйте возможность купить копии часов мировых брендов по низким ценам. Копии таких известных марок, как Chanel, Gucci, Patek Philippe, Rolex, Calvin Klein, Hublot и другие популярные марки часов. www.Chasiki.in.ua - цените свое время! |
|
Четверг, 10.06.2010, 13:56
Проверенный
| kagan, верно вы все говорите.Я предложил то что мы считаем самым верным, а кому не нравится пускай делают другой. |
|
|
