Подскажите правильный ли robots.txt ??? - Форум о поисковых системах и социальных сетях

Страница 1 из 1
1

Подскажите правильный ли robots.txt ???

parwww

Среда, 21.09.2011, 20:32

Проверенный

Сообщения: 186

Репутация: 100

Подскажите правильный ли robots.txt ???
У меня появились сомнения на счёт правильности!
В каких строчках запрещает,а в каких позволяет индексировать?

User-agent: Yandex
Disallow: /engine/go.php
Disallow: /user/
Disallow: /newposts/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /addnews_rules.html
Disallow: /engine/dude/index/leech_out.php
Host: clips.portalkachka.ru

User-agent: *
Disallow: /engine/go.php
Disallow: /user/
Disallow: /newposts/
Disallow: /statistics.html
Disallow: /addnews_rules.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /engine/dude/index/leech_out.php
Sitemap: http://clips.portalkachka.ru/sitemap.xml

Пост отредактировал parwww - Среда, 21.09.2011, 20:33

Профиль

Risk

Среда, 21.09.2011, 22:37

Проверенный

Сообщения: 1635

Репутация: 3190

запрещай то что не хочешь видеть в индексе, все дубликаты страниц и прочий мусор

Персональный блог манимейкера - Пишу свои мысли и опыт о максимальном заработке в сети.
Мой доход в сети от $400 в неделю.
Что есть «Поведенческие факторы» и как их улучшить? - Жми "WWW"

Профиль

parwww

Среда, 21.09.2011, 22:54

Проверенный

Сообщения: 186

Репутация: 100

Risk - а за что отвечает файл /engine/go.php ?
И я поставил запрет на файл /engine/dude/index/leech_out.php так как стоит модуль dude-smart-leech для закрытия внешних ссылок, правильно ли я сделал?

Добавлено (21.09.2011, 22:54)
---------------------------------------------
У меня в гугле стоит запрет для страницы http://clips.portalkachka.ru/engine/go.php?url=L2luZGV4LnBocD9kbz1wbSZhbXA7ZG9hY3Rpb249bmV3cG0%3D
Это что такое?

Профиль

Подскажите правильный ли robots.txt ???

Страница 1 из 1
1