robots.txt - Форум о поисковых системах и социальных сетях

Страница 1 из 1
1

robots.txt

Angel777

Четверг, 22.04.2010, 13:42

Проверенный

Сообщения: 593

Репутация: 815

Вот создал я этот файл (robots.txt) со следуйщими словами

User-agent: *
Disallow: /cgi-bin/
Disallow: /images/

Но когда я делфю анализ сайта (www.cy-pr.com/analysis/warez67.ru) Мне в самом конце пишет

Robots.txt
Файл robots.txt не найден

Как мне это исправить?

Пост отредактировал Angel777 - Четверг, 22.04.2010, 13:44

[url=http://steamcommunity.com/profiles/76561198024421301][img]http://sig.steamutility.com/detail/abstract/0/0/76561198024421301.png[/img][/url]

Профиль

Angel777

Четверг, 22.04.2010, 14:10

Проверенный

Сообщения: 593

Репутация: 815

Да, спасибо, там показывает! Но возник следуйщий вопрос что означеет вот это

Set-Cookie: dle_hash=dele...in=.warez67.ru; httponly
Set-Cookie: dle_hash=dele...in=.warez67.ru; httponly
Last-Modified: Thu, 22 Apr 2010 05:08:29 GMT

И правильно ли настроен робот?

[url=http://steamcommunity.com/profiles/76561198024421301][img]http://sig.steamutility.com/detail/abstract/0/0/76561198024421301.png[/img][/url]

Профиль

Angel777

Четверг, 22.04.2010, 14:18

Проверенный

Сообщения: 593

Репутация: 815

всмысле robots.tx! будут же его ловить поисковики?

[url=http://steamcommunity.com/profiles/76561198024421301][img]http://sig.steamutility.com/detail/abstract/0/0/76561198024421301.png[/img][/url]

Профиль

Angel777

Четверг, 22.04.2010, 14:47

Проверенный

Сообщения: 593

Репутация: 815

А его поисковики видят(сайт)?

[url=http://steamcommunity.com/profiles/76561198024421301][img]http://sig.steamutility.com/detail/abstract/0/0/76561198024421301.png[/img][/url]

Профиль

robots.txt

Страница 1 из 1
1