А что, поисковик умеет различать инфу скажем регистрации и онлайн заказа фильмов? В сущности могие сайты используют архивы, хоть в этом и нет нужды.
Ну значит все таки правельно запретить кое-какие вещи к индексации. Например вот скрин (чел запретил некоторые файлы) - http://seointelligent.ru/wp-content/uploads/ok-robots-txt.gif
и нах он их дублирует? Для Яши достаточно прописать хост, а так
Quote
Если обращение происходит абсолютно ко всем поисковикам, то пишем символ звездочку «*», выглядит это так: User-agent: * Если нужно обратиться к роботу Яндекса, то запись будет выглядеть так: User-agent: Yandex
зачем запрещать тоже самое яндексу?
Долги и кредиты не выдаю, "благодаря" пользователю Phenix.
[quote=Ботинок]и нах он их дублирует? Для Яши достаточно прописать хост, а так[/quote] Да че он специально дублирует страницы? Наверное они в процессе работы возникают.
[quote=Ботинок]это ко всему открыто, но это не есть гуд[/quote] Почему? Хост нужно прописать?
[quote=HeadFack]Поставь стандарт да и делов [/quote] Ну так хотелось бы по правилам все сделать)
Пост отредактировал spilberg1993 - Суббота, 25.06.2011, 08:31
nbsp Вот спасибо огромное! Ток 3 вопроса: Почему закрыты категории? У меня же в категориях все статьи практически Зачем закрывать коменты, ведь часто (особенно на форумах именно по коментам находят форум) И что означают вот эта позиция: Disallow: /*?
не правильно. посмотри другие роботсы и сделай вывод
Продаю домены: trackeron.ru georacing.ru snipt.ru vkadr.net forumcs.ru muzvk.ru secretbet.ru djstreet.ru djfiles.ru Продаю шаблон (soft/ucoz). По всем вопросам пишим в личку.
