Смотри окуратней впишеш что то не то Запретиш индификацию !
Насчёт самого файла Вот конечный вариант который на мой взгляд не содержит ошибок.
Quote
Цитата
User-agent: Yandex
Disallow: /cgi-bin/
Disallow: /templates/
Disallow: /engine/
Disallow: /user/
Host: site.ru
Sitemap: http://site.ru/sitemap.xml
User-agent: Googlebot
Disallow: /cgi-bin/
Disallow: /templates/
Disallow: /engine/
Disallow: /user/
Sitemap: http://site.ru/sitemap.xml
User-Agent: *
Disallow: /cgi-bin/
Disallow: /templates/
Disallow: /engine/
Disallow: /user/
Добавлено (20.05.2009, 23:06)
---------------------------------------------
Ещё вариант
[spoiler="Клик"]Что даёт данный хак?:
1. Хорошую индексацию поисковиками нужных вам страниц
2. Блокировку ненужных страниц для индексации (вы закроете доступ поисковикам для тех страниц - которые не должны появляться в поисковике)
3. Можно создавать зеркала (для Yandex)
Эта комбинация запретит индексировать всем поисковым роботам страницы для печати:
PHP код:
User-agent: *
Disallow: /*print
Уберём из индекса ПС страницы без контента (они всёравно, рано или поздно - все выпадут!):
PHP код:
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /user/
Disallow: /favorites/
Disallow: /index.php?do=register
Disallow: /?do=lastcomments
Disallow: /statistics.html
По моему усмотрению, можно ещё исключить следующие странички:
PHP код:
Disallow: /index.php?do=pm
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?do=addnews
Disallow: /index.php?do=register
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?subaction=newposts
В этот список можете добавить ещё пути к страницам, которые, на ваш взгляд - не должны видеть Поисковые машины!
Теперь добавляем Sitemap для Поисковых систем. Вы наверное прекрасно знаете, насколько он полезен для индексации Вашего сайта?!
Идём в админку >> Другие разделы >> в самом низу заходим в раздел «Google Sitemap». Оставляем все настройки "по умолчанию" и жмём «создать/обновить». Сверху должна появиться надпись вида «09.03.2009 22:21 файл индекса для Google Sitemap был создан и доступен по адресу: http://имя-домена.ru/sitemap.xml». Теперь дадим возможность поисковикам узнать о нём:
Sitemap: http://имя-домена.ru/sitemap.xml
Добавим основное зеркало для Яндекса, чтобы не было недоразумений с его стороны! Идём по следующему адресу: яндекс.ru/yandsearch?serverurl=имя-домена.ru
и смотрим, как проиндексирован Ваш сайт с www или без. Добавляем в robots.txt директиву следующего вида:
PHP код:
User-agent: Yandex
Host: имя-домена.ru
имя-домена.ru, так указываем - если Ваш сайт в индексе ПС без www, и наоборот. Если Ваш сайт ещё не проиндексирован ПС "Яндекс" - тогда указывайте так - как Вам больше нравится видеть Ваш сайт
Правильный robots.txt для ДЛЕ будет выглядеть приблизительно так:
PHP код:
User-agent: *
Disallow: /*print
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /user/
Disallow: /favorites/
Disallow: /index.php?do=register
Disallow: /?do=lastcomments
Disallow: /statistics.html
Sitemap: http://имя-домена.ru/sitemap.xml
User-agent: Yandex
Host: имя-домена.ru
Да, ещё добавлю, ( Disallow: /user/ ) - эту директиву лучше добавлять в robots.txt при создании новых сайтов!
[/spoiler]
Ну знаю но незнаю в каком виде. 
