блин - че никто не может подсказать как прописать робот для Дле??? А ты не нервничай так...
Короче...
User-agent: *
Disallow: /cgi-bin/
Disallow: /admin/
Disallow: /index/
Disallow: /images/
User-agent: * - Эта строка разрешает индексацию всем ПС
Disallow: /cgi-bin/ - Disallow значение,запрещает к индексации.Дальше указываешь что запретить к индексации,в данном примере папка /cgi-bin/.
И в столбик прописываешь что закрыть от индексации,для всех индивидуально...
Можешь ничего не закрывать,т.е. оставить файл robots.txt в таком виде:
User-agent: *
Disallow:
