seregapinchuk, User-agent: * - * говорит о том что идёт указание для всех роботов поисковых систем:
Disallow: / - говорит о том что не индексировать сайт.
берите стандартный robots.txt.
Code
User-agent: *
Disallow: /a/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat
Disallow: /search
Host: hd-online.moy.su
Sitemap: http://hd-online.moy.su/sitemap.xml
Не знаю если это стандартный или нет но примерно так.
