User-agent

* Значением этого поля является имя робота, к которому применяются правила доступа;
* Если строк с User-agent несколько, то для всех роботов применяются одинаковые правила, которые содержаться в текущей записи;
* Если значение поля равно «*», то правила применяются к любому роботу, для которого нет отдельной записи. В файле robots.txt может быть только одна запись с User-agent: *.

Disallow

* В записи должно быть хотя бы одно поле Disallow;
* в поле Disallow указывается частичный или полный путь (URL), который не будет посещен;
* пустое значение (Disallow: ) интерпретируется как разрешение на посещение любой страницы;
* регулярные выражения и символы подстановки запрещены3.

P.S. дополнение небольшое к статье автора