"Robots.txt должен создаваться в текстовом формате Unix. Большинство хороших текстовых редакторов уже умеют превращать символы перевода строки Windows в Unix. Либо ваш FTP-клиент должен уметь это делать. Для редактирования не пытайтесь пользоваться HTML-редактором, особенно таким, который не имеет текстового режима отображения кода." Это я прочитал на одном из сайтов. Сам никогда внимания на кодировку не обращал, просто писал в блокноте и всё. Проблем пока не было. Может FTP-клиент умеет превращать символы.
