Как создать файл robots.txt

Управлять доступом роботами поисковых систем к вашему сайту вы можете при помощи файла robots.txt, который должен быть размещен в корневой директории сайта. Если этого файла нет или он имеет не текстовый формат расширения, то это означает, что ни каких ограничений для индексации нет. При этом роботы могут не найти часть ваших страниц, допустим динамических, которые есть в карте сайта "sitemap.xml". При написании файла "robots.txt"регистр символов значения не имеет. Далее расмотрим более подробно каждую дериктиву(строку):

1) Директива User-agent. Это обращение к поисковому роботу в общем или персонально.
# - А после этого символа мы можем писать коментарии в пределах одной строки:
User-agent: Yandex # указания для яндекса
User-agent: * # указания для всех других поисковых роботов.
Это правилиные коментарии

User-agent: Yandex # указания для яндекса
User-agent: * # указания для всех других
поисковых роботов.
Это коментарий неверный, т.к. в 2 строке есть перенос.
Но если обобщить всю информацию об коментариях, то в принципе они не обязательны и использовать их или нет выбирайте сами, ведь вы их пишите только для себя.

Я вам не зря продеминстрировал обращение к двум роботам, дело все в том, что бывают ситуации когда для разных поисковых роботов нужны различные предписания, на пример запретить индексировать часть сайта, тогда и создаются персональные директивы. Так вот первым делом мы обращаемся персонально к определленым роботам:
User-agent: Yandex # например к яндексу
А потом к всем остальным:
User-agent: *
Значек *(кнопки shilft + 8) означает для всех остальных поисковых роботов.

2) Директивы Allow и Disallow служат для запрета или разрешения индексации отдельных каталогов, файлов или всего сайта.

      User-agent: *
      Allow:   #  запретить индексацию
      Allow: / #  разрешить индексацию
      Disallow: # разрешить индексацию
      Disallow: / #  запретить индексацию