User-agent: Yandex
Allow: / #разрешает индекс всего сайта
Allow: /cgi-bin/news #разрешает индекс всего что начинается с '/cgi-bin/news'
Allow: /cgi-bin/faq #разрешает индексировать все что начинается с '/cgi-bin/faq'
Disallow: /cgi-bin #запрещает все что начинается с '/cgi-bin', кроме разрещенных