User-agent: *
# основное зеркало
Host: www.arg.com.ru
User-agent: Yandex
Disallow:
Host: arg.com.ru
# разрешаем сканить всё
Allow: /
# кроме
Disallow: /*.tpl
Disallow: /*.html
Disallow: /src
Disallow: /cgi-bin
Disallow: /htdocs
Disallow: /tmp
Disallow: /logs
Disallow: /logs.old