Помощь

Для этого нужно перейти по ссылке и воспользоваться инструкцией добавления

Для этого существует специальный файл /robots.txt в корневой директории вашего сайта. Он имеет следующую структуру:

User-agent: BigMirSpider
Disallow: /somedir
Disallow: /somedir2


В данном случае для робота с именем BigMirSpider ( так называется робот Bigmir.net) запрещено индексировать все ниже /somedir и /somedir2 (например: http://mysite.com.ua/somedir, http://mysite.com.ua/somedir/somefile.html, http://mysite.com.ua/somedir2), аналогично можно заблокировать конкретный файл.

User-agent: *
Disallow: /somedir
В данном случае для всех роботов запрещено индексировать все ниже /somedir

Опции можно комбинировать разделяя блоки пустой строкой:

User-agent: googlebot
Disallow: /secret


User-agent: Yandex
Disallow: /secret


User-agent: StackRambler
Disallow: /rambler_secret


User-agent: BigMirSpider
Disallow: /bigmir_secret


User-agent: *
Disallow: /

В данном случае для Google и Yandex запрещено все ниже /secret, для Rambler и Bigmir rambler_secret и bigmir_secret соответственно, а для всех остальных запрещено все.