Monte o arquivo robots.txt do seu site definindo regras de acesso para os robôs de busca, sem precisar escrever a sintaxe na mão.