Robots.txt

Gerador e validador de arquivo robots.txt para controle de rastreamento.

Regras de Rastreamento

User-agent

Use * para aplicar a todos os bots

Permitir (Allow)

Bloquear (Disallow)

ConfiguraÃ§Ãµes Globais

URL do Sitemap

Crawl Delay (segundos)

Arquivo Gerado

User-agent: *

Sitemap: https://example.com/sitemap.xml

Dicas

â€¢ Salve como robots.txt na raiz do site
â€¢ Use Disallow: / para bloquear tudo
â€¢ Use Allow para exceÃ§Ãµes especÃficas
â€¢ Sempre inclua o Sitemap para melhor indexaÃ§Ã£o
â€¢ Diferentes bots podem ter diferentes regras

← Voltar para Ferramentas

Fique por dentro das novidades

Receba as principais notícias do DigitalTech por e-mail ou WhatsApp.