SEO
Robots.txt e Sitemap
- robots
- sitemap
- seo
Analise robots.txt e sitemap.xml de um site: regras de rastreamento, URLs indexáveis e avisos.
Busca robots.txt e sitemap na raiz do domínio (ou via Sitemap: declarado) e interpreta regras, URLs e possíveis problemas.