- Definição
- robots.txt: robots.txt é um arquivo de texto no endereço /robots.txt do site que diz aos robôs de busca e de IA quais páginas eles podem ou não visitar. É o primeiro lugar que um robô educado consulta antes de entrar.
Como funciona
O robots.txt é um arquivo de texto simples que mora sempre no mesmo lugar: https://suaempresa.com.br/robots.txt. Antes de ler qualquer página, um crawler bem-comportado baixa esse arquivo e confere o que pode acessar.
O arquivo é organizado em grupos. Cada grupo começa dizendo a quem se dirige, com a linha User-agent, e depois lista o que está liberado (Allow) e o que está proibido (Disallow). As regras seguem um padrão público, a RFC 9309, publicada em 2022.
User-agent: GPTBot
Disallow: /
User-agent: *
Allow: /
Nesse exemplo, o GPTBot, robô da OpenAI, está proibido de ler o site inteiro, e todos os outros estão liberados. Um detalhe importante do padrão: quando várias regras servem para o mesmo endereço, vale a mais específica, a de caminho mais longo. Se houver empate, Allow ganha.
Por que importa para o seu negócio
Este é, de longe, o erro mais caro que encontramos. Muitos sites bloqueiam robôs de IA sem que o dono saiba: um plugin de segurança que veio configurado assim, um tema que trouxe um robots.txt pronto, uma decisão de anos atrás de “bloquear robôs estranhos”, ou um serviço de proteção que passou a barrar robôs de IA automaticamente.
O resultado é silencioso. O site continua funcionando para as pessoas, continua no Google, mas o ChatGPT, o Perplexity ou o Claude não conseguem ler nada. Na hora em que alguém pergunta por uma empresa como a sua, você simplesmente não entra na conversa.
Cada assistente usa robôs diferentes, com nomes diferentes. Liberar um não libera os outros. A lista completa, com o que cada um faz, está na página de robôs de IA.
Um exemplo
Um restaurante contratou uma agência que, há alguns anos, colocou no robots.txt uma lista de robôs “que só gastam banda”. Na lista estavam o GPTBot e o CCBot. Ninguém mais lembrava disso. Quando o dono perguntou ao ChatGPT sobre restaurantes do seu tipo na cidade, o dele não aparecia, e o assistente não tinha nenhuma informação atual sobre o cardápio.
Bastou apagar duas linhas do arquivo. Não houve troca de site, de plataforma ou de hospedagem.
Como o Mecita olha para isso
O robots.txt é a primeira checagem do diagnóstico e uma das que mais pesam. O Mecita lê o arquivo do seu site, aplica as regras do padrão para cada robô de IA que verificamos e diz exatamente quem está bloqueado. Se um dos robôs essenciais estiver bloqueado, a nota trava na faixa vermelha, não importa o resto. Os detalhes estão nas checagens. E se o arquivo não puder ser lido, a gente avisa: não dizemos que está tudo certo sem ter conferido.
Perguntas frequentes
Se eu não tiver robots.txt, o que acontece?
Os robôs entendem que podem visitar tudo. Não ter o arquivo não bloqueia ninguém. O problema costuma ser o contrário: um arquivo que bloqueia mais do que deveria.
O robots.txt impede alguém de copiar o meu site?
Não. Ele é um pedido, não uma tranca. Os robôs das grandes empresas respeitam, mas um robô mal-intencionado pode simplesmente ignorar. Para proteger conteúdo de verdade, é preciso senha ou bloqueio no servidor.
Faltou algum termo? Veja o glossário completo.