robots.txt: os robôs de IA conseguem entrar no seu site?

O robots.txt é um arquivo de texto na raiz do site, em seusite.com.br/robots.txt, que diz aos robôs o que eles podem ou não ler. É a primeira coisa que um robô de IA consulta antes de abrir qualquer página. Se ele encontrar ali uma proibição com o nome dele, vai embora sem ler nada, e o assistente que depende desse robô passa a não saber que a sua empresa existe.

É também o defeito mais barato de corrigir: quase sempre é uma linha a menos num arquivo de texto.

/images/checagens/robots-txt-porta.webp

O que o Mecita verifica

O diagnóstico baixa o /robots.txt do seu domínio e lê o arquivo seguindo a norma que define o formato, a RFC 9309. Depois pergunta, para cada robô de IA da nossa lista, se ele pode ler a página inicial (/) do site. A tabela acima mostra os robôs, o que cada um alimenta e quanto custa bloquear cada um.

Três situações são tratadas de forma diferente, de propósito:

• O arquivo não existe (o servidor responde 404 ou 410). Sem arquivo não há proibição, então a checagem passa com a pontuação cheia.
• O arquivo existe e dá pra ler. A gente aplica as regras robô a robô. Quem estiver liberado não custa nada; quem estiver bloqueado tira a parte dele da pontuação.
• O arquivo existe, mas não dá pra ler. Isso acontece quando o endereço devolve um erro, uma página HTML no lugar de texto ou um conteúdo sem nenhuma linha User-agent. Aqui a checagem fica em alerta com metade dos pontos. Sem ler o arquivo, a gente não afirma que está tudo liberado. Se o erro for do servidor (código 5xx), a norma manda os robôs tratarem o site como totalmente proibido até o arquivo voltar; corrija isso antes de qualquer outra coisa.

Esse terceiro caso é a regra mais importante do Mecita: nunca dizer que algo passou quando não deu pra verificar. Um scanner que diz a um site bloqueado que ele está saudável é pior do que não ter scanner nenhum.

Como a leitura das regras funciona

O arquivo é dividido em grupos. Cada grupo começa com uma ou mais linhas User-agent seguidas de linhas Allow e Disallow. Algumas regras da norma que o Mecita segue à risca:

• Linhas User-agent seguidas formam um único grupo. User-agent: GPTBot e User-agent: ClaudeBot em linhas consecutivas, seguidas de Disallow: /, bloqueiam os dois.
• Um robô que tem grupo próprio obedece só a esse grupo e ignora o grupo *.
• Quando mais de uma regra combina com o caminho, vale a mais longa. Se houver empate, Allow ganha.
• Disallow: sem nada depois não proíbe coisa alguma.

Robôs essenciais e a trava da nota

Alguns robôs são essenciais: sem eles, os assistentes mais usados não leem o seu site. Se qualquer um deles estiver bloqueado, a nota final do diagnóstico fica limitada, por melhor que esteja o resto. Pelo peso, bloquear um robô custa poucos pontos nesta checagem. É a trava que faz o bloqueio pesar de verdade, porque um site que o ChatGPT não consegue ler não pode sair do diagnóstico com cara de saudável.

Por que isso importa para os assistentes

Quando alguém pergunta ao ChatGPT, ao Perplexity ou ao Copilot qual padaria abre cedo no bairro, o assistente responde com o que os robôs dele conseguiram ler. Um bloqueio no robots.txt não gera erro, não aparece no painel do site e não derruba as visitas vindas do Google. Ele só faz a sua empresa sumir de um canal inteiro, em silêncio.

Muitos bloqueios não foram decisão de ninguém. Aparecem porque um plugin de segurança adicionou uma lista pronta, porque o tema veio com um arquivo copiado de outro site, ou porque alguém bloqueou "todos os robôs de IA" achando que protegia o conteúdo. Bloquear pode ser uma escolha legítima, mas vale ser tomada de propósito, sabendo o custo: quem não é lido não é citado.

Conheça cada robô em detalhe na página Robôs de IA, começando pelo GPTBot e pelo PerplexityBot.

Como corrigir

O objetivo é simples: nenhuma linha Disallow: / debaixo do nome de um robô de IA que você quer que leia o site. Um robots.txt enxuto e seguro fica assim:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://seusite.com.br/sitemap.xml

Se você quer deixar a intenção explícita, pode listar os robôs de IA com permissão total:

User-agent: GPTBot
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: ClaudeBot
User-agent: PerplexityBot
Allow: /

E o que remover, se aparecer no seu arquivo:

User-agent: GPTBot
Disallow: /

WordPress

O WordPress gera um robots.txt virtual quando não existe um arquivo físico na raiz. Se você usa Yoast SEO, o editor fica em Yoast SEO › Ferramentas › Editor de arquivos. No Rank Math, em Configurações gerais › Editar robots.txt. Confira também se algum plugin de segurança ou de "bloqueio de IA" está adicionando regras, e se a opção de evitar que mecanismos de busca indexem o site, em Configurações › Leitura, está desmarcada.

Wix

O Wix tem um editor de robots.txt nas configurações de SEO do painel. Procure linhas Disallow com nomes de robôs de IA e apague. Se o arquivo tiver só as regras padrão da plataforma, não precisa mexer.

Shopify

A Shopify gera o arquivo automaticamente, e ele só pode ser alterado pelo modelo robots.txt.liquid do tema (Loja virtual › Temas › Editar código). Se esse modelo não existe no seu tema, o arquivo é o padrão da plataforma. Se existe, procure regras extras para robôs de IA.

Nuvemshop

Na Nuvemshop o robots.txt é gerado pela plataforma. Se o diagnóstico mostrar um robô de IA bloqueado, o caminho é abrir um chamado no suporte com o print do resultado.

Next.js e React

No Next.js com App Router, o arquivo nasce de app/robots.ts:

import type { MetadataRoute } from 'next'

export default function robots(): MetadataRoute.Robots {
    return {
        rules: [{ userAgent: '*', allow: '/' }],
        sitemap: 'https://seusite.com.br/sitemap.xml',
    }
}

Num projeto React sem framework (Vite, por exemplo), o robots.txt é um arquivo estático em public/robots.txt.

Site próprio ou servidor com firewall

O robots.txt é só a porta da frente. Firewalls, CDNs e serviços anti-bot podem barrar os robôs de IA antes mesmo de eles lerem o arquivo. Painéis como o da Cloudflare têm opções específicas para bloquear robôs de IA; confira se alguma está ligada. Se o site recusa qualquer visitante que não pareça um navegador, o Mecita mostra isso como um problema à parte, porque barra o GPTBot do mesmo jeito.

Como conferir depois de corrigir

Abra seusite.com.br/robots.txt no navegador. Você deve ver texto puro, não uma página do site. Procure o nome de cada robô de IA e confira que nenhum tem Disallow: /. Depois rode o diagnóstico de novo: a checagem deve ficar verde e, se havia trava, a nota volta a refletir o resto do site.