GPTBot: o robô de treino da OpenAI

O GPTBot é o robô que a OpenAI usa para ler páginas públicas da internet e juntar material para treinar os modelos que movem o ChatGPT. Ele é o mais conhecido dos robôs de IA e, por isso mesmo, o mais bloqueado: muita gente copiou uma regra contra ele em 2023 e nunca mais olhou o arquivo.

Quem opera o GPTBot e o que ele faz

O GPTBot pertence à OpenAI. Pela documentação oficial, ele rastreia conteúdo que pode ser usado no treinamento dos modelos de base de IA generativa da empresa. Em outras palavras: o que ele lê hoje pode virar parte do conhecimento geral do ChatGPT nas próximas versões do modelo.

A OpenAI mantém três robôs com funções separadas, e vale entender a diferença:

• GPTBot: coleta para treino dos modelos.
• OAI-SearchBot: monta o índice usado pelas respostas com busca do ChatGPT.
• ChatGPT-User: abre uma página na hora, quando alguém pede isso ao ChatGPT.

Cada um tem o próprio token no robots.txt, então dá para liberar ou bloquear cada um separadamente. A OpenAI também informa que, quando um site libera o GPTBot e o OAI-SearchBot, ela pode aproveitar um único rastreamento para os dois usos, o que diminui as visitas ao seu servidor.

Bloquear o GPTBot tira você das respostas?

Não da busca do ChatGPT, segundo a própria OpenAI. O que decide se o seu site aparece com link nas respostas com busca é o OAI-SearchBot.

Mas bloquear tem um custo real. Quando alguém pergunta algo ao ChatGPT e ele responde sem fazer busca, a resposta vem do que o modelo aprendeu no treino. Se o seu site nunca entrou nesse material, o modelo sabe menos sobre a sua empresa, o seu bairro e o que você vende. Para um negócio pequeno, que depende de ser lembrado, é um prejuízo silencioso.

Por que o GPTBot é essencial no Mecita

O Mecita trata o GPTBot como essencial: se ele estiver bloqueado, a nota do diagnóstico fica limitada. O motivo é prático. Muitas vezes o bloqueio do GPTBot não foi uma decisão consciente sobre treino de IA: veio de um plugin, de um modelo de robots.txt copiado ou de uma configuração de segurança da hospedagem. E é comum o mesmo bloqueio pegar outros robôs junto.

Se a sua decisão é mesmo não participar do treino, tudo bem: é uma escolha de negócio legítima. Só garanta que o OAI-SearchBot e o ChatGPT-User continuem liberados, para não sumir também das respostas com busca. Atenção: no diagnóstico do Mecita, o GPTBot e o ClaudeBot são robôs essenciais; bloqueá-los limita a nota a 39, porque o modelo deixa de aprender sobre a sua empresa.

Como liberar o GPTBot no robots.txt

O arquivo robots.txt fica na raiz do site, por exemplo seusite.com.br/robots.txt. Para liberar o GPTBot em todo o site:

User-agent: GPTBot
Allow: /

Se você já tem regras para áreas privadas, repita-as dentro do grupo do GPTBot, porque um robô com grupo próprio ignora o grupo User-agent: *:

User-agent: GPTBot
Allow: /
Disallow: /minha-conta/
Disallow: /carrinho/

Como bloquear o GPTBot no robots.txt

Para impedir o uso do seu conteúdo no treino, mantendo a busca do ChatGPT liberada:

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
User-agent: ChatGPT-User
Allow: /

Um detalhe que confunde: o que separa os grupos não é a linha em branco, e sim um User-agent que vem depois de uma regra. A linha em branco só facilita a leitura. Já linhas de User-agent seguidas, sem regra entre elas, formam um grupo só.

Como conferir as visitas do GPTBot nos registros do servidor

Todo servidor guarda um registro de acessos (o access log). Em hospedagens com cPanel ele costuma aparecer como "Acessos brutos" ou "Raw Access". Com acesso ao terminal, procure o nome do robô:

grep -i "gptbot" /var/log/nginx/access.log

Em cada linha você vê a data, a página visitada e o código de resposta. O que importa é o código: 200 quer dizer que o robô leu a página; 403, 429 ou 503 querem dizer que alguma coisa barrou a visita. Para ter certeza de que é o GPTBot de verdade, compare o IP com a lista publicada em openai.com/gptbot.json.

Erros comuns

• Firewall que bloqueia sem avisar. Serviços como a Cloudflare oferecem uma opção para bloquear robôs de IA, e em alguns casos ela vem ligada. O robots.txt diz "pode entrar", o firewall responde 403 e ninguém percebe.
• Plugin de segurança do WordPress. Alguns bloqueiam qualquer visitante que não pareça um navegador comum.
• Regra antiga esquecida. Um Disallow: / para o GPTBot copiado de um artigo de 2023 continua valendo até alguém apagar.
• Achar que bloquear o GPTBot basta para sair do ChatGPT. Não basta, e nem é o mesmo robô: a busca usa o OAI-SearchBot.