ClaudeBot: o robô da Anthropic que lê a web para o Claude

O ClaudeBot é o robô que a Anthropic usa para ler páginas públicas da internet. É por meio dele que o conteúdo do seu site pode entrar no conhecimento geral do Claude, o assistente da Anthropic, que muita gente usa no trabalho para pesquisar fornecedores, comparar serviços e escrever indicações.

Quem opera o ClaudeBot e o que ele faz

O ClaudeBot pertence à Anthropic. Na página de ajuda oficial, a empresa explica que usa robôs diferentes para funções diferentes, e cada um tem o próprio token no robots.txt:

• ClaudeBot: coleta conteúdo público da web que pode contribuir para o treinamento dos modelos.
• Claude-SearchBot: navega pela web para melhorar a qualidade dos resultados de busca do Claude.
• Claude-User: busca uma página quando uma pessoa pede algo ao Claude.

A Anthropic também afirma que os robôs dela respeitam o robots.txt, incluindo a instrução Crawl-delay, e que não tentam entrar em páginas protegidas por senha ou login.

Bloquear o ClaudeBot tira você das respostas?

Das respostas com busca, não diretamente: essa é a função do Claude-SearchBot. Mas bloquear o ClaudeBot faz o seu conteúdo ficar fora do treino dos próximos modelos. Quando o Claude responde sem buscar, ele usa o que aprendeu. Um negócio que nunca entrou nesse material é, para o modelo, um desconhecido.

Por que o ClaudeBot é essencial no Mecita

O Mecita trata o ClaudeBot como essencial: com ele bloqueado, a nota fica limitada. O ClaudeBot é o robô da Anthropic mais antigo e mais citado em listas de bloqueio, e é comum aparecer em modelos de robots.txt que bloqueiam "todos os robôs de IA" de uma vez. Quando ele está barrado, muitas vezes os outros agentes da Anthropic também estão.

Se não participar do treino é uma decisão sua, pense em manter o Claude-SearchBot e o Claude-User liberados, para continuar aparecendo quando alguém busca pelo Claude. Atenção: no diagnóstico do Mecita, o GPTBot e o ClaudeBot são robôs essenciais; bloqueá-los limita a nota a 39, porque o modelo deixa de aprender sobre a sua empresa.

Como liberar o ClaudeBot no robots.txt

No robots.txt, na raiz do site:

User-agent: ClaudeBot
Allow: /

Os três agentes da Anthropic juntos, num grupo só:

User-agent: ClaudeBot
User-agent: Claude-SearchBot
User-agent: Claude-User
Allow: /

Se o seu servidor é pequeno e você quer espaçar as visitas sem bloquear, a Anthropic aceita o Crawl-delay (em segundos):

User-agent: ClaudeBot
Allow: /
Crawl-delay: 5

Como bloquear o ClaudeBot no robots.txt

Para ficar fora do treino e continuar na busca do Claude:

User-agent: ClaudeBot
Disallow: /

User-agent: Claude-SearchBot
User-agent: Claude-User
Allow: /

O caminho indicado pela Anthropic é o robots.txt. Bloquear pelo endereço IP pode não funcionar de forma confiável e ainda impede o robô de ler o próprio robots.txt, que é onde está a sua instrução.

Como conferir as visitas do ClaudeBot nos registros do servidor

No registro de acessos do servidor (em cPanel, "Acessos brutos"), procure o nome do robô:

grep -i "claudebot" /var/log/nginx/access.log

Confira o código de resposta. 200 é leitura feita; 403, 429 ou 503 indicam bloqueio ou sobrecarga. Qualquer programa pode se apresentar com o nome ClaudeBot. Desconfie de visitas com esse nome que tentam entrar em páginas de login: a Anthropic diz que os robôs dela não fazem isso.

Erros comuns

• Lista de bloqueio copiada. Muitos modelos de robots.txt "anti-IA" que circulam na internet incluem o ClaudeBot. Quem copiou sem ler bloqueou sem saber.
• Nomes antigos. Listas antigas citam tokens que a Anthropic usava antes, como anthropic-ai e Claude-Web. Bloquear esses nomes não afeta o ClaudeBot, e liberar só eles também não libera.
• Firewall da CDN. A opção de bloquear robôs de IA de serviços como a Cloudflare inclui o ClaudeBot. Confira o painel, não só o arquivo.
• Confundir treino com busca. Bloquear o ClaudeBot achando que isso tira o site da busca do Claude não funciona, e o contrário também não.