Claude-SearchBot: o robô da busca do Claude

O Claude-SearchBot é o robô que a Anthropic usa para que o Claude encontre sites quando faz buscas na web. Quando alguém pergunta ao Claude "quais escritórios de contabilidade atendem pequenas empresas em Campinas?" e ele pesquisa antes de responder, é o trabalho do Claude-SearchBot que ajuda o assistente a saber que o seu site existe e do que ele trata.

Quem opera o Claude-SearchBot e o que ele faz

O Claude-SearchBot pertence à Anthropic. Na página de ajuda sobre os robôs, a empresa explica que ele navega pela web para melhorar a qualidade dos resultados de busca para os usuários, analisando conteúdo online para aumentar a relevância e a precisão das respostas.

A Anthropic tem outros dois agentes: o ClaudeBot, que coleta conteúdo que pode ir para o treino, e o Claude-User, que abre páginas quando uma pessoa pede. Cada um tem o próprio token no robots.txt.

Bloquear o Claude-SearchBot tira você das respostas?

Pode tirar. A Anthropic avisa que desativar o Claude-SearchBot impede o sistema de indexar o seu conteúdo para a busca, e que isso pode reduzir a visibilidade e a precisão do seu site nos resultados. Em linguagem de balcão: o Claude passa a saber menos, e com menos certeza, sobre o que você faz, e fica mais fácil ele recomendar outra empresa ou descrever a sua de um jeito errado.

Por que o Claude-SearchBot é complementar no Mecita

No Mecita, o Claude-SearchBot é complementar: bloqueado, ele tira pontos da checagem de acesso, mas não limita a nota do site inteiro. Os robôs essenciais são os que mais pesam no alcance das respostas hoje, e a lista é revista quando esse cenário muda.

Para o seu negócio, a recomendação é a mesma de sempre: se você quer ser encontrado, libere. O custo de deixar o robô entrar é baixo e o de ficar de fora das buscas é alto.

Como liberar o Claude-SearchBot no robots.txt

User-agent: Claude-SearchBot
Allow: /

Para liberar a busca do Claude e ficar fora do treino, combine os grupos assim:

User-agent: Claude-SearchBot
User-agent: Claude-User
Allow: /

User-agent: ClaudeBot
Disallow: /

O que abre um grupo novo é a linha User-agent: ClaudeBot vir depois de uma regra. A linha em branco só deixa o arquivo mais fácil de ler.

Como bloquear o Claude-SearchBot no robots.txt

User-agent: Claude-SearchBot
Disallow: /

Se quiser tirar da busca só uma parte do site, como páginas de campanha antigas, use o caminho no lugar da barra: Disallow: /promocoes-antigas/. Para espaçar as visitas sem bloquear, a Anthropic aceita a instrução Crawl-delay.

Como conferir as visitas do Claude-SearchBot nos registros do servidor

No registro de acessos do servidor:

grep -i "claude-searchbot" /var/log/nginx/access.log

Se a sua hospedagem tem cPanel, o arquivo fica em "Acessos brutos"; em outras, peça ao suporte. Em cada linha, confira a página e o código de resposta. Muitos 403 indicam firewall barrando; muitos 404 indicam links quebrados que o robô encontrou; 301 em sequência pode indicar um redirecionamento em cadeia que vale corrigir.

Não encontrar visitas não significa bloqueio. Pode ser só que o robô ainda não passou. O diagnóstico do Mecita confirma o que o seu robots.txt permite, na hora.

Erros comuns

• Bloquear a Anthropic inteira para evitar o treino. Quem só queria sair do treino e bloqueou os três agentes perdeu também a busca.
• Nomes empilhados sem querer. Linhas de User-agent seguidas formam um grupo só. Quem escreve User-agent: ClaudeBot logo acima de User-agent: Claude-SearchBot achando que são blocos separados aplica as mesmas regras aos dois.
• Proteção de bots da CDN. Serviços de CDN costumam incluir os robôs da Anthropic nas opções de bloqueio de IA. Confira o painel.
• Sitemap desatualizado. O robô encontra páginas pelo sitemap e pelos links. Um sitemap com endereços mortos desperdiça as visitas.