- Definição
- User-agent: User-agent é a identificação que um navegador ou robô envia ao visitar um site, dizendo quem ele é. No robots.txt, é o nome usado para escrever regras para um robô específico, como GPTBot ou PerplexityBot.
Como funciona
Toda vez que alguém abre uma página, o navegador manda junto uma linha dizendo quem ele é. Essa linha se chama user-agent. Um Chrome no celular se apresenta de um jeito, um Safari no computador de outro. Com os robôs acontece o mesmo: o robô da OpenAI que coleta páginas se apresenta com um texto que contém GPTBot, o do Perplexity com PerplexityBot, e assim por diante.
O user-agent aparece em dois lugares que importam para você:
- Na visita. O servidor do seu site recebe essa identificação a cada acesso e pode registrar, por exemplo, quantas vezes o ClaudeBot passou por ali.
- No robots.txt. Ali o user-agent vira o nome de uma regra. A linha
User-agent: GPTBotdiz “o que vem abaixo vale para o GPTBot”. A linhaUser-agent: *vale para todos os que não têm um grupo próprio.
Um detalhe útil: no robots.txt usamos só o nome curto do robô, o chamado token. A identificação completa que o robô manda na visita é mais comprida, com versão e um link para a documentação, mas o arquivo só precisa do nome.
Por que importa para o seu negócio
Cada assistente de IA usa robôs com nomes diferentes, e às vezes uma mesma empresa tem vários: um para coletar material de treino, outro para montar o índice de busca, outro para buscar uma página quando um usuário pede. A OpenAI, por exemplo, separa GPTBot, OAI-SearchBot e ChatGPT-User. O Google usa o Googlebot para a busca e o token Google-Extended para controlar o uso do conteúdo no Gemini.
Isso significa que uma regra escrita para um nome não vale para os outros. Se o seu robots.txt libera o Googlebot mas bloqueia tudo o que não conhece com User-agent: * e Disallow: /, todos os robôs de IA sem grupo próprio ficam de fora. A lista completa dos nomes está na página de robôs de IA.
Um exemplo
Um e-commerce de roupas quis “proteger o conteúdo” e escreveu:
User-agent: Googlebot
Allow: /
User-agent: *
Disallow: /
A intenção era ficar só no Google. O efeito foi sumir do ChatGPT, do Perplexity, do Claude e do Copilot de uma vez, porque nenhum deles se chama Googlebot. Uma correção possível é criar um grupo para cada robô de IA desejado, com Allow: /, antes da regra geral.
Como o Mecita olha para isso
O diagnóstico lê o seu robots.txt como um robô leria e testa, um a um, os user-agents dos robôs de IA que verificamos. O resultado diz quais nomes estão liberados e quais estão bloqueados. Veja a checagem de acesso nas checagens.
Perguntas frequentes
Qualquer um pode fingir ser o GPTBot?
Pode. O user-agent é só um texto que o visitante declara. Por isso as grandes empresas publicam também os endereços de IP de onde os robôs delas saem, para quem precisa confirmar que a visita é mesmo delas.
Letra maiúscula faz diferença no robots.txt?
Pelo padrão, a comparação do nome do robô não diferencia maiúsculas de minúsculas. Mesmo assim, o melhor é escrever o nome exatamente como o operador documenta.
Faltou algum termo? Veja o glossário completo.