OAI-SearchBot: o robô da busca do ChatGPT

O OAI-SearchBot é o robô que a OpenAI usa para montar o índice da busca do ChatGPT. Quando alguém pergunta "qual a melhor padaria perto do metrô?" e o ChatGPT responde com uma lista de lugares e links, é daí que vêm os sites citados. Para um negócio que quer ser recomendado, este é o robô que mais importa na OpenAI.

Quem opera o OAI-SearchBot e o que ele faz

O OAI-SearchBot pertence à OpenAI. A documentação oficial diz que ele serve para exibir sites nos recursos de busca do ChatGPT e que não é usado para rastrear conteúdo para treinar os modelos de base de IA generativa. O treino é tarefa do GPTBot, e as visitas pedidas por uma pessoa são do ChatGPT-User.

Essa separação é boa para você: dá para aparecer nas respostas com busca sem ceder o conteúdo para treino, se essa for a sua escolha.

Bloquear o OAI-SearchBot tira você das respostas?

Sim. A OpenAI afirma que sites que bloqueiam o OAI-SearchBot não são mostrados nas respostas de busca do ChatGPT. Ela ressalva que o site ainda pode aparecer como um link de navegação simples, por exemplo quando a pessoa digita o nome da empresa, mas sai das respostas completas, que é onde a recomendação acontece.

Traduzindo para o dia a dia: se o OAI-SearchBot está barrado, quando um cliente pede ao ChatGPT uma indicação no seu ramo, o assistente indica os concorrentes que ele consegue ler.

Por que o OAI-SearchBot é essencial no Mecita

O Mecita trata o OAI-SearchBot como essencial. Bloqueado, ele limita a nota do diagnóstico, por mais que o resto do site esteja correto. Não faz sentido dar uma nota boa a um site com dados estruturados perfeitos e texto impecável se o ChatGPT não tem permissão para ler nada disso na hora de buscar.

Como liberar o OAI-SearchBot no robots.txt

No arquivo robots.txt, na raiz do site:

User-agent: OAI-SearchBot
Allow: /

Se você também quer liberar os outros robôs da OpenAI, agrupe os três. Linhas de User-agent seguidas formam um grupo só:

User-agent: GPTBot
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
Allow: /

Lembre de repetir dentro do grupo qualquer Disallow que você usa para áreas privadas, como /minha-conta/. Um robô com grupo próprio ignora o grupo User-agent: *.

Como bloquear o OAI-SearchBot no robots.txt

Se, por algum motivo, você não quer aparecer na busca do ChatGPT:

User-agent: OAI-SearchBot
Disallow: /

Para bloquear só uma pasta, troque a barra pelo caminho, por exemplo Disallow: /area-restrita/. Pense bem antes de bloquear o site inteiro: para um negócio local, é abrir mão de uma fonte de indicação.

Como conferir as visitas do OAI-SearchBot nos registros do servidor

Procure o nome do robô no registro de acessos do servidor. Na hospedagem com cPanel, baixe o arquivo em "Acessos brutos". No terminal:

grep -i "oai-searchbot" /var/log/nginx/access.log

Olhe o código de resposta de cada linha. 200 significa que ele leu; 403 ou 429 significam que algo barrou. A OpenAI publica as faixas de IP do OAI-SearchBot em openai.com/searchbot.json, útil para confirmar que a visita é legítima e para liberar o robô no firewall pelo IP.

Se não aparece nenhuma visita, isso não prova bloqueio: o robô pode simplesmente ainda não ter passado. Use o diagnóstico do Mecita para confirmar o que o robots.txt permite.

Erros comuns

• Bloquear "os robôs da OpenAI" de uma vez. Quem quer só evitar o treino e bloqueia os três robôs sai também da busca.
• Proteção contra bots da CDN. A regra do robots.txt diz "pode", mas a Cloudflare, o Akamai ou o firewall da hospedagem devolvem 403. Libere o OAI-SearchBot lá também.
• Esperar resultado no mesmo dia. Mesmo depois de liberar, pode levar um tempo até o robô passar e o conteúdo aparecer nas respostas.
• Site que só mostra texto com JavaScript. O robô entra, mas encontra a página vazia. Liberar o acesso não resolve se não há texto no HTML.