Bingbot: o robô do Bing que também alimenta o Copilot

O Bingbot é o robô de rastreamento do Bing, o buscador da Microsoft. Muita gente no Brasil nunca abriu o Bing, e por isso esquece dele. Mas o índice do Bing é a base das respostas com busca do Microsoft Copilot, o assistente que vem no Windows, no Edge e no Microsoft 365. Quem usa o computador do trabalho provavelmente tem o Copilot a um clique.

Quem opera o Bingbot e o que ele faz

O Bingbot pertence à Microsoft. Ele percorre a web e alimenta o índice do Bing. A documentação do Bing Webmaster Tools lista o Bingbot como o robô principal e descreve outros agentes auxiliares, como o que busca anúncios e o de pré-visualização de páginas.

O Copilot, quando precisa de informação atual, consulta a busca do Bing e cita as fontes. Não há um robô separado para o Copilot fazer esse rastreamento: a base é o índice que o Bingbot monta.

Bloquear o Bingbot tira você das respostas?

Sim, do Bing e das respostas do Copilot que dependem da busca. Se o seu site não está no índice do Bing, o Copilot tem muito menos material seu para usar. Para um negócio que atende empresas, cujo cliente passa o dia no Windows e no Microsoft 365, esse é um canal que vale manter aberto.

A Microsoft também documenta formas de limitar como o conteúdo aparece nas respostas de IA sem sair da busca, usando meta tags como nocache e noarchive. Vale ler a documentação antes de usar, porque elas mudam o que é exibido.

Por que o Bingbot é complementar no Mecita

No Mecita, o Bingbot é complementar: bloqueado, tira pontos da checagem de acesso, mas não limita a nota do site inteiro. Os robôs essenciais são aqueles cujo bloqueio mais reduz o alcance nas respostas dos assistentes mais usados, e a lista é revista quando isso muda.

Complementar não quer dizer ignorável. Bloquear o Bingbot sem motivo tira você de um buscador inteiro e de um assistente inteiro.

Como liberar o Bingbot no robots.txt

Sem regra contra ele, o Bingbot entra. Para deixar explícito:

User-agent: Bingbot
Allow: /

O token é o mesmo com letra maiúscula ou minúscula: o robots.txt não diferencia maiúsculas no nome do robô. Se o seu arquivo tem bloqueios no grupo User-agent: *, repita-os aqui, porque o Bingbot com grupo próprio ignora o grupo geral.

Para um servidor pequeno, dá para pedir um ritmo mais lento em vez de bloquear:

User-agent: Bingbot
Allow: /
Crawl-delay: 5

Como bloquear o Bingbot no robots.txt

User-agent: Bingbot
Disallow: /

Para bloquear só uma pasta, troque a barra pelo caminho, como Disallow: /testes/.

Como conferir as visitas do Bingbot nos registros do servidor

Pelo servidor:

grep -i "bingbot" /var/log/nginx/access.log

Como qualquer programa pode se apresentar como Bingbot, confirme a origem. O Bing Webmaster Tools tem a ferramenta "Verify Bingbot", que recebe um IP e diz se ele é do Bing. Outra forma é a busca reversa de DNS: o nome de um Bingbot legítimo termina em search.msn.com, e a busca direta desse nome volta ao mesmo IP.

host IP-DA-VISITA

O próprio Bing Webmaster Tools também mostra as estatísticas de rastreamento e os erros que o robô encontrou.

Erros comuns

• Esquecer que o Bing existe. Muitos sites nunca verificaram o Bing Webmaster Tools e não sabem se estão indexados.
• Firewall barrando por volume. Proteções de volume podem devolver 429 para o Bingbot. Prefira o Crawl-delay ou o controle de ritmo do Webmaster Tools.
• Bloqueio por país. Os servidores do Bing não ficam necessariamente no Brasil. Um firewall que só aceita tráfego brasileiro barra o robô.
• Sitemap desatualizado. O Bing usa o sitemap para descobrir páginas. Endereços que não existem mais desperdiçam as visitas.