O Applebot-Extended não é um robô que visita o seu site. É um nome que a Apple criou para que o dono do site diga, no robots.txt, se aceita que o conteúdo coletado pelo Applebot seja usado para treinar os modelos de IA generativa da Apple, os que estão por trás da Apple Intelligence nos iPhones, iPads e Macs.
Quem opera o Applebot-Extended e o que ele faz
O Applebot-Extended pertence à Apple. Na página de suporte sobre o Applebot, a Apple explica os dois papéis:
- Applebot: o robô que rastreia a web. Os dados que ele coleta alimentam recursos como a busca da Siri e do Spotlight, e a Apple também informa que eles podem ser usados no treino dos seus modelos de base.
- Applebot-Extended: um token secundário. Ele não rastreia páginas. Serve apenas para o dono do site recusar o uso do conteúdo no treino dos modelos de IA generativa da Apple.
Ou seja, a coleta é sempre do Applebot. O Applebot-Extended decide o que a Apple pode fazer depois com o que foi coletado.
Bloquear o Applebot-Extended tira você das respostas?
Das buscas da Siri e do Spotlight, não. A Apple afirma que bloquear o Applebot-Extended não tira o site desses resultados, porque eles dependem do Applebot. O que muda é que o seu conteúdo deixa de ser usado para treinar os modelos da Apple Intelligence, e com isso esses modelos tendem a saber menos sobre a sua empresa.
Por que o Applebot-Extended é complementar no Mecita
No Mecita, o Applebot-Extended é complementar: bloqueado, tira alguns pontos da checagem de acesso, mas não limita a nota. O motivo é que o bloqueio não esconde o site de nenhuma busca da Apple. O efeito fica restrito ao treino dos modelos, que aparece aos poucos.
Para quem quer ser lembrado pelos assistentes em todo lugar, inclusive no iPhone dos clientes, a recomendação é liberar.
Como liberar o Applebot-Extended no robots.txt
Sem regra contra ele, o uso para treino está permitido. Para deixar explícito, junto com o Applebot:
User-agent: Applebot
User-agent: Applebot-Extended
Allow: /
Se o seu robots.txt tem bloqueios no grupo User-agent: *, repita-os aqui: um nome com grupo próprio ignora o grupo geral.
Como bloquear o Applebot-Extended no robots.txt
Para não participar do treino, mantendo a Siri e o Spotlight:
User-agent: Applebot-Extended
Disallow: /
User-agent: Applebot
Allow: /
A Apple informa ainda que, quando um site não tem regra para o Applebot mas tem regra para o Googlebot, o Applebot segue a do Googlebot. Se você bloqueou o Googlebot em alguma pasta, o Applebot faz o mesmo, a menos que tenha regra própria.
Como conferir o Applebot-Extended nos registros do servidor
Não há o que procurar pelo nome Applebot-Extended, porque ele não faz visitas. O que aparece no registro é o Applebot:
grep -i "applebot" /var/log/nginx/access.log
Para confirmar que uma visita é mesmo da Apple, a documentação indica fazer a busca reversa de DNS do IP: o nome deve terminar em applebot.apple.com. A Apple também publica as faixas de IP usadas pelo Applebot.
Para conferir a sua configuração do Applebot-Extended, leia o próprio arquivo em seusite.com.br/robots.txt ou use o diagnóstico do Mecita.
Erros comuns
- Bloquear o Applebot em vez do Applebot-Extended. Quem só queria ficar fora do treino e bloqueou o Applebot saiu também da Siri e do Spotlight.
- Esquecer a regra herdada do Googlebot. Sem grupo próprio para o Applebot, ele segue as regras do Googlebot. Um bloqueio pensado para o Google vale para a Apple também.
- Procurar nos logs. O token não visita; só o Applebot aparece.
- Listas automáticas de bloqueio. Alguns plugins e CDNs incluem o Applebot-Extended em bloqueios de IA de um clique. Confira o arquivo publicado.
Perguntas frequentes
Bloquear o Applebot-Extended me tira da Siri e do Spotlight?
Não. A Apple explica que o Applebot-Extended não rastreia páginas e que bloqueá-lo não impede o site de aparecer nos resultados de busca da Siri e do Spotlight, que dependem do Applebot. Ele só controla o uso do conteúdo no treino dos modelos da Apple.
Qual a diferença entre Applebot e Applebot-Extended?
O Applebot é o robô que visita os sites e alimenta recursos de busca da Apple, como Siri e Spotlight. O Applebot-Extended é um token de controle: ele diz à Apple se o conteúdo que o Applebot coletou pode ser usado para treinar os modelos de IA generativa da empresa.
Por que não vejo o Applebot-Extended nos logs?
Porque ele não faz visitas. As visitas que aparecem são do Applebot. O Applebot-Extended só existe como regra no robots.txt.