Como saber se as IAs conseguem ler o seu site

Para saber se as inteligências artificiais conseguem ler o seu site, você confere três camadas na ordem certa: se o robots.txt libera os robôs de IA, se os logs de acesso do servidor mostram esses robôs e com qual código de resposta, e se a sua hospedagem ou o seu CDN não está barrando o robô com um erro invisível. Na maioria das auditorias em hospedagem compartilhada, o bloqueio não está no robots.txt, está no próprio servidor devolvendo 429 ao robô.

Antes de a IA citar a sua empresa numa resposta, ela precisa conseguir entrar no seu site e ler as suas páginas. Esse é o passo de base, e é o que costuma faltar sem ninguém perceber, porque um site pode estar no ar, bonito e rápido para o visitante humano, e ao mesmo tempo fechado para o robô que alimenta o ChatGPT ou a Perplexity.

O dono do negócio quase nunca olha para isso. Ele mede visita de gente, não visita de robô. E quando a empresa some das respostas de IA, a primeira suspeita costuma ser o conteúdo, quando o problema real, muitas vezes, é uma porta fechada lá atrás, na camada técnica que ninguém abriu para conferir.

Na auditoria, o erro que mais vejo não é robots.txt bloqueando o robô. É o site liberar o robô no papel e o servidor barrar na prática, com um código de resposta que o dono nunca leu porque nunca abriu o log.

Os robôs de IA que importam hoje, e que você vai procurar nessa auditoria, são estes:

• GPTBot e OAI-SearchBot, da OpenAI, mais o ChatGPT-User que acessa quando alguém pergunta algo no ChatGPT;
• ClaudeBot e Claude-SearchBot, da Anthropic;
• PerplexityBot, da Perplexity;
• Googlebot, que faz a busca do Google e também alimenta o Gemini.

Por que descobrir se a IA lê o seu site virou prioridade

Ser lido pela IA é a condição para ser citado por ela, e o volume desse rastreamento deixou de ser detalhe técnico. Um estudo da Alli AI analisou 24.411.048 requisições em 69 sites ao longo de 55 dias, entre janeiro e março de 2026, e encontrou o ChatGPT-User rastreando 3,6 vezes mais que o Googlebot no período. O robô da IA já bate na sua porta com mais frequência que o buscador tradicional.

Do outro lado, esse tráfego de robô vira tráfego de gente. Em junho de 2025, as plataformas de IA geraram 1,13 bilhão de visitas de referência para os mil maiores sites do mundo, uma alta de 357% em um ano, segundo levantamento da Similarweb. Quem o robô consegue ler entra nessa conta, quem ele não consegue ler fica de fora dela, por melhor que seja a página.

Para um prestador de serviço ou uma clínica que depende de aparecer quando o cliente pergunta, a leitura é direta. A porta precisa estar aberta antes de corrigir os erros de SEO para IA na página, e conferir se ela está aberta custa uma tarde e nenhuma ferramenta paga.

Quais robôs de IA procurar no site?

Cada IA assina a visita com um nome no campo User-Agent do acesso, e cada robô tem uma função diferente. Tratar todos como um bloco só leva a erro dos dois lados, bloquear quem traz citação ou liberar quem só consome banda. A tabela abaixo mostra quem é quem e como o robô aparece no seu log.

Guarde o Googlebot para o fim, porque ele muda a conta quando o assunto é Gemini, e vale uma seção própria mais abaixo. Os outros cinco você consegue rastrear com precisão, e é por eles que a auditoria começa.

Como ver no log se o robô entrou e o que o servidor respondeu?

O log de acesso do servidor é o registro de tudo que bate no seu site, robô ou pessoa, e é ali que a visita da IA fica gravada. Procurar o nome do robô no log já responde metade da pergunta. A outra metade, que quase todo mundo pula, é olhar qual código de resposta o servidor devolveu para aquele robô.

Esse código é o que separa uma leitura bem-sucedida de um bloqueio disfarçado. O robô pode aparecer no log e mesmo assim ter ido embora de mãos vazias, e o número na linha conta essa história. Veja o que cada resposta significa na prática.

• 200, o servidor entregou a página, o robô conseguiu ler;
• 403, acesso proibido, em geral um firewall ou uma regra de segurança barrando o robô;
• 429, requisições demais, o servidor está limitando o robô por excesso de acesso;
• 500 ou 503, erro ou indisponibilidade do próprio servidor na hora da visita.

Para chegar a essa leitura sem ser da área técnica, siga esta ordem. Ela vale tanto para quem mexe no próprio servidor quanto para quem depende do suporte da hospedagem.

1. Encontre os logs de acesso, no painel da hospedagem procure por logs de acesso ou estatísticas, em servidor próprio o arquivo costuma se chamar access.log;
2. Busque no arquivo pelos nomes da tabela acima, cada linha com GPTBot ou PerplexityBot é uma visita real daquele robô;
3. Na mesma linha, leia o código de resposta, é ele que diz se o robô saiu com a página (200) ou barrado (403, 429);
4. Se você não acha os logs, peça ao suporte da hospedagem exatamente isto, quais códigos de resposta o servidor devolveu para os User-Agents GPTBot, OAI-SearchBot e PerplexityBot no último mês.

Peça o código de resposta, não só a visita. Suporte que responde “sim, o robô passou” sem dizer o que o servidor devolveu não resolveu nada, porque um 429 também é o robô passando, e passando para levar um não.

Como saber se o robots.txt está liberando os robôs de IA?

O robots.txt é o primeiro portão, o arquivo em seudominio.com.br/robots.txt onde o site declara quem pode rastrear o quê. Uma regra errada ali fecha a porta antes de o robô sequer tentar. Abra o arquivo e procure por linhas que citem os robôs de IA seguidas de Disallow, porque é isso que bloqueia.

Se o seu objetivo é aparecer nas respostas de IA, o robots.txt precisa liberar os robôs de busca dessas plataformas, o primeiro degrau para aparecer nas respostas do ChatGPT. Vale separar o robô que treina modelo do robô que indexa para citar, porque a decisão é diferente. Liberar o OAI-SearchBot e o PerplexityBot alimenta a citação imediata, enquanto o GPTBot de treino é uma escolha de marca, você decide se quer ceder conteúdo para o próximo modelo.

Bloquear GPTBot ou ClaudeBot para “proteger conteúdo” e depois reclamar que a IA não cita a empresa é a contradição que mais aparece. Ou você quer ser lido, e libera, ou quer ser poupado do treino, e aceita o custo de sumir da resposta.

O 429 invisível quando o servidor barra o robô com o robots.txt liberado

Aqui está o ponto cego que derruba site que parece configurado certo. O robots.txt libera o robô, o conteúdo está no HTML, e mesmo assim o robô não consegue ler, porque a hospedagem ou o CDN devolve 429 ou 403 por conta própria, num controle de tráfego que fica acima do robots.txt e não aparece para quem só olha o arquivo.

Em hospedagem compartilhada isso é comum, porque o servidor limita acessos automáticos para proteger o desempenho de todos os sites que dividem a mesma máquina, e trata o robô da IA como tráfego automático a ser contido. O robô insiste algumas vezes, leva 429, e desiste. O robots.txt continua dizendo “pode entrar” enquanto a porta física está emperrada.

É exatamente por isso que a auditoria não pode parar no robots.txt. O único lugar onde esse bloqueio aparece é no código de resposta do log, aquele 429 na linha do GPTBot que o dono nunca leu. Confirmado o throttle, a correção é ajustar o limite de requisições com a hospedagem ou tratar os robôs na borda, com um CDN na frente do servidor liberando os User-Agents legítimos.

Em auditorias de sites em hospedagem compartilhada, o bloqueio mais comum aos robôs de IA não está no robots.txt, e sim no próprio servidor respondendo 429 ao robô, com o arquivo liberado o tempo todo.

Por que a visita do Gemini é quase impossível de isolar?

O Gemini é a exceção honesta desta auditoria. O Google não usa um robô separado para ele, a coleta que alimenta as respostas do Gemini é feita pelo mesmo Googlebot da busca de sempre. Existe o Google-Extended, mas ele não é um robô com nome próprio no log, é apenas um controle no robots.txt que diz ao Google se ele pode ou não usar o seu conteúdo em IA generativa.

Na prática, você não separa “visita do Gemini” de “visita normal do Google” pelo User-Agent. A leitura correta é medir bem ChatGPT, Claude e Perplexity pelos robôs próprios deles, e assumir que o Google, e o Gemini junto, lê você quando o Googlebot aparece no log com resposta 200. É o mesmo robô de quem depende fazer o seu site aparecer no Google na busca comum. Qualquer promessa de medir a visita do Gemini com precisão está exagerando o que a técnica entrega.

Como saber se o robô no log é de verdade e não um impostor?

Nem todo acesso que se diz GPTBot é a OpenAI. O nome no User-Agent é texto livre, qualquer programa pode se apresentar com ele, e uma parte relevante desse tráfego é falsificada. Medições da HUMAN Security encontraram 16,7% das requisições com o User-Agent do ChatGPT-User sendo falsas, um robô se passando pelo robô da OpenAI.

Isso importa para não comemorar visita que não aconteceu nem bloquear tráfego legítimo por engano. A confirmação de que o robô é real se faz pelo endereço de IP da visita, cruzando com as faixas de IP oficiais que cada provedor publica, ou pela verificação reversa de DNS. Para o dono do negócio, a regra prática é simples, número de visitas do robô que parece bom demais pede a checagem do IP antes de virar conclusão.

Antes de comemorar um pico de acessos do GPTBot, confira o IP. Já vi relatório de “a IA adora o meu site” que era robô falso batendo na porta, e o dono prestes a mudar a estratégia inteira em cima de um número que não vinha da OpenAI.

Preciso ser técnico para auditar isso no meu site?

Não, e essa é a parte que trava muita gente sem precisar. A leitura do robots.txt qualquer pessoa faz, é só abrir o endereço no navegador. Os logs e os códigos de resposta são um pedido comum ao suporte da hospedagem, desde que você peça a coisa certa, o código que o servidor devolveu para cada robô, não um “sim, o robô visitou”.

O que exige experiência é a interpretação, ligar o 429 do log ao ajuste de limite na hospedagem, decidir o que liberar no robots.txt sem abrir o site inteiro, e montar a camada de borda que protege o site e ainda deixa o robô legítimo passar. É onde entra um serviço de Generative Engine Optimization (GEO), que trata a porta técnica antes de discutir conteúdo.

Perguntas frequentes sobre robôs de IA no seu site

As dúvidas abaixo são as que mais aparecem quando o dono do negócio vai da suspeita (“será que a IA me lê?”) para a auditoria de verdade, e cada uma trata de um ponto que costuma faltar na conta.

O que decide se a IA consegue ler o seu site

O que decide não é o conteúdo, é a porta, e a porta tem três trincos na ordem, robots.txt liberando, servidor respondendo 200 no log e nenhuma camada de borda barrando o robô legítimo. Um site que passa nos três está pronto para ser lido, e aí sim o trabalho de conteúdo e de consultoria de SEO técnica tem em que se apoiar.

Pense em um consultório que reformou o site, colocou um firewall novo e, sem saber, passou a devolver 429 para o OAI-SearchBot. O conteúdo continua excelente, o Google ainda mostra a página, mas o ChatGPT parou de citar a clínica porque parou de conseguir ler. Ninguém mexeu numa vírgula do texto, e ainda assim a empresa saiu da resposta. Abrir o log e ler o código de resposta é o que revela isso, antes de gastar a primeira hora reescrevendo o que já estava bom.