Verificador de robots.txt para bots de IA

O verificador de robots.txt para IA mostra, de graça, quais robôs de IA o seu site libera ou bloqueia (o robots.txt é o arquivo de regras dos robôs). A ferramenta avalia 42 robôs em duas camadas, 24 de busca com IA e 18 de treinamento, e entrega um trecho pronto para liberar os que estão barrados.

Para que serve verificar os bots de IA no robots.txt

Verificar os bots de IA serve para saber se o ChatGPT, o Gemini, a Perplexity e o Copilot conseguem ler o seu site. O robots.txt é o arquivo na raiz do domínio que diz a cada robô o que ele pode acessar, e um bloqueio ali, muitas vezes herdado do tema ou de um plugin, impede a IA de usar o seu conteúdo para responder ao cliente.

O ponto que mais confunde o dono do site é tratar os bots de IA como se fossem um único robô. Cada empresa usa user-agents diferentes para funções diferentes (o user-agent é o nome com que cada robô se apresenta ao site), e a ferramenta separa os 42 nomes por função para você liberar ou barrar cada camada sabendo o que cada robô faz. Liberar o robô permite a leitura, e a citação pela IA depende de outros sinais do site.

Bloquear o robô de treinamento não bloqueia o de busca

Bloquear o GPTBot, que coleta conteúdo para treinar os modelos da OpenAI, não bloqueia o ChatGPT-User nem o OAI-SearchBot, que buscam páginas para responder ao usuário na hora. A OpenAI documenta quatro robôs com funções separadas, e cada configuração é independente, e a mudança no arquivo leva cerca de 24 horas para valer na busca do ChatGPT. O mesmo vale para Perplexity, Copilot e Apple, cada um com o seu robô.

Nas auditorias de Generative Engine Optimization (GEO) da Lucas Ferraz SEO, o bloqueio a robôs de busca relevantes está entre os pontos que impedem a IA de entender e recortar a página como resposta, e a correção começa por separar a regra de treinamento da regra de busca.

Bloquear o Google-Extended tira o site do AI Overviews?

Não. O Google-Extended não muda a entrada do site na Busca do Google nem a posição dele, segundo a documentação dos rastreadores do Google atualizada em 30 de outubro de 2026: ele decide só se o conteúdo entra nos dados de treinamento dos modelos Gemini e nas respostas do app Gemini. Quem controla a Busca é a regra do Googlebot.

O AI Overviews (o resumo com IA no topo da busca) e o AI Mode (o modo de conversa da Busca) seguem a mesma regra do Googlebot. O dono do negócio que quer ficar fora do treinamento do Gemini e continuar nesses resumos bloqueia o Google-Extended e deixa o Googlebot liberado, porque barrar o Googlebot fecha a leitura do site para a Busca inteira, inclusive para os recursos de IA.

O robots.txt vale para o robô que abre a página a pedido do usuário?

Depende da empresa dona do robô. A OpenAI avisa que o ChatGPT-User age a pedido do usuário e que as regras do robots.txt podem não valer para ele, a documentação de robôs da Perplexity diz que o Perplexity-User em geral ignora o arquivo pelo mesmo motivo, e a Anthropic informa que o Claude-User segue o robots.txt como os outros robôs dela.

Para aparecer nas respostas, a regra que conta é a do robô de busca de cada empresa: OAI-SearchBot, PerplexityBot e Claude-SearchBot. A OpenAI diz que o ChatGPT-User não decide o que aparece na busca do ChatGPT e, como a regra pode não valer para ele, bloquear esse robô não garante que a página fique fechada. A Anthropic avisa que bloquear o Claude-User pode reduzir a visibilidade do site no Claude.

Para os robôs acionados pelo usuário, a decisão prática é deixar o acesso liberado e pôr login na página que não pode ser lida, porque o login impede a leitura por qualquer robô, e o robots.txt depende de o robô aceitar a regra.

Como usar o verificador?

Cole o robots.txt do seu site no campo e clique em Verificar bots de IA: o verificador de robots.txt para IA mostra a situação de 42 robôs de IA em um clique. Você recebe cada robô separado entre busca com IA e treinamento e, se houver bloqueio, um trecho de correção pronto para copiar.

1. Abra seudominio.com/robots.txt no navegador e copie todo o conteúdo;
2. Cole no campo da ferramenta e clique em verificar;
3. Leia a situação de cada bot, separada entre busca com IA e treinamento;
4. Se houver bots bloqueados, copie o trecho sugerido para liberá-los;
5. No seu robots.txt, apague o grupo antigo de cada robô listado no trecho, cole o trecho no lugar e salve o arquivo na raiz do site.

Como interpretar o resultado?

O resultado do verificador de robots.txt põe cada robô de IA em uma de três situações, liberado, bloqueado ou liberado com restrições, e cada uma pede uma leitura própria antes de mexer no arquivo. O bloqueio que mais pesa é o de um robô de busca com IA, porque impede aquele assistente de ler o site ao montar uma resposta, enquanto o de treinamento é uma escolha sobre o uso dos seus textos.

• Liberado, o bot pode acessar o site normalmente, nada a fazer;
• Bloqueado, o grupo daquele bot tem Disallow: / sem um Allow: / que o anule, o que impede a IA de usar o seu conteúdo, salvo nos caminhos que o próprio grupo libera com Allow;
• Liberado, com restrições, o bot entra, mas alguns caminhos estão bloqueados, vale conferir se uma página importante caiu na regra.

Tudo que o verificador analisa no seu robots.txt

O verificador lê o robots.txt inteiro que você cola e confere, um a um, os 42 robôs de IA avaliados, dos rastreadores de busca da OpenAI, do Google e da Perplexity aos de treinamento. Cada recurso abaixo serve a uma decisão sua sobre quem lê o seu site.

• Leitura completa do robots.txt colado, com cada grupo de User-agent e as regras dele, para você ver o arquivo como o robô lê;
• Avaliação de 42 robôs de IA separados em 24 de busca com IA e 18 de treinamento e coleta, para decidir cada camada por conta própria;
• Situação de cada robô em liberado, bloqueado ou liberado com restrições, para saber onde precisa agir;
• Trecho de correção pronto para os robôs barrados, para liberar o acesso sem escrever a regra na mão;
• Botão para copiar o trecho, para aplicar a mudança na raiz do site em um passo;
• Lista de robôs mantida como configuração viva, para o resultado acompanhar os novos user-agents das empresas de IA.

Como saber se uma página específica está liberada para um robô de IA?

Para saber se uma página específica está liberada para um robô de IA, compare o endereço dela com as regras Allow e Disallow do grupo daquele robô. Pelo padrão oficial do robots.txt, publicado em setembro de 2022 como Request for Comments (RFC) 9309, vale a regra mais longa que combina com o começo do endereço, e no empate entre Allow e Disallow vence o Allow.

Quando o verificador marca um robô como liberado com restrições, faça este teste com as páginas que trazem pedido de orçamento, como serviços, contato e blog:

1. Ache o grupo do robô pelo nome dele, ou o grupo User-agent: * quando ele não tem grupo próprio;
2. Liste as regras desse grupo cujo caminho é o começo do endereço da página, como /servicos/ para /servicos/criacao-de-sites/;
3. Fique com a regra de caminho mais longo, que decide se a página está aberta ou fechada para aquele robô.

Um exemplo: com Disallow: / e Allow: /blog/ no mesmo grupo, o blog fica aberto e o resto do site fechado, e o verificador mostra esse robô como bloqueado, porque o site como um todo está barrado para ele.

Devo liberar ou bloquear os bots de IA?

Você deve liberar os robôs de busca com IA se o seu negócio quer ser encontrado, porque são eles que fazem a empresa aparecer nas respostas do ChatGPT, do Gemini e da Perplexity. Bloquear esses robôs é abrir mão de ser citado: uma IA que não consegue ler o site não tem como recomendar a empresa.

A dúvida legítima costuma ser sobre os robôs de treinamento, que usam o conteúdo para treinar modelos. Aí é uma escolha sua, alguns preferem bloquear por questão de direito sobre o conteúdo. O que a ferramenta mostra é que essa escolha não precisa arrastar junto os robôs de busca.

Liberar os robôs de treinamento e liberar os de busca com IA são decisões diferentes. Para ser citado, o que importa é liberar os de busca, sem depender da escolha sobre treinamento.

Lucas Ferraz, especialista em SEO

Como o verificador lê o seu robots.txt por dentro?

O verificador lê o seu robots.txt no seu navegador, em três etapas. Primeiro, separa o arquivo em grupos, cada um com os seus User-agent e as regras Allow e Disallow. Depois, para cada um dos 42 robôs de IA, procura o grupo que se aplica, a regra própria do robô quando existe, senão a regra geral do coringa. Por fim, decide a situação de cada robô pelas regras daquele grupo.

A tabela resume como cada situação sai das regras do grupo, no mesmo critério de grupo próprio e coringa que a RFC 9309 descreve:

Situação	O que a regra diz	O que fazer
Liberado	Sem bloqueio para aquele robô, ou nenhuma regra	Nada, o robô acessa o site
Liberado, com restrições	Há Disallow de caminhos, mas não do site inteiro	Conferir se uma página importante caiu na regra
Bloqueado	Disallow barra o site inteiro para aquele robô	Liberar com o trecho que a ferramenta gera

Quem decide a situação é o Disallow do site inteiro: a ferramenta só aponta como bloqueado o robô que não entra na raiz do site, e manda para liberado com restrições o que perde apenas parte dos caminhos, e nesse caso a regra mais longa de cada página diz se ela está aberta.

O tamanho do arquivo também conta: o Google lê no máximo 500 KiB do robots.txt e ignora o que vem depois desse limite, segundo a especificação de robots.txt do Google. Arquivo gerado por plugin com milhares de linhas pode ter as regras dos robôs de IA cortadas no fim.

Como aplicar o trecho de correção sem manter o bloqueio antigo?

Para aplicar o trecho de correção do verificador, troque o grupo antigo de cada robô pelo trecho, em vez de colar o trecho embaixo do arquivo. O trecho traz cada robô barrado e uma linha Disallow vazia, que libera o acesso, mas a RFC 9309 manda somar as regras de dois grupos com o mesmo robô: se o Disallow: / antigo continuar no arquivo, o bloqueio segue valendo.

Quando o bloqueio vem só do coringa (User-agent: * com Disallow: /), colar o trecho resolve, porque o grupo próprio do robô passa a valer no lugar da regra geral. Depois de salvar, confira que cada robô aparece em um grupo só, cole o arquivo novo no verificador e veja se os robôs de busca com IA saíram como liberados. Com o acesso aberto, o próximo arquivo é o resumo das páginas para as IAs, que o gerador de llms.txt para o site monta.

O que o resultado do verificador não cobre?

O resultado do verificador não cobre o caminho de cada página, o acesso real pelo servidor nem a obediência do robô: ele lê só o texto colado, classifica cada um dos 42 robôs pela regra da raiz do site e usa a lista de robôs de 21 de setembro de 2026. Para conferir fora dele, aplique a regra mais longa da RFC 9309 nas páginas de orçamento e leia o log do servidor.

Quatro situações do arquivo pedem conferência à mão, porque o código do verificador as lê de um jeito mais simples que a RFC 9309:

• O mesmo robô em dois grupos, o verificador lê só o último grupo com o nome dele, e a RFC 9309 manda somar os dois, então o Disallow: / antigo continua valendo; procure o nome de cada robô no arquivo e deixe um grupo só;
• Disallow: /*, o verificador mostra o robô como liberado com restrições, mas o asterisco vale para qualquer caminho e fecha o site inteiro, como o Disallow: /;
• Google-Extended e Googlebot, a ferramenta põe o Google-Extended na camada de busca com IA e não confere o Googlebot, o robô cuja regra decide a presença no AI Overviews;
• Robô lançado depois da lista, o user-agent novo não aparece no resultado, e o nome dele se confere na documentação da empresa dona do robô.

O robots.txt liberado basta para o robô de IA entrar no site?

Não. O robots.txt liberado é a primeira camada, e o robô de IA ainda pode ser barrado antes de ler o arquivo, pelo firewall da hospedagem, pela proteção contra robôs da CDN (a rede que entrega o site mais rápido) ou por um plugin de segurança que filtra pelo user-agent. Nesses casos o verificador mostra tudo liberado e a IA continua sem acesso.

Desde 1º de julho de 2025, a Cloudflare bloqueia por padrão os robôs de IA que acessam o conteúdo sem permissão e pergunta a cada domínio novo, no cadastro, se quer liberá-los. O site cadastrado nessa CDN depois dessa data pode ter os robôs de busca com IA barrados no painel dela, com o robots.txt todo liberado.

Nas 12 consultas da rodada da agência em 3 de novembro de 2026, com a pergunta de quem procura um verificador feita 3 vezes no ChatGPT, no Gemini, na Perplexity e no Claude, 5 respostas avisaram que firewall ou CDN podem barrar o robô de IA com o robots.txt liberado, e as 3 do Claude citaram a regra da Cloudflare de julho de 2025.

Para conferir o acesso real, rode o teste de visibilidade do site em IA, que lê o site pela URL e confere como ele responde ao GPTBot, e peça ao responsável pela hospedagem o log de acessos com os nomes dos robôs de IA.

Como conferir no log se o robô de IA entrou?

No log de acessos, o nome do robô vem com o código de resposta ao lado: 200 quer dizer que a página foi entregue, e 403 quer dizer que o servidor, o firewall ou a CDN recusou a visita. Qualquer programa pode se apresentar com o nome do robô, então a visita se confirma pelo IP (o endereço do computador que fez a visita).

OpenAI, Anthropic e Perplexity publicam as faixas de IP dos robôs delas em listas próprias, e o Google-Extended nunca aparece no log, porque o Google lê o site com os nomes de robô que já usa. A leitura completa do log está no passo a passo para saber se as IAs leem o site.

Perguntas frequentes sobre bots de IA no robots.txt

Quem revisa o robots.txt pensando na busca com IA pergunta primeiro onde o arquivo fica, e a resposta é seudominio.com/robots.txt, aberto direto no navegador.

O que decide se a IA consegue ler o seu site

O que decide se a IA consegue ler o seu site é liberar os robôs de busca com IA no robots.txt, no grupo certo e sem bloqueio antigo esquecido, e deixar a escolha sobre os de treinamento à parte, conferindo o resultado de novo a cada mudança de plugin, tema ou hospedagem.

Ter conteúdo que mereça ser citado é o objetivo do GEO e da Answer Engine Optimization (AEO), e o trabalho de GEO e AEO do site começa pela análise gratuita: ela traz os pontos por escrito e a checagem de presença da empresa na IA, com resposta no mesmo dia útil e proposta em até 48 horas. Um dono de clínica, por exemplo, cola aqui o robots.txt, descobre que um plugin bloqueava o GPTBot e o OAI-SearchBot juntos, troca o grupo antigo e libera só o de busca.

Prepare o site para ser lido pelas IAs

O Generative Engine Optimization (GEO) organiza o site e a presença da marca para o ChatGPT, o Gemini e o Google AI Mode entenderem o que a empresa faz, de R$ 1.350 a R$ 5.400 por mês, com diagnóstico gratuito em até 2 dias.

Conhecer o serviço de GEO