Os dados de treinamento explicam por que uma IA pode repetir um telefone antigo da empresa e por que isso não se corrige editando o modelo. Para quem vende por orçamento, a decisão prática fica no robots.txt: os robôs de treinamento podem ser bloqueados sem efeito na busca, e os robôs de busca com IA precisam ficar liberados para o site ser lido na hora da pergunta.
Resumo com IA
- Os dados de treinamento são o material que ensina um modelo de IA, e o que o modelo aprende com eles fica fixo até a data de corte do treino;
- Os dados de treinamento passam por coleta, limpeza, rotulagem e divisão em 3 conjuntos, um para treinar, um para validar e um para o teste final;
- A qualidade dos dados de treinamento pesa na resposta: dados ruins introduzem ruído e viés, e um dado da empresa que mudou depois da data de corte não está no treino;
- Uma empresa não precisa estar nos dados de treinamento para aparecer quando a IA busca na web, porque a OpenAI separa o GPTBot, do treino, do OAI-SearchBot, da busca do ChatGPT;
- O uso do conteúdo como dados de treinamento se controla no robots.txt por robô, e bloquear o GPTBot ou o Google-Extended não tira o site da Busca do Google.
Dados de treinamento são o conjunto de textos, imagens e outros dados usados para treinar um modelo de inteligência artificial, como um modelo de linguagem de grande porte (LLM), a reconhecer padrões e gerar respostas; o que o modelo aprende com eles fica fixo até a data de corte do treino.
Para quem vende serviço por orçamento, a decisão prática ligada aos dados de treinamento está no robots.txt, o arquivo que diz aos robôs o que eles podem ler no site: liberar ou não o conteúdo para treinar modelos é uma escolha separada de deixar o site ser lido quando um cliente pergunta a uma IA por um fornecedor, e a OpenAI separa as duas camadas em robôs diferentes desde o anúncio do GPTBot, em 7 de agosto de 2023. A regra vale para a coleta dali em diante e não garante que modelos já treinados deixem de usar o que aprenderam antes dela.
No aprendizado de máquina, a expressão dados de treinamento nomeia o material que ensina o modelo. O curso que prepara uma equipe para usar ferramentas de IA aparece nas buscas como treinamento de IA e trata de outro assunto, a capacitação de pessoas.
Índice
Como os dados de treinamento ensinam um modelo de IA?
Os dados de treinamento ensinam um modelo de IA por repetição de exemplos: o modelo processa um grande volume de dados preparados e ajusta os próprios parâmetros até as previsões baterem com o que os dados mostram. Os dados de treinamento fazem parte do aprendizado de máquina, a área da IA em que o modelo aprende com exemplos em vez de regras escritas à mão.
- A equipe que desenvolve o modelo coleta os dados, de bases públicas, de páginas da web ou de registros de uso;
- Os dados brutos passam por limpeza, que corrige duplicatas, campos vazios e formatos diferentes;
- Parte dos dados recebe rótulos escritos por pessoas, como “sentimento negativo” em um comentário ou “fraude” em uma transação;
- O conjunto é dividido em 3 partes, uma para treinar, uma para validar os ajustes e uma para o teste final.
A divisão em 3 conjuntos é o passo que mostra se o modelo aprendeu ou só decorou. A explicação da IBM sobre dados de treinamento descreve o conjunto de treinamento para ajustar os parâmetros, o de validação para evitar que o modelo decore os exemplos e o de teste para a avaliação final, sempre com dados que o modelo não viu no treino.
Por que a qualidade dos dados de treinamento muda a resposta da IA?
A qualidade dos dados de treinamento muda a resposta da IA porque o modelo reproduz o que aprendeu: dados de baixa qualidade introduzem ruído e viés, segundo a mesma explicação da IBM, e o modelo passa a errar previsões que um conjunto bem preparado acertaria.
Para uma clínica, um escritório de contabilidade ou uma empresa de manutenção, o efeito aparece quando o modelo responde só com o que leu no treino: um telefone antigo, um serviço que a empresa deixou de oferecer ou um endereço anterior à mudança podem voltar na resposta, porque o que mudou depois da data de corte não está nos dados de treinamento.
A distância entre o que o modelo aprendeu e o que é verdade hoje, como o telefone antigo de uma clínica, está entre as causas da alucinação de IA, quando o modelo inventa um dado com tom de certeza. A empresa não edita o treino de um modelo, e por isso a correção possível passa pelas páginas que a IA consegue ler na hora da pergunta.
Qual a diferença entre dados de treinamento e busca em tempo real?
A diferença entre dados de treinamento e busca em tempo real está no momento em que a informação entra: o treino grava o que o modelo leu até a data de corte, e a busca em tempo real, chamada de geração aumentada por recuperação (RAG), lê páginas da web no momento da pergunta e monta a resposta com elas.
O Google trata as duas coisas com controles diferentes. A documentação de rastreadores do Google descreve o Google-Extended como o controle do uso do conteúdo no treino dos modelos Gemini e no embasamento das respostas dos apps do Gemini, e informa que ele não afeta a inclusão do site na Busca do Google nem funciona como sinal de ranqueamento.
A minha empresa precisa estar nos dados de treinamento para a IA falar dela?
Não, a empresa não precisa estar nos dados de treinamento para aparecer quando o assistente busca na web: a documentação de robôs da OpenAI separa o GPTBot, que coleta conteúdo que pode ser usado no treino, do OAI-SearchBot, que serve para mostrar sites nos resultados da busca do ChatGPT.
A documentação de robôs da OpenAI informa que cada configuração é independente, e que um site pode liberar o OAI-SearchBot para aparecer nas respostas de busca e bloquear o GPTBot para indicar que o conteúdo não deve entrar no treino. Depois de uma mudança no robots.txt, a OpenAI fala em cerca de 24 horas para a busca do ChatGPT se ajustar.
Na prática, o dono do negócio cuida de 2 frentes que dependem dele, e nenhuma passa pelo treino de um modelo:
- O site liberado no robots.txt para os robôs de busca com IA, como o OAI-SearchBot;
- Nome, endereço, telefone e serviços da empresa iguais no site, no perfil do Google e nos diretórios em que ela aparece.
O passo a passo para aparecer nas respostas do ChatGPT detalha a segunda frente, com o que conferir em cada perfil antes de mexer no site.
Como o robots.txt separa os robôs de treinamento dos robôs de busca com IA?
O robots.txt separa os robôs de treinamento dos robôs de busca com IA por nome: cada robô tem um grupo próprio no arquivo, e a regra escrita para um não vale para o outro. O GPTBot, da OpenAI, e o Google-Extended, criado pelo Google em 28 de setembro de 2023, são os controles de treino que mais aparecem nos sites de empresas de serviço.
Quais robôs pesam na decisão de uma empresa de serviço?
Três robôs pesam na decisão de uma empresa de serviço: o GPTBot e o OAI-SearchBot, da OpenAI, e o Google-Extended, do Google. A tabela mostra para que cada um serve e o que o bloqueio muda, segundo a documentação de quem opera o robô, para o dono do negócio decidir camada por camada.
| Robô | Quem opera | Para que serve | O que o bloqueio muda |
|---|---|---|---|
| GPTBot | OpenAI | Coleta conteúdo que pode ser usado no treino dos modelos | Indica que o conteúdo não deve entrar no treino |
| OAI-SearchBot | OpenAI | Mostra sites nos resultados da busca do ChatGPT | O site deixa de ser mostrado nas respostas de busca do ChatGPT |
| Google-Extended | Controla o uso do conteúdo no treino do Gemini e no embasamento dos apps do Gemini | Tira o conteúdo desses usos sem mudar a presença na Busca do Google |
Para a empresa que quer ser indicada pelas IAs, o robô que não pode ficar bloqueado é o de busca, como o OAI-SearchBot. O GPTBot e o Google-Extended tratam do treino, e o bloqueio deles é uma decisão sobre o uso do conteúdo, tomada em separado e sem efeito na presença do site na Busca do Google.
Como conferir se o robots.txt bloqueia o robô errado?
Para conferir se o robots.txt bloqueia o robô errado, compare o grupo de cada robô com a camada dele. As datas de cada robô e o anúncio de origem estão no catálogo de mudanças do Google e das IAs, que registra o GPTBot com a opção de bloqueio pelo robots.txt já no anúncio.
O verificador de robots.txt para robôs de IA da agência confere o arquivo do site contra 42 robôs de IA, 24 de busca com IA e 18 de treinamento e coleta, e mostra cada camada em separado, que é a forma de conferir se uma regra pensada para o treino barrou também um robô de busca.
Nas auditorias que conduzo, a decisão sobre o robots.txt sai em duas linhas separadas: uma para os robôs de treinamento, que a empresa pode bloquear sem sair das respostas de busca, e outra para os robôs de busca com IA, que ficam liberados para o site ser lido na hora da pergunta.
Lucas Ferraz, especialista em SEO
Quem quer saber como a própria empresa aparece nas respostas das IAs pode começar pelo trabalho de Generative Engine Optimization (GEO) para ser citado pelas IAs, que prepara o site para ser lido e citado por elas, ou pedir a análise gratuita da Lucas Ferraz SEO, que inclui a checagem de presença da empresa na IA. A agência tem mais de 195 avaliações no Google com nota 5,0, responde no mesmo dia útil e envia a proposta em até 48 horas.