Por que a IA inventa
Alucinação é quando o modelo produz uma informação que parece correta e não é. Não é defeito de fabricação: modelo de linguagem é treinado pra produzir a continuação mais plausível de um texto, e plausível não é sinônimo de verdadeiro. Perguntado sobre algo que não sabe, ele preenche o espaço com o que soa certo — do mesmo jeito que uma pessoa insegura completa uma frase pra não ficar em silêncio.
Isso fica pior justamente onde mais dói: quanto mais específica a pergunta (número de cláusula, prazo, valor, artigo de norma), mais fácil o modelo produzir algo formatado corretamente e completamente falso. Resposta inventada raramente parece esquisita — ela parece boa.
A conclusão prática: confiar no modelo "solto" pra responder sobre a sua operação é uma decisão de risco. Não porque a tecnologia seja ruim, mas porque ela não foi feita pra isso sem apoio.
O custo do erro, por área
- Contratos. Uma cláusula citada errada vira decisão jurídica errada — e a resposta convincente é pior que a ausência de resposta, porque ninguém vai conferir.
- Fiscal e financeiro. Número inventado em relatório contamina decisão de compra, preço e caixa. O erro só aparece quando alguém cruza com a fonte, semanas depois.
- Saúde e serviços regulados. Orientação inventada pode ferir alguém e cria responsabilidade direta pra quem publicou a ferramenta.
- Compliance. Informação incorreta sobre norma vigente vira multa. E a norma muda; o documento antigo continua no acervo.
- Atendimento. Preço ou prazo inventado vira promessa que a empresa terá que honrar ou desmentir. Nos dois casos, custa.
Os quatro controles que fazem a diferença
1. Base fechada: responder só a partir dos seus documentos
O sistema não responde do que "sabe do mundo": ele busca no seu acervo, encontra os trechos relevantes e responde a partir deles. Isso troca o problema de "o modelo lembra certo?" pelo problema de "a busca achou o trecho certo?" — que é infinitamente mais fácil de verificar e melhorar.
2. Citação da fonte, com data
Cada resposta vem com a referência do trecho que a embasou: documento, página, cláusula e, quando existe, a versão ou data. A citação não serve só pra provar que não foi inventado; serve pra você julgar se a fonte ainda vale. Documento vencido produz resposta tecnicamente correta e praticamente errada.
3. O direito de dizer "não encontrei"
O caminho de "não achei isso na base" precisa ser construído de propósito e testado como qualquer outro. É o controle mais negligenciado e o que mais evita estrago — porque devolve pra pessoa a decisão de procurar em outro lugar, em vez de entregar uma certeza falsa.
4. Aprovação humana no que tem consequência
Regra simples: se a ação é difícil de desfazer ou afeta terceiro, o sistema prepara e para. Pagar, assinar, enviar ao cliente, apagar. O ganho de tempo continua inteiro — o que a IA faz é montar o caso completo em segundos pra decisão levar um minuto em vez de meia hora.
Como testar antes de confiar
Vale fazer esse teste em qualquer ferramenta, inclusive na nossa:
- Três perguntas com resposta conhecida. Você já sabe a resposta; confira se a citação aponta pro trecho certo, não só se o texto soa correto.
- Uma pergunta sem resposta na base. Invente um detalhe que não existe nos documentos. O sistema tem que dizer que não encontrou. Se ele responder bem, reprovou.
- Uma pergunta com dois documentos que se contradizem. O bom comportamento é apontar a contradição e mostrar as duas fontes — não escolher uma sem avisar.
- Uma pergunta sobre documento antigo. Veja se a resposta indica a data. É o teste que mais reprova ferramenta boa.
Dado do cliente: o que perguntar a qualquer fornecedor
Duas perguntas separam contrato sério de promessa de vendedor: o meu conteúdo pode ser usado pra treinar modelo? e onde ele fica guardado e por quanto tempo? As duas têm que estar respondidas por escrito.
Na Astero, o conteúdo do cliente é usado pra responder e nunca pra treinar modelo; o dado é isolado por cliente, trafega e fica cifrado, e o acesso é controlado e registrado. O detalhamento — incluindo onde a infraestrutura roda e como tratamos retenção — está na política de segurança e na política de privacidade.
O outro lado do risco
Alucinação é o risco de dentro do sistema. Tem também o de fora: a própria aplicação onde a IA roda pode estar exposta — chave de acesso escrita no código, dado de um cliente visível para outro, painel de teste ligado. Os dois riscos costumam aparecer no mesmo lugar, porque nascem da mesma pressa. Veja segurança de apps criados com IA.
Como escolher uma ferramenta que não inventa
A pergunta mais importante na hora de escolher é: o que acontece quando a IA não sabe a resposta? Se a resposta for "ela gera algo plausível", procure outra. Se for "ela diz que não encontrou e mostra onde procurou", você está diante de um sistema desenhado pra trabalho de verdade.
É assim que a Astero constrói os agentes de documentos e conhecimento. Fale com a gente e faça o teste das quatro perguntas com o seu próprio acervo.
Perguntas frequentes
Trocar por um modelo melhor resolve a alucinação?
Reduz, não resolve. Modelo melhor erra menos e erra de forma mais convincente, o que em processo de trabalho pode ser pior. O que resolve é de arquitetura: responder a partir dos seus documentos, citar a fonte e ter um caminho de "não encontrei". Isso vale pra qualquer modelo.
Como eu testo isso antes de confiar?
Faça três perguntas cuja resposta você já sabe e uma cuja resposta não existe na base. Nas três primeiras, confira se a citação aponta pro trecho certo. Na quarta, veja se o sistema diz que não encontrou. Um sistema que responde bonito a pergunta sem resposta reprovou no teste.
A IA pode ler documento desatualizado e responder errado?
Pode, e essa é a falha mais comum depois da invenção pura: a resposta está certa em relação ao documento e errada em relação à realidade, porque o documento venceu. Por isso a citação da fonte tem que trazer também a data ou a versão — quem lê precisa conseguir julgar se aquilo ainda vale.
Meus documentos vão treinar algum modelo?
Na Astero, não: o conteúdo do cliente é usado para responder, nunca para treinar. Vale exigir isso por escrito de qualquer fornecedor, porque a configuração padrão de várias ferramentas de prateleira é o contrário.
Em quais decisões a IA não deve agir sozinha?
Regra prática: se a ação é difícil de desfazer ou afeta terceiros, ela para e espera aprovação. Pagar, assinar, enviar ao cliente, apagar, alterar cadastro fiscal. Nesses casos o valor da IA é preparar o caso completo em segundos — a decisão continua sendo de uma pessoa.
E se a resposta errada já tiver sido usada?
É por isso que rastro importa tanto quanto acerto. Com registro de qual documento embasou cada resposta, dá pra achar todo mundo que foi afetado quando um erro é descoberto. Sem registro, você descobre o erro e não sabe o tamanho do estrago.