Citações em RAG: como verificar fontes e afirmações

Um link válido pode acompanhar uma conclusão incorreta

Um agente responde que o cliente pode encerrar um contrato sem cobrança adicional. Ao lado, exibe um link para o contrato verdadeiro. O documento abre normalmente, mas a cláusula citada fala de cancelamento após o período mínimo. A resposta omitiu justamente essa condição.

A citação existe e continua insuficiente para sustentar a conclusão. Em sistemas de RAG, verificar fontes exige ligar cada afirmação relevante ao trecho que a apoia, preservar versão e contexto e conferir se as condições se aplicam ao caso.

O objetivo é reduzir o esforço de revisão sem criar confiança indevida. Um revisor deve conseguir localizar a evidência e entender a relação com a resposta, em vez de repetir toda a pesquisa para descobrir o que o agente quis citar.

Separe existência, suporte e aplicabilidade

Uma validação de citações precisa responder a perguntas diferentes.

Existência: o identificador aponta para um documento e um trecho reais? A localização pertence à versão usada na geração?

Suporte: o trecho sustenta a afirmação, incluindo valores, condições, negações e exceções? A resposta afirmou apenas o que a evidência permite?

Aplicabilidade: essa fonte governa o cliente, produto, período e situação em análise? Quem recebe a resposta está autorizado a consultar o conteúdo?

Um link pode passar no primeiro teste e falhar nos outros. Uma política vigente pode sustentar uma regra geral e ainda não permitir concluir que um caso individual atende aos requisitos. Essa separação deve aparecer tanto nos testes quanto na interface de revisão.

O guia sobre como reduzir alucinações de IA organiza os controles gerais de confiabilidade. Aqui, o objeto é mais delimitado: o vínculo verificável entre afirmação, trecho e versão documental.

Prepare referências estáveis na ingestão

Citar bem depende de como o documento entra no sistema. Se a extração apaga a numeração das páginas ou mistura a ordem das colunas, uma referência precisa na aparência pode levar o revisor ao lugar errado.

Cada unidade recuperável deve conservar:

• identificador do documento e da versão;
• identificador do trecho;
• título e caminho da seção;
• localização no original, como página ou intervalo de texto;
• relação com tabelas, definições e ressalvas necessárias;
• vigência e classificação de acesso;
• endereço de abertura resolvido pela aplicação.

Evite usar apenas a posição do trecho no índice como identidade permanente. Uma nova divisão do documento pode alterar essa posição. O chunking para RAG precisa produzir unidades que mantenham o vínculo com a fonte, inclusive quando o conteúdo for reprocessado.

Para documentos mutáveis, diferencie o endereço da versão consultada do endereço da versão atual. A interface pode mostrar ambos quando houver autorização. Não apresente uma página recém-atualizada como se fosse exatamente a evidência usada numa resposta antiga.

Peça referências estruturadas, não endereços inventados

Entregue ao gerador trechos com identificadores controlados e peça que a saída associe afirmações a esses identificadores. A aplicação resolve o link e a localização. O modelo não precisa construir uma URL a partir do nome de um arquivo.

Um registro conceitual pode conter:

afirmação: condição apresentada na resposta
tipo: fato documental ou inferência
fontes: identificadores dos trechos fornecidos
ressalvas: condições que restringem a afirmação
estado: sustentada, parcial, conflitante ou sem suporte

Esse formato é um contrato de aplicação, não uma garantia oferecida pelo modelo. Código deve rejeitar identificadores ausentes da entrada, referências duplicadas sem propósito e campos inválidos. A avaliação semântica verifica a relação entre conteúdo e conclusão.

Recursos nativos podem facilitar a localização. A documentação de citações da Anthropic descreve referências por páginas em PDFs, intervalos de caracteres em texto e blocos em conteúdo personalizado. Esses mecanismos ajudam a apontar para o material fornecido. A empresa ainda precisa testar suporte, vigência, permissão e adequação ao caso.

Valide por afirmação material

Uma frase longa pode conter várias alegações. “O contrato permite cancelar a qualquer momento, sem multa e por e-mail” exige suporte para momento, custo e canal. Uma passagem que confirma apenas o canal não sustenta a frase inteira.

Separe as afirmações que mudam uma decisão ou ação. Para cada uma, aplique uma sequência de verificação:

1. confirmar que a referência pertence ao pacote autorizado;
2. resolver a localização na versão correta;
3. comparar valores e termos verificáveis com a fonte;
4. avaliar se a passagem sustenta a conclusão completa;
5. localizar ressalvas que alterem seu alcance;
6. classificar lacunas ou contradições;
7. liberar, reformular ou encaminhar conforme o risco.

Cálculos derivados merecem tratamento próprio. Cite os dados de entrada, execute a conta em componente determinístico e identifique o resultado como cálculo. Não apresente o total calculado como uma frase literal do documento.

Uma inferência também pode ser útil, desde que identificada. “O prazo poderá ser afetado” pode ser uma interpretação de duas dependências em atraso. A interface deve mostrar os fatos e a regra de análise, sem atribuir a previsão diretamente a uma fonte que nunca a declarou.

Preserve as exceções e trate conflitos sem votação

Uma regra pode depender de uma ressalva em outra seção. A citação deve permitir abrir o conjunto necessário, e a resposta precisa carregar a condição relevante. Selecionar o parágrafo mais curto só para facilitar a leitura pode retirar o que determina a decisão.

Quando as fontes divergem, quantidade de referências não define autoridade. Três mensagens informais repetindo um prazo não substituem automaticamente uma alteração contratual aprovada. A fonte da verdade para agentes de IA define qual registro governa cada objeto.

Se não houver hierarquia resolvida, mostre o conflito e o responsável por decidir. Não una passagens incompatíveis em uma resposta intermediária que nenhuma fonte sustenta.

Para fontes sem vigência confirmada, indique a limitação e restrinja o uso. Evidência histórica pode explicar uma decisão passada sem autorizar uma ação atual.

A revisão automática também precisa ser avaliada

Um verificador baseado em LLM pode comparar afirmação e evidência, localizar omissões e sugerir classificação. Ele também pode aceitar uma relação fraca ou ignorar uma ressalva.

Use regras determinísticas para identidade, localização, formato, datas e valores quando aplicável. Use avaliação semântica para relações que exigem interpretação. Em decisões sensíveis, preserve revisão por alguém com autoridade e conhecimento do processo.

O desenho de LLM como juiz exige calibrar o avaliador contra exemplos revisados por pessoas. Pedir ao gerador que declare que suas próprias citações estão corretas não oferece verificação independente suficiente.

O estado “sem suporte” deve impedir que uma afirmação material seja enviada como fato. A rota pode remover a conclusão, solicitar a fonte ausente ou encaminhar o caso. Evite rodadas ilimitadas de reescrita até o verificador aceitar um texto.

Desenhe a interface para quem confere

O revisor precisa ver a afirmação, o trecho destacado, a localização e a versão. Se houver uma ressalva necessária, ela deve estar acessível junto da evidência principal.

Abrir a fonte deve revalidar a autorização do usuário. Uma resposta compartilhada não pode transformar um link interno em acesso público. O trecho copiado para a resposta também é dado e precisa respeitar o público destinatário, mesmo que o link permaneça protegido.

Quando o documento for revogado, trate respostas armazenadas e caches conforme a política de acesso e retenção. Preservar uma trilha de auditoria não autoriza redistribuir indefinidamente o conteúdo. O registro pode manter identificadores e estado de indisponibilidade quando o material não puder mais ser mostrado.

A interface deve distinguir “fonte não disponível para este usuário” de “fonte inexistente”. Não exponha títulos ou metadados sensíveis como justificativa para uma negativa de acesso.

Monte um teste de citações com falhas deliberadas

Use um conjunto autorizado de documentos e marque antecipadamente as afirmações aceitáveis e os trechos necessários. Inclua:

• referência correta com conclusão totalmente sustentada;
• documento verdadeiro que trata de outro assunto;
• regra correta com exceção omitida;
• citação de versão substituída;
• frase com uma parte sustentada e outra inventada;
• número correto atribuído ao período errado;
• inferência apresentada como declaração literal;
• localização quebrada depois de uma nova ingestão;
• destinatário sem permissão para ver o trecho;
• pergunta para a qual falta evidência.

Meça separadamente a cobertura de afirmações materiais, o suporte das afirmações citadas e a capacidade de abrir a localização correta. Acompanhe também uso de versão inadequada, violações de acesso, bloqueios indevidos e tempo de revisão.

Defina o denominador de cada indicador. Cobertura observa quantas afirmações que exigiam fonte receberam uma referência válida. Suporte observa se as afirmações citadas realmente são sustentadas. Uma resposta pode ter cobertura ampla e suporte ruim, portanto um único percentual esconde falhas importantes.

Critério para liberar respostas citadas

A implantação deve entregar um contrato de evidência, um resolvedor de referências, regras de versão e acesso, um verificador testado e uma rota para afirmações sem suporte. As metas devem refletir a consequência do processo; erros críticos de acesso ou compromisso indevido não podem desaparecer na média.

Comece por um tipo de documento e uma tarefa delimitada. Meça quanto trabalho o revisor ainda precisa refazer e quais erros escapam. Amplie somente quando a conferência estiver mais rápida sem perda de rigor.

Uma resposta verificável permite que a empresa descubra por que chegou àquela conclusão e corrija o ponto exato quando a fonte muda. Essa capacidade sustenta o uso de IA em atendimento, análise documental e decisões internas com responsabilidade clara.