Dados sintéticos para testar agentes de IA

Uma massa fictícia pode produzir uma confiança muito real e muito errada

Uma equipe cria dez clientes de teste. Todos possuem cadastro completo, e-mail válido, um pedido aberto e histórico organizado. O agente identifica cada caso, consulta a ferramenta e prepara a resposta esperada. A demonstração funciona.

Na produção, aparecem cadastros duplicados, nomes parecidos, campos ausentes, anexos ilegíveis, datas conflitantes, clientes com várias empresas e pedidos atualizados durante a execução. A massa artificial comprovou apenas que o caminho ideal estava programado.

Dados sintéticos para testar agentes de IA são registros e conteúdos gerados sem copiar diretamente pessoas, clientes ou transações reais, mas desenhados para reproduzir estruturas, regras, relações e falhas relevantes do processo. Eles ajudam a testar segurança, integração e comportamento com menor exposição.

O valor depende da representatividade operacional. Dados fictícios bonitos servem para apresentação. Uma massa sintética útil precisa desafiar a arquitetura.

Quando usar dados sintéticos

A geração sintética funciona bem em quatro situações.

Desenvolvimento inicial

Permite construir conectores, validar schemas e testar ferramentas antes de existir autorização para acessar produção.

Homologação funcional

Cria casos conhecidos com resultado esperado. A equipe consegue repetir o teste depois de mudar modelo, prompt, regra ou integração.

Segurança e exceções raras

Reproduz tentativas de acesso indevido, instruções maliciosas, conflitos de alçada e falhas que aparecem pouco no histórico, mas possuem consequência alta.

Demonstração e treinamento operacional

Permite mostrar o fluxo a usuários e fornecedores sem expor dados reais. O ambiente pode ser resetado depois de cada sessão.

Dados sintéticos também possuem limites. Eles podem não reproduzir linguagem, distribuição, sujeira, correlação e comportamento temporal da operação. Em estágios posteriores, a empresa pode precisar combiná-los com casos históricos tratados e execução em modo sombra para agentes de IA.

Diferencie dado sintético, anonimizado e mascarado

As três abordagens aparecem em ambientes de teste, mas partem de origens diferentes.

• dado sintético: criado para representar schema, regra ou cenário, sem vínculo esperado com um registro real;
• dado anonimizado: derivado de conteúdo real com transformação planejada para impedir associação razoável;
• dado pseudonimizado: preserva um caminho controlado de associação por código ou chave separada;
• dado mascarado: oculta parte do valor, mantendo formato ou confirmação parcial;
• cópia limitada de produção: preserva registros reais dentro de um recorte e de controles específicos.

A escolha depende da pergunta do teste. Um conector pode ser validado com registros sintéticos. A qualidade de classificação de mensagens reais talvez exija uma amostra histórica protegida. Um teste de desempenho precisa de volume e distribuição compatíveis, mesmo quando o conteúdo é artificial.

O comparativo sobre anonimização ou pseudonimização para IA ajuda a escolher o tratamento quando dados reais entram na massa.

Comece pelo contrato do processo

Gerar linhas parecidas com uma tabela de produção oferece pouca garantia. O desenho deve partir da unidade de trabalho que o agente executará.

Para um agente de contas a pagar, por exemplo, registre:

• eventos de entrada;
• documentos aceitos;
• campos obrigatórios e opcionais;
• relações entre fornecedor, pedido, recebimento e nota;
• regras de aprovação;
• estados possíveis;
• exceções conhecidas;
• ferramentas chamadas;
• efeitos bloqueados em teste;
• resultado esperado;
• evidência de conclusão.

A massa precisa representar esse contrato. Uma nota isolada com campos válidos não testa divergência com pedido, fornecedor bloqueado, aprovação ausente ou duplicidade de cobrança.

O artigo sobre testes de contrato para ferramentas de agentes mostra como verificar a fronteira entre o agente e cada API.

Modele cinco camadas de dados

1. Schema

Define campos, tipos, formatos, limites, enums e obrigatoriedade.

Exemplos:

• identificador com formato válido;
• data em padrões aceitos e rejeitados;
• moeda e precisão;
• campo opcional ausente;
• texto no tamanho máximo;
• enum novo ainda desconhecido pelo agente;
• anexo com extensão permitida e conteúdo incompatível.

2. Relações

Representa vínculos entre objetos. Agentes empresariais raramente operam sobre uma linha isolada.

Inclua:

• cliente com vários contatos;
• contato associado a duas empresas;
• pedido com entregas parciais;
• contrato com aditivo vigente;
• chamado ligado ao ativo errado;
• oportunidade com propostas concorrentes;
• documento referenciando um cadastro inexistente.

3. Regras de negócio

A massa deve ativar políticas e alçadas.

Exemplos:

• valor abaixo e acima do limite;
• condição especial para determinado segmento;
• prazo vencido;
• combinação que exige segunda aprovação;
• cliente bloqueado;
• operação permitida em uma unidade e proibida em outra.

4. Linguagem e conteúdo livre

Mensagens, documentos e notas precisam variar em estrutura.

Use:

• linguagem formal e coloquial;
• abreviações;
• erros de digitação;
• vários pedidos na mesma mensagem;
• referência indireta ao objeto;
• instrução dentro de anexo;
• conteúdo irrelevante ao redor do dado útil;
• contradição entre assunto e corpo;
• texto em mais de um idioma quando o processo recebe esse material.

5. Tempo e estado

O agente precisa lidar com mudança durante a execução.

Crie cenários com:

• registro atualizado depois da leitura;
• evento recebido fora de ordem;
• duplicidade do mesmo evento;
• tarefa retomada após expiração;
• documento que perde vigência;
• aprovação revogada;
• fila atrasada;
• cache com versão anterior;
• duas execuções concorrentes sobre o mesmo objeto.

Essas camadas transformam uma coleção de exemplos em representação do processo.

Crie uma matriz de cenários

Organize os casos por classe para evitar uma massa enorme e sem intenção.

| Classe | O que precisa provar | Exemplo | |---|---|---| | caminho comum | o fluxo conclui a unidade frequente | pedido completo e aprovado | | variação legítima | formatos diferentes chegam ao mesmo resultado | mensagem curta ou detalhada | | dado incompleto | o agente pede complemento ou escala | documento sem identificador | | conflito | a fonte divergente não é tratada como verdade | CRM e contrato com datas diferentes | | exceção de negócio | política e alçada prevalecem | valor acima do limite | | falha técnica | estado e tentativa permanecem seguros | timeout após escrita | | segurança | acesso e conteúdo indevidos são bloqueados | dado de outro cliente | | concorrência | duas execuções não duplicam efeito | evento repetido | | carga | latência, fila e custo permanecem dentro do limite | lote de documentos longos | | recuperação | retomada preserva o estado correto | execução interrompida no meio |

Cada cenário deve possuir:

• identificador;
• finalidade;
• pré-condições;
• entrada;
• dados relacionados;
• versão da massa;
• comportamento esperado;
• efeito proibido;
• evidência observável;
• critério de aprovação;
• procedimento de limpeza.

O guia sobre como avaliar agentes de IA ajuda a transformar os cenários em critérios e métricas.

Preserve a sujeira que muda decisões

Geradores costumam produzir distribuições perfeitas. Campos aparecem preenchidos, formatos seguem o schema e relacionamentos fecham sem divergência.

Inclua sujeira deliberada:

• espaços e caracteres inesperados;
• zeros à esquerda;
• nomes iguais para entidades diferentes;
• e-mails compartilhados;
• telefone reutilizado;
• campo vazio, nulo e ausente como estados distintos;
• anexo corrompido;
• OCR incompleto;
• moeda divergente;
• data ambígua;
• registro duplicado com pequenas diferenças;
• texto copiado no campo errado;
• identificador válido apontando para objeto incorreto;
• histórico interrompido;
• status incompatível com a sequência de eventos.

A sujeira precisa ser controlada e identificável. Erros aleatórios sem rótulo dificultam saber qual comportamento estava sendo avaliado.

Gere dados por regras, não por improviso

Uma abordagem prática combina três componentes.

Geradores determinísticos

Produzem IDs, datas, valores, relações e formatos sob regras explícitas. Use sementes fixas quando a repetição exata importa.

Templates de conteúdo

Criam documentos, mensagens e anexos com variáveis conhecidas. Variações podem alterar ordem, tom, quantidade e presença de campos.

Geração assistida por modelo

Pode ampliar diversidade de linguagem e criar versões de textos. A saída precisa passar por validação estrutural e revisão das classes críticas. O modelo gerador não deve definir sozinho a resposta correta do caso que será usado para avaliar outro modelo.

O resultado esperado vem de regra, fonte controlada ou revisão independente. Caso contrário, a empresa mede concordância entre duas gerações e chama isso de qualidade.

Quando um modelo participa da produção da massa, registre:

• modelo e configuração;
• instrução usada;
• campos de origem;
• validações aplicadas;
• itens rejeitados;
• revisão humana;
• versão final do cenário.

Garanta consistência entre objetos

Uma massa pode ter campos válidos e relações impossíveis. Antes de liberar, valide invariantes.

Exemplos:

• soma das parcelas corresponde ao total esperado;
• pedido pertence ao cliente indicado;
• fornecedor existe e possui estado compatível;
• aprovação foi emitida por identidade com alçada;
• data de encerramento não antecede a abertura;
• moeda e unidade estão coerentes;
• contrato vigente cobre o período;
• cada anexo pertence ao objeto referenciado;
• status final possui eventos anteriores exigidos;
• IDs usados nas mensagens existem nas fontes simuladas.

Transforme invariantes em testes automatizados. Uma falha na massa pode ser confundida com falha do agente e consumir horas de investigação.

Evite que a massa revele produção por acidente

Dado sintético precisa ser verificavelmente artificial. Copiar uma linha real e trocar o nome preserva valores, combinações e texto que podem continuar identificáveis.

Aplique controles:

• gere identificadores em namespace próprio;
• use domínios de e-mail reservados para teste;
• marque contas, arquivos e eventos com ambiente;
• bloqueie telefones e endereços capazes de receber comunicação real;
• mantenha listas de destinatários permitidos;
• procure documentos, nomes e tokens vindos de produção;
• impeça credenciais oficiais no ambiente;
• valide que sistemas externos apontam para sandbox ou mock;
• remova metadados de arquivos de origem;
• proíba restauração automática da massa em produção.

Um campo com aparência fictícia ainda pode produzir consequência se o canal ou a credencial forem reais. O ambiente de teste para agentes de IA organiza isolamento de identidades, ferramentas, memória e destinos.

Use dados sintéticos para testar segurança

Cenários adversariais podem ser criados sem expor informação real.

Inclua casos como:

• documento com instrução tentando alterar a tarefa;
• mensagem pedindo dados de outra conta;
• anexo que contém um segredo falso com padrão realista;
• destinatário externo não autorizado;
• tentativa de ampliar permissão;
• conteúdo que mistura dois clientes sintéticos;
• ação acima da alçada;
• parâmetro de ferramenta manipulado;
• texto que tenta esconder informação em formato alternativo;
• erro que imprime um token fictício no log;
• sequência que aciona retentativa e duplicidade.

Use marcadores sintéticos detectáveis para confirmar se o conteúdo atravessou uma fronteira. Um token falso com prefixo exclusivo pode revelar vazamento em log, memória ou artefato sem colocar uma credencial real em risco.

A página sobre red team para agentes de IA mostra como ampliar a avaliação para identidade, rede, ferramentas, filas e persistência.

Teste integrações com estados realistas

Mocks que sempre respondem 200 deixam o agente despreparado para a operação.

Simule:

• sucesso completo;
• sucesso parcial;
• resposta vazia;
• schema inesperado;
• registro ausente;
• conflito de versão;
• timeout antes da escrita;
• timeout depois da escrita;
• credencial expirada;
• permissão negada;
• limite de taxa;
• indisponibilidade temporária;
• retorno fora de ordem;
• duplicidade de webhook;
• confirmação posterior divergente.

Observe se a execução mantém estado, evita repetir efeitos, encaminha pendência e produz evidência suficiente.

O artigo sobre idempotência em agentes de IA detalha como repetir processamento sem repetir a consequência de negócio.

Compare distribuição sem copiar indivíduos

Testes de carga e qualidade podem exigir proporções próximas da operação. Use estatísticas agregadas aprovadas para orientar a geração.

Exemplos:

• quantidade de itens por pedido;
• faixas de tamanho dos documentos;
• proporção de campos ausentes;
• frequência de cada categoria;
• distribuição de idiomas;
• tempo entre eventos;
• taxa de duplicidade;
• profundidade dos históricos;
• número de relações por entidade;
• proporção de casos que exigem revisão.

Evite reproduzir combinações raras capazes de apontar para uma pessoa ou empresa. Trabalhe com faixas, limites e categorias suficientes para o teste.

A massa sintética precisa cobrir extremos mesmo quando eles são raros. Distribuição média ajuda a estimar operação; cenários dirigidos comprovam controles de alto impacto.

Valide a massa antes de avaliar o agente

A massa passa por um preflight próprio.

Validação estrutural

Schemas, tipos, formatos e relações atendem aos contratos definidos.

Validação semântica

Regras de negócio e sequências fazem sentido. Os casos impossíveis são intencionais e estão rotulados.

Validação de cobertura

Cada classe de cenário, política, ferramenta, exceção e efeito relevante possui pelo menos um teste.

Validação de privacidade

A equipe procura conteúdo real, identificadores, metadados, segredos e combinações indevidas.

Validação de segurança operacional

Destinatários, credenciais, ambientes e efeitos permanecem isolados.

Validação do resultado esperado

A resposta correta, o bloqueio ou o escalonamento foram definidos por regra ou revisão independente.

Validação de repetibilidade

A mesma versão pode ser recriada ou restaurada com os mesmos identificadores e expectativas.

Uma massa sem preflight transfere seus próprios defeitos para o placar do agente.

Versione cenários e resultados

Trate a massa como um artefato de engenharia.

Registre:

• versão;
• schema dos objetos;
• geradores e sementes;
• templates;
• regras de relação;
• cenários incluídos;
• resultados esperados;
• políticas exercitadas;
• data de criação;
• responsável;
• ambiente permitido;
• mudanças desde a versão anterior;
• prazo de retenção.

Quando o processo ou a integração muda, atualize os cenários afetados. Preserve versões antigas apenas quando são necessárias para regressão ou investigação.

O controle de mudanças para agentes de IA ajuda a ligar versão candidata, evidência e autorização de promoção.

Métricas para dados sintéticos

Acompanhe medidas que indiquem cobertura e utilidade:

• regras de negócio cobertas;
• classes de cenário com teste;
• ferramentas e operações exercitadas;
• exceções de alto impacto representadas;
• proporção de campos ausentes e conflitos;
• falhas encontradas primeiro em teste;
• falhas de produção sem cenário correspondente;
• casos sintéticos rejeitados no preflight;
• divergências no resultado esperado;
• tempo para recriar a massa;
• cenários sem dono ou versão;
• itens vencidos;
• dados reais detectados indevidamente;
• diferença entre distribuição sintética e agregados operacionais;
• qualidade do agente por classe de caso.

Quantidade de registros oferece pouca leitura isoladamente. Cem mil linhas podem testar menos decisões do que cinquenta cenários bem desenhados.

Erros comuns

Gerar somente o caminho feliz

O agente aprende a demonstração, enquanto exceções, conflitos e falhas continuam sem evidência.

Copiar produção e trocar identificadores diretos

Texto livre, metadados, valores raros e relações podem manter associação. Use transformação governada ou gere a massa a partir de regras.

Usar o mesmo modelo para criar e julgar

O sistema tende a premiar padrões produzidos por ele próprio. Defina expectativas por regra e revisão independente.

Criar dados sem relações

Cadastros isolados não exercitam pedidos, contratos, aprovações, eventos e consequências entre sistemas.

Confundir volume com cobertura

Muitos registros semelhantes não cobrem políticas, exceções e estados diferentes.

Deixar a massa envelhecer

Schemas, enums, integrações e processos mudam. Um conjunto antigo pode continuar verde porque parou de representar a operação.

Usar destinos reais

Dados fictícios ainda podem enviar e-mail, criar agenda, registrar cobrança ou alterar sistema oficial. Isole ferramentas e credenciais.

Checklist para uma massa sintética útil

• [ ] A unidade de trabalho e o resultado esperado estão definidos?
• [ ] Schema, relações, regras, linguagem e tempo fazem parte do desenho?
• [ ] Caminho comum, variações, conflitos e exceções estão cobertos?
• [ ] Falhas técnicas e cenários de segurança foram incluídos?
• [ ] A massa preserva sujeira operacional de forma controlada?
• [ ] Resultados esperados vêm de regra ou revisão independente?
• [ ] Invariantes entre objetos passam por validação automática?
• [ ] Identificadores e destinatários pertencem ao namespace de teste?
• [ ] Credenciais, ferramentas, memória e filas estão isoladas?
• [ ] Existe busca por conteúdo real e segredos antes da liberação?
• [ ] Distribuições usam apenas agregados compatíveis com a finalidade?
• [ ] Casos raros de alto impacto foram criados deliberadamente?
• [ ] Geradores, templates, sementes e versões estão registrados?
• [ ] Mudanças no processo disparam revisão da massa?
• [ ] Limpeza e descarte foram testados?

O objetivo é reproduzir decisões, não pessoas

Dados sintéticos ajudam a empresa a testar agentes cedo, repetir cenários e explorar falhas sem começar por uma cópia ampla da produção.

A massa ganha valor quando representa o trabalho: objetos relacionados, regras, exceções, linguagem imperfeita, estados concorrentes, falhas de integração e consequências bloqueadas. Ela também precisa de versão, expectativa independente e isolamento técnico.

O melhor conjunto sintético não imita cada detalhe de uma pessoa real. Ele reproduz as condições que mudam a decisão do agente e as barreiras que impedem uma resposta ruim de virar efeito operacional.