Linha de base para projeto de IA: como medir

A medição precisa começar antes do piloto

Uma equipe implanta um agente para preparar reuniões comerciais. Depois de quatro semanas, os usuários dizem que ganharam tempo. O painel mostra dezenas de briefings gerados. A demonstração parece boa, mas ninguém mediu quanto tempo a preparação consumia antes, quantas reuniões já começavam com contexto suficiente nem quanto trabalho de correção surgiu no novo fluxo.

A empresa tem uso, opinião e atividade. Ainda não tem comparação.

A linha de base de um projeto de IA registra como uma unidade de trabalho acontece antes da mudança. Ela mostra volume, esforço, tempo de ciclo, qualidade, custo, exceções e resultado em um período identificado. O piloto passa a ser comparado com uma referência observável, em vez de depender da memória da equipe ou de uma estimativa preparada depois.

Esse registro também evita um erro comum: atribuir à IA uma melhoria que veio de treinamento, limpeza de dados, redução de demanda ou mudança de equipe ocorrida no mesmo período.

O que a linha de base deve permitir decidir

A medição serve para responder decisões concretas:

o problema tem frequência e impacto suficientes para justificar intervenção;
o piloto melhorou a unidade de trabalho;
a melhoria permaneceu depois de incluir revisão e exceções;
o ganho apareceu no processo ou ficou preso em uma etapa;
a nova capacidade custa menos que as alternativas;
o escopo deve avançar, ser corrigido, permanecer limitado ou terminar.

Uma planilha extensa que não orienta essas decisões só cria trabalho de mensuração. A linha de base deve ser pequena o bastante para ser mantida e precisa o bastante para impedir uma conclusão conveniente.

O business case de agente de IA usa essa referência para ligar perda operacional, investimento e critérios de passagem. Aqui, o foco está no procedimento de medição.

Comece por uma unidade de trabalho

Projetos ficam difíceis de comparar quando o objeto medido é amplo, como "atendimento", "produtividade" ou "uso de IA". Escolha uma unidade que entra, percorre etapas e termina em uma condição verificável.

Exemplos:

chamado triado;
reunião preparada;
documento conferido;
pedido validado;
oportunidade com próxima ação;
cobrança acompanhada;
cadastro aprovado;
nota fiscal registrada;
solicitação de reembolso decidida.

Para cada unidade, escreva quatro definições:

Entrada: qual evento ou objeto inicia o trabalho.
Conclusão válida: qual estado prova que a unidade terminou corretamente.
Exceção: quais casos saem do caminho comum e por quê.
Sistema de confirmação: onde o desfecho oficial pode ser verificado.

"Briefing gerado" é uma conclusão fraca quando o objetivo é preparar a reunião. O resultado válido pode exigir conta correta, participantes identificados, histórico recente, pendências, fontes e entrega antes do horário previsto.

O artigo sobre como mapear processos para automação com IA ajuda a delimitar entrada, decisão, exceção e saída quando a unidade ainda está confusa.

Desenhe o período de observação

Uma semana conveniente pode distorcer a referência. O período precisa representar a rotina que o piloto deverá enfrentar.

Observe:

dias de maior e menor volume;
fechamento mensal ou sazonalidade;
campanhas e eventos comerciais;
férias e trocas de equipe;
mudanças recentes em sistemas;
filas acumuladas antes do início;
casos comuns e exceções relevantes.

Processos frequentes podem formar uma base útil em poucas semanas. Processos mensais ou sazonais exigem mais cuidado. Não existe um prazo universal. O critério é capturar variação suficiente para que o piloto não seja comparado com uma fotografia escolhida por conveniência.

Registre data inicial, data final e eventos que afetaram o período. Se a operação passou por uma promoção, migração de CRM ou ausência de uma pessoa crítica, essa informação precisa acompanhar os números.

Escolha a amostra sem apagar o trabalho difícil

Medir somente casos fáceis produz uma linha de base otimista e um piloto artificialmente estável. Medir apenas problemas extremos também distorce o processo.

Separe a população em classes que mudam esforço, qualidade ou risco. Um fluxo de análise de documentos pode distinguir:

documento completo e legível;
campo obrigatório ausente;
divergência entre fontes;
baixa qualidade de imagem;
formato não previsto;
dado sensível;
caso fora da política;
documento duplicado.

A amostra deve preservar a participação aproximada dessas classes ou declarar quando alguma foi ampliada para testar risco. Casos raros com consequência alta merecem análise própria, mesmo que não alterem a média.

Registre também exclusões. Se o piloto não atender determinado cliente, região, tipo de contrato ou faixa de valor, a linha de base comparável deve aplicar o mesmo recorte.

Meça sete dimensões do processo atual

Volume elegível

Conte quantas unidades poderiam entrar no novo fluxo. Separe volume total de volume elegível. Um agente limitado a pedidos padronizados não deve receber crédito por todo o movimento da área.

Registre entradas, conclusões, abandonos e estoque inicial da fila. Sem essa separação, uma redução de backlog pode parecer aumento permanente de capacidade.

Esforço humano

Meça tempo ativo de trabalho por função. Inclua busca, leitura, conferência, correção, registro, cobrança de pendência e coordenação.

Use amostragem direta, apontamento simples ou registros do sistema. Evite pedir que a equipe estime de memória quanto tempo gasta em um mês. Pessoas lembram melhor dos casos difíceis e arredondam tarefas fragmentadas.

Tempo de ciclo

Tempo ativo e tempo de ciclo respondem perguntas diferentes. Uma unidade pode consumir vinte minutos de trabalho e levar três dias para terminar porque espera documento, aprovação ou atualização de outro sistema.

Registre marcos com horário quando possível:

entrada;
início do tratamento;
primeira pendência;
retorno da pendência;
decisão;
confirmação no sistema oficial.

Essa sequência mostra se a IA reduziu trabalho, espera ou ambos.

Qualidade

Defina critérios observáveis antes de contar acertos. Uma saída pode estar bem escrita e usar o cliente errado. Pode classificar corretamente e deixar de registrar a decisão.

Use uma rubrica curta, ligada ao processo. Por exemplo:

objeto correto;
dados obrigatórios presentes;
fontes vigentes;
regra aplicada corretamente;
saída no formato esperado;
registro confirmado;
ausência de consequência proibida.

Classifique cada unidade como válida sem correção, válida com correção pequena, corrigida de forma relevante, rejeitada ou erro não detectado. O último grupo precisa de revisão por amostragem, porque o processo pode aceitar uma saída ruim sem gerar chamado imediato.

Retrabalho e transferência

Conte quantas unidades retornam, quantas vezes mudam de responsável e quais etapas são repetidas. A automação pode acelerar uma triagem e aumentar correções no time seguinte.

Registre quem recebeu o retrabalho e quanto tempo gastou. Ganho local que apenas desloca esforço não aumenta capacidade operacional.

Custo

Associe esforço humano, sistemas, fornecedores e perdas diretamente observáveis à unidade. Quando o custo exato não estiver disponível, use uma faixa e declare a premissa.

Separe:

custo fixo do processo;
custo variável por unidade;
custo de exceções;
custo de correção;
custo de atraso quando houver evidência.

A conta inicial não precisa transformar todo risco em reais. Medidas operacionais confiáveis valem mais que uma perda financeira inventada para completar uma apresentação.

Resultado do processo

Escolha um indicador que mostre por que a unidade existe. Exemplos:

chamado encaminhado ao responsável correto dentro do prazo;
oportunidade ativa com próxima ação confirmada;
documento aprovado na primeira passagem;
pedido liberado sem pendência posterior;
reunião realizada com briefing disponível;
cobrança tratada sem duplicidade.

O resultado evita que a equipe celebre produção de artefatos que ninguém usa.

Defina a fonte de cada medida

Toda métrica precisa de origem. Uma tabela simples resolve:

| Medida | Definição | Fonte | Frequência | Responsável | |---|---|---|---|---| | volume elegível | unidades dentro do escopo aprovado | sistema operacional | semanal | dono do processo | | tempo ativo | minutos efetivos por função | amostra observada | durante a coleta | operações | | tempo de ciclo | entrada até confirmação | eventos do sistema | contínua | responsável técnico | | saída válida | unidade que cumpre a rubrica | revisão amostral | semanal | especialista da área | | retrabalho | unidade reaberta ou corrigida | fila e registro de revisão | semanal | dono do processo | | custo por unidade | custo do período dividido por unidades válidas | financeiro e operação | mensal | finanças |

Evite misturar fontes sem explicar prioridade. Se o sistema registra conclusão e a planilha da equipe marca pendência, alguém precisa decidir qual evento governa a comparação e investigar a divergência.

O guia sobre fonte da verdade para agentes de IA mostra como definir autoridade por objeto, campo e evento.

Preserve a referência antes de mudar o fluxo

A implantação costuma começar junto com limpeza de cadastro, padronização de procedimento e treinamento. Essas mudanças podem ser necessárias, mas alteram o ponto de comparação.

Guarde:

definição das métricas;
recorte da população;
período observado;
dados agregados e amostras permitidas;
regras vigentes;
versões de formulários e sistemas;
eventos que afetaram a operação;
responsável que validou a base.

Se o processo melhorar antes de o agente entrar, registre uma nova fase. Compare o piloto com o processo já redesenhado e, separadamente, documente o ganho obtido pela melhoria operacional. Assim, a empresa descobre qual parcela veio da organização do trabalho e qual dependeu da IA.

Construa a comparação do piloto

A linha de base e o piloto precisam usar as mesmas definições. Compare:

mesma unidade de trabalho;
mesma condição de conclusão;
mesmo escopo elegível;
classes de caso equivalentes;
mesma rubrica de qualidade;
custos humanos e técnicos incluídos;
período e eventos identificados.

Separe três grupos quando possível:

unidades tratadas pelo processo anterior;
unidades tratadas pelo agente com revisão;
unidades elegíveis que não chegaram ao novo fluxo.

O terceiro grupo revela adoção e falhas de roteamento. Um piloto pode funcionar bem nos casos que recebe e continuar irrelevante para a maior parte do volume.

Para agentes que ainda não podem agir, o modo sombra permite comparar a trajetória proposta com a operação real, preservando as duas evidências.

Controle mudanças que contaminam a leitura

Durante o piloto, registre fatores que podem alterar o resultado:

troca de pessoas;
treinamento adicional;
mudança de preço ou oferta;
campanha comercial;
nova política;
correção de dados;
atualização de sistema;
mudança de modelo;
aumento ou queda de volume;
alteração no critério de elegibilidade.

Nem toda mudança invalida o teste. Ela precisa estar visível. Quando o efeito for grande, divida a análise por fase em vez de produzir uma média que combina operações diferentes.

Use metas que respeitem qualidade e risco

Uma meta de velocidade isolada incentiva atalhos. Defina critérios de passagem em conjunto.

Um piloto pode exigir:

qualidade mínima por classe de caso;
zero ocorrência de erros impeditivos;
redução de esforço humano;
tempo de ciclo dentro da faixa;
escalonamento correto das exceções;
custo por unidade válida dentro do limite;
adoção mínima no volume elegível;
confirmação das ações no sistema oficial.

A média não compensa um erro crítico. Se o agente mistura clientes, executa sem autorização ou omite uma obrigação relevante, a decisão pode ser interromper mesmo com ganho de tempo nos casos comuns.

Os critérios de aceite para agentes de IA ajudam a transformar essas condições em uma decisão de entrada ou progressão.

Erros comuns na criação da linha de base

Medir depois que o piloto começou

A equipe reconstrói o passado por memória ou escolhe um mês que favorece o resultado. Quando a medição prévia não existe, declare a limitação e use registros históricos disponíveis. Não apresente estimativa tardia como observação.

Contar horas poupadas sem medir esforço restante

O agente reduz a execução inicial, mas adiciona revisão, correção e suporte. Meça o fluxo completo.

Comparar volume total com volume elegível

Uma solução limitada recebe crédito por unidades que nunca poderia processar. Fixe o recorte antes.

Usar média sem distribuição

Dois processos com média de uma hora podem ter comportamentos opostos. Um é estável. O outro alterna cinco minutos e dois dias. Registre percentis, faixas ou classes quando a variação muda a decisão.

Ignorar fila e tempo de espera

A equipe trabalha mais rápido, mas a aprovação continua parada. O indicador local melhora e o cliente percebe o mesmo prazo.

Alterar a rubrica durante o teste

A qualidade parece subir porque os critérios ficaram mais permissivos. Versione a rubrica e reaplique-a em uma amostra anterior quando houver mudança necessária.

Converter toda capacidade em economia financeira

Tempo liberado só vira redução de custo quando a empresa captura essa capacidade. O guia de ROI de agentes de IA separa ganho operacional, benefício financeiro e atribuição.

Modelo mínimo de uma ficha de linha de base

Uma ficha executiva pode conter:

processo e dono;
unidade de trabalho;
entrada e conclusão válida;
escopo elegível e exclusões;
período e eventos relevantes;
classes de caso;
volume e fila;
esforço humano por função;
tempo de ciclo;
qualidade e retrabalho;
custo por unidade válida;
resultado do processo;
fontes das medidas;
limitações da coleta;
critérios de comparação do piloto;
data e responsáveis pela validação.

Anexe dados detalhados somente quando forem necessários para auditoria ou análise. A ficha principal precisa permitir que operação, finanças e tecnologia entendam a mesma referência.

Checklist antes de iniciar o piloto

[ ] A unidade de trabalho possui entrada e conclusão verificáveis?
[ ] O volume elegível está separado do volume total?
[ ] O período captura variação suficiente do processo?
[ ] Casos comuns, exceções e riscos estão representados?
[ ] Tempo ativo e tempo de ciclo são medidos separadamente?
[ ] A rubrica define qualidade observável?
[ ] Retrabalho em etapas posteriores entra na conta?
[ ] Cada métrica possui fonte, definição e responsável?
[ ] Mudanças paralelas serão registradas?
[ ] O custo usa premissas visíveis?
[ ] O resultado do processo está ligado à unidade?
[ ] O piloto usará o mesmo recorte e as mesmas definições?
[ ] Erros impeditivos e critérios de passagem foram definidos?
[ ] A referência foi validada pelo dono do processo?

Uma boa linha de base protege a decisão

A linha de base não precisa congelar a empresa nem atrasar todo experimento. Ela precisa registrar o processo com detalhe suficiente para que a comparação sobreviva a perguntas básicas sobre escopo, qualidade, custo e resultado.

Defina a unidade, observe um período representativo, preserve casos difíceis e documente as fontes. Depois compare o piloto com o fluxo completo, incluindo revisão, exceções e adoção. A empresa passa a financiar evidência em vez de comprar uma história sobre horas poupadas.