Como medir produtividade de IA no desenvolvimento

Código mais rápido pode deixar o sistema mais lento

Uma equipe adota assistentes e agentes de programação. O volume de código cresce. Mais pull requests chegam à revisão. Os desenvolvedores relatam economia de tempo. A liderança conclui que a produtividade aumentou.

Algumas semanas depois, a fila de revisão está maior, defeitos voltam para o time e pessoas experientes passam mais horas conferindo mudanças geradas por colegas e agentes. A etapa de escrita acelerou. O fluxo completo não acompanhou.

Medir produtividade de IA no desenvolvimento de software exige observar desde a tarefa pronta até a mudança operando com qualidade. Linhas de código, quantidade de prompts e sugestões aceitas descrevem uso. A decisão de ampliar investimento precisa de tempo de ciclo, revisão, retrabalho, estabilidade, custo e capacidade realmente aproveitada.

Comece pela decisão que a medição precisa sustentar

Uma avaliação pode responder perguntas diferentes:

a ferramenta reduz tempo para uma classe específica de tarefa?
o agente ajuda pessoas novas a trabalhar em partes desconhecidas do sistema?
a revisão consome menos ou mais esforço?
a equipe entrega mudanças válidas com menor custo total?
a capacidade liberada melhora roadmap, manutenção ou resposta a incidentes?
quais tarefas deveriam continuar assistidas?
quais acessos e autonomias podem ser ampliados?
o contrato deve crescer, permanecer igual ou ser encerrado?

Sem uma decisão explícita, o painel acumula indicadores que contam histórias incompatíveis. Uso sobe e parece adoção. Pull requests sobem e parecem entrega. Tempo de escrita cai e parece capacidade. Nenhum desses sinais confirma sozinho uma melhoria do sistema de desenvolvimento.

Defina a unidade de trabalho antes de comparar

“Desenvolver software” mistura tarefas com perfis muito diferentes. Uma correção pequena e reproduzível, a investigação de um incidente e a mudança de arquitetura não possuem a mesma incerteza, risco ou carga de revisão.

Crie classes de trabalho comparáveis, por exemplo:

correção de bug com reprodução conhecida;
criação de teste a partir de critério aprovado;
atualização mecânica de dependência;
refatoração delimitada;
documentação ligada a uma mudança;
exploração de código existente;
protótipo descartável;
implementação de funcionalidade pequena;
investigação de incidente;
migração com efeito em dados.

Para cada classe, registre tamanho, criticidade, familiaridade com o código, qualidade do requisito e dependências. Comparar tarefas simples assistidas por IA com mudanças complexas feitas sem IA fabrica um ganho de produtividade.

O guia sobre agentes de IA no desenvolvimento de software detalha tarefas, ambientes, critérios e revisão. A medição começa depois dessa delimitação: o que conta como unidade válida e quais resultados permitem expandir o uso.

Construa uma linha de base do fluxo atual

Antes de avaliar a ferramenta, registre como a classe de trabalho funciona hoje. Uma linha de base mínima inclui:

quantidade de tarefas elegíveis;
tempo de espera antes do início;
esforço de exploração e entendimento;
tempo de implementação;
tempo até a primeira revisão;
esforço de revisão;
quantidade de rodadas;
tempo até aprovação;
falhas de integração e testes;
retrabalho depois do merge;
incidentes ou reversões;
custo humano e de infraestrutura;
tempo até o resultado chegar ao usuário ou processo.

Use um período representativo. Lançamentos, migrações, férias, incidentes e mudanças de equipe alteram o fluxo. A linha de base não precisa ser perfeita, mas precisa mostrar essas condições para que a ferramenta não receba crédito por uma mudança de contexto.

Meça o ciclo em etapas, não somente a média final

O tempo total pode melhorar enquanto uma etapa piora. Separe o fluxo.

Da tarefa pronta ao início

Mede fila e capacidade disponível. Um agente pode permitir que uma pessoa inicie mais trabalho, mas também pode aumentar itens simultâneos e alongar espera na revisão.

Do início ao pull request revisável

Inclui exploração, implementação, testes e preparação do artefato. Defina “revisável”: critérios atendidos, testes executados, escopo legível, riscos registrados e ausência de falhas impeditivas conhecidas.

Da abertura à primeira revisão

Mostra capacidade da etapa seguinte. Se a geração acelera e a revisão não recebe suporte ou prioridade, o gargalo apenas muda de lugar.

Da primeira revisão à aprovação

Revela rodadas, correções e clareza da mudança. Pull requests maiores ou com justificativa fraca podem reduzir tempo de implementação e aumentar a carga de quem revisa.

Da aprovação à produção

Inclui integração, implantação, verificações, janelas e controles. O agente não deve receber crédito ou culpa por toda espera, mas a análise precisa mostrar onde o ganho deixou de atravessar o sistema.

Da produção ao resultado confirmado

Uma mudança publicada ainda pode não resolver a necessidade. Confirme comportamento, adoção e efeito esperado. Para correções, verifique se o defeito deixou de ocorrer. Para funcionalidades, observe se a entrega chegou ao uso pretendido.

Use mediana e distribuição, não apenas média. Poucos itens muito longos podem distorcer a leitura. Percentis ajudam a enxergar caudas em que a IA encontra ambiguidade, dependência ou falha de contexto.

Qualidade precisa entrar antes da velocidade

Uma equipe pode reduzir o tempo até o pull request e perder o ganho em correção. Defina qualidade por sinais observáveis:

critérios de aceitação atendidos;
testes relevantes aprovados;
defeitos encontrados na revisão;
defeitos encontrados depois do merge;
mudanças revertidas;
incidentes ligados à alteração;
vulnerabilidades introduzidas;
dependências desnecessárias;
contratos quebrados;
código duplicado ou complexidade evitável;
documentação exigida e atualizada;
aderência à arquitetura aprovada.

Separe gravidade. Um ajuste de estilo e uma falha de autorização não podem entrar na mesma contagem.

Também classifique origem provável: requisito incompleto, contexto ausente, interpretação do agente, teste fraco, revisão superficial, integração, ambiente ou decisão humana. Culpar a ferramenta por toda falha impede correção. Isentá-la por toda falha transforma avaliação em defesa do investimento.

Inclua o esforço de revisão humana

A revisão é uma das contas mais omitidas. O agente pode produzir uma mudança em minutos e exigir horas de leitura, reprodução e reconstrução de intenção.

Registre:

minutos de revisão por unidade;
número de revisores;
senioridade necessária;
rodadas de comentário;
percentual aprovado sem correção relevante;
percentual corrigido pelo autor;
percentual refeito por outra pessoa;
mudanças abandonadas;
tempo para validar testes e evidências;
interrupções causadas aos especialistas.

Observe também a qualidade do pacote entregue. Resumo, arquivos alterados, comandos executados, testes, limitações e riscos reduzem trabalho de conferência. Um diff sem narrativa pode deslocar para o revisor toda a economia obtida na produção.

A avaliação independente de agentes de IA ajuda a evitar que o mesmo sistema produza, teste e aprove seu próprio trabalho sem contraponto suficiente.

Use coortes para separar ferramenta de seleção

Em 8 de setembro de 2026, a OpenAI publicou um caso sobre a adoção do Codex na 1Password. Segundo o relato, a coorte principal de usuários apresentou melhoria medida de 20,9% em produtividade e redução de 10,9% na mediana do ciclo de pull requests. A empresa também descreveu uso em planejamento, implementação, revisão, testes, segurança e investigação de produção.

Os resultados pertencem a um caso publicado pelo fornecedor e não devem ser transferidos para outra empresa. A informação metodologicamente útil está na combinação de uma coorte identificada, uma métrica de ciclo e um modelo explícito de capacidade. Ela oferece um ponto de partida melhor que contar sugestões aceitas.

Para montar coortes internas:

defina quem está elegível;
registre experiência, função, stack e área;
marque data de início e intensidade de uso;
classifique tarefas comparáveis;
preserve um período anterior;
documente outras mudanças no processo;
compare distribuição, qualidade e custo;
acompanhe adoção e abandono;
revise resultados por classe de trabalho;
evite divulgar ranking individual.

Uma coorte de voluntários pode concentrar pessoas mais experientes ou interessadas. Um time piloto pode receber treinamento e suporte que o restante não possui. Registre essas diferenças. O objetivo é entender sob quais condições o ganho apareceu.

Evite uma causalidade maior que o desenho permite

Antes e depois mostra associação. Não garante que a IA causou toda a mudança.

No mesmo período, a empresa pode ter:

melhorado requisitos;
reduzido tamanho de lotes;
contratado pessoas;
removido uma dependência;
atualizado a suíte de testes;
alterado arquitetura;
mudado prioridade;
acumulado experiência no domínio;
trocado processo de revisão;
passado por sazonalidade de demanda.

Documente intervenções concorrentes. Quando possível, use equipes, períodos ou classes comparáveis. Experimentos rígidos nem sempre cabem na operação, mas transparência sobre o desenho evita transformar qualquer melhora em propaganda interna.

Adoção precisa ser medida por trabalho elegível

Usuários ativos e mensagens enviadas indicam contato com a ferramenta. Adoção operacional pede denominador.

Meça:

pessoas elegíveis e pessoas que usam;
tarefas elegíveis e tarefas assistidas;
frequência por classe de trabalho;
uso eventual e uso recorrente;
abandono antes do artefato;
trabalho refeito fora do fluxo;
motivos para não usar;
confiança por tarefa;
tempo até a pessoa incorporar o método;
dependência de suporte especializado.

Uma pessoa pode abrir a ferramenta diariamente e continuar fora das tarefas que justificaram o contrato. Outra pode usá-la poucas vezes em investigações valiosas. O volume bruto não mostra aderência ao trabalho.

O plano de adoção de IA na empresa ajuda a ligar rotina, dono, contexto, confiança e valor antes da expansão.

Transforme tempo poupado em capacidade com prudência

Reduzir esforço cria capacidade potencial. O valor aparece quando essa capacidade recebe destino.

A equipe pode usar o tempo para:

reduzir fila do roadmap;
corrigir dívida técnica;
ampliar cobertura de testes;
acelerar resposta a incidentes;
investigar causas recorrentes;
atender mais produtos sem contratação proporcional;
liberar especialistas de tarefas repetitivas;
reduzir hora extra ou fornecedor;
evitar uma contratação prevista.

Defina a taxa de captura:

capacidade capturada = horas liberadas válidas × parcela redirecionada para trabalho prioritário

Se o calendário continua cheio de reuniões e o backlog não muda, a economia estimada pode não ter virado capacidade empresarial. Horas liberadas precisam aparecer em menor fila, mais trabalho concluído, custo evitado ou melhoria de qualidade.

O artigo sobre ROI de agentes de IA detalha custo total, adoção, qualidade e captura financeira.

Inclua todos os custos relevantes

A licença ou o consumo do modelo representa apenas uma parte. Registre:

assinatura e uso variável;
infraestrutura de execução;
ambientes isolados;
integrações;
observabilidade;
gestão de identidade e segredos;
treinamento;
preparação de contexto e instruções;
revisão humana;
manutenção de skills e políticas;
avaliação e regressão;
suporte;
falhas e retrabalho;
resposta a incidentes;
gestão de fornecedores.

Calcule custo por unidade válida, não custo por geração.

custo por unidade válida = custo total do período ÷ unidades concluídas com qualidade

Essa medida pode melhorar mesmo com aumento de gasto, desde que a capacidade válida cresça mais. Também pode piorar enquanto o custo por token cai, caso revisão e retrabalho aumentem.

Um painel executivo pequeno

Um painel inicial pode ter oito indicadores:

tarefas elegíveis;
adoção sobre tarefas elegíveis;
mediana do ciclo por classe;
percentual de unidades aprovadas sem retrabalho relevante;
esforço humano de revisão por unidade;
defeitos após o merge por gravidade;
custo total por unidade válida;
capacidade liberada e parcela capturada.

A operação técnica pode acompanhar latência, disponibilidade, chamadas, falhas de ferramenta e consumo. A liderança precisa enxergar fluxo, qualidade, custo e destino do ganho.

Abra os números por classe de tarefa, equipe e período. Um indicador agregado pode esconder ganho grande em correções pequenas e perda em mudanças com maior ambiguidade.

Sinais de que o painel está premiando comportamento ruim

Revise a medição quando aparecerem estes sintomas:

pull requests menores são fracionados apenas para elevar contagem;
pessoas aceitam sugestões para melhorar taxa de uso;
agentes geram testes que repetem a própria implementação;
mudanças chegam à revisão antes de estarem verificadas;
documentação cresce sem ser consultada;
revisores aprovam por exaustão;
trabalho complexo é evitado porque piora o indicador;
falhas são atribuídas a categorias leves;
horas poupadas são convertidas em dinheiro sem uso confirmado;
equipes disputam ranking de volume.

Toda métrica vira pressão. Combine indicadores para reduzir atalhos e use análise qualitativa de amostras. O número deve abrir investigação, não encerrar conversa.

Como executar um piloto de medição

Semana 0: preparar o desenho

Escolha uma ou duas classes de tarefa. Defina critérios de inclusão, qualidade, segurança e encerramento. Registre ferramentas, versões e participantes.

Semanas 1 e 2: medir a linha de base

Colete fluxo, revisão, qualidade e custo no processo atual. Verifique se os dados estão completos o suficiente para comparação.

Semanas 3 e 4: usar IA com autonomia limitada

Permita exploração, proposta, alteração em branch e testes conforme política. Preserve revisão integral. Registre cada intervenção humana e motivo de abandono.

Semana 5: comparar e investigar

Compare mediana, distribuição, qualidade, revisão, custo e adoção. Leia amostras dos melhores e piores resultados. Procure diferenças de tarefa e contexto.

Semana 6: decidir

Classifique cada uso:

ampliar;
manter assistido;
corrigir o fluxo;
restringir a uma classe;
interromper.

Expansão pode ocorrer por tarefa, repositório, equipe ou permissão. Comprar mais licenças antes de saber qual classe funciona aumenta atividade e reduz a clareza da avaliação.

Checklist para medir produtividade com IA

[ ] A decisão apoiada pela medição está explícita?
[ ] As classes de trabalho são comparáveis?
[ ] Existe linha de base anterior à adoção?
[ ] Fila, implementação, revisão e implantação são medidas separadamente?
[ ] Mediana e distribuição aparecem no painel?
[ ] Qualidade considera gravidade e momento de detecção?
[ ] Esforço e senioridade da revisão entram na conta?
[ ] Coortes registram experiência, stack, área e intensidade de uso?
[ ] Mudanças concorrentes no processo foram documentadas?
[ ] Adoção usa tarefas elegíveis como denominador?
[ ] Custo inclui infraestrutura, revisão, manutenção e falhas?
[ ] A capacidade liberada possui destino e taxa de captura?
[ ] Resultados são abertos por classe de tarefa?
[ ] O painel evita ranking individual e métricas fáceis de manipular?
[ ] Existem critérios para ampliar, corrigir, restringir ou encerrar?

A métrica útil protege a capacidade do sistema

A IA pode reduzir exploração, preparação, implementação, teste e investigação. O ganho empresarial surge quando mudanças válidas atravessam revisão e produção com menos espera, custo e retrabalho.

Meça o ciclo completo. Separe classes de trabalho. Inclua qualidade e revisão. Compare coortes com cautela. Dê um destino à capacidade liberada.

Uma equipe que escreve mais código pode continuar entregando no mesmo ritmo. Uma equipe que conclui trabalho prioritário com qualidade, menor fila e custo controlado construiu capacidade. Essa é a diferença que o painel precisa tornar visível.