Como avaliar IA antes e depois de lançar (evals na prática)

A pergunta mais importante em qualquer projeto de IA não é qual modelo usar. É esta: como você sabe que está funcionando?

Se a resposta for “testamos alguns exemplos e pareceu bom”, o projeto provavelmente vai travar no piloto. Não por falta de tecnologia, mas porque ninguém consegue dizer se a próxima mudança vai melhorar ou piorar o produto. Neste artigo eu explico o que é avaliação de IA (os famosos evals), por que ela é o gargalo de quase todo projeto e um roteiro para aplicar antes e depois do lançamento.

Por que tantos projetos de IA não saem do piloto?

Os números de quem já está em produção dão uma pista. O estudo Measuring Agents in Production, apresentado no ICML 2026, ouviu 86 profissionais que operam agentes em produção em 26 domínios. Dois achados chamam atenção:

• 74% dependem principalmente de avaliação humana para saber se o sistema está certo;
• confiabilidade, isto é, comportamento correto e consistente ao longo do tempo, é o maior desafio de desenvolvimento relatado.

Ou seja, mesmo entre quem chegou lá, medir qualidade ainda é artesanal. E quando a medição é artesanal, cada mudança de prompt, de modelo ou de base de conhecimento vira uma aposta.

Hamel Husain, que ajudou dezenas de empresas a construir produtos com IA, resume o padrão no texto Your AI Product Needs Evals: produtos de IA que fracassam quase sempre compartilham a mesma causa raiz, a falta de um sistema robusto de avaliação. Em outro texto, o Field Guide to Rapidly Improving AI Products, ele descreve a cena típica: o time apresenta a arquitetura com orgulho, alguém pergunta como eles medem se aquilo funciona, e a sala fica em silêncio.

O que significa avaliar um sistema de IA?

Avaliar IA não é rodar um benchmark público. Benchmarks medem o modelo em tarefas genéricas; o que interessa é como o seu sistema se comporta nas tarefas dos seus usuários, com os seus dados e as suas regras.

Na prática, a avaliação tem três níveis, em ordem crescente de custo:

Nível	O que é	Quando rodar
1. Verificações automáticas	Testes simples sobre a resposta: formato, campos obrigatórios, dados que nunca podem aparecer, ação certa disparada	A cada mudança
2. Avaliação humana e com juiz de IA	Especialistas (e depois um modelo calibrado) julgam se a resposta resolveu o problema	Em cadência fixa e antes de cada lançamento
3. Teste com usuários (A/B)	Mede se o produto muda o comportamento ou o resultado de negócio	Depois que o produto está maduro

Essa divisão vem da experiência prática de quem constrói esses sistemas e aparece no texto de Hamel Husain. O ponto é: comece barato, rode sempre, e suba de nível conforme o produto amadurece.

Por onde começar: ferramenta ou análise de erros?

Minha opinião, contra o senso comum: não comece comprando uma ferramenta de avaliação nem escolhendo métricas genéricas como “utilidade” ou “alucinação”. Comece lendo respostas.

O método que mais funciona é a análise de erros:

1. Junte algumas dezenas de interações reais (ou bem simuladas).
2. Leia cada uma e escreva uma nota livre sobre o que deu errado.
3. Agrupe as notas em categorias de erro.
4. Conte quantas vezes cada categoria aparece.

No guia de campo de Hamel Husain há um exemplo concreto: um assistente de atendimento do setor imobiliário falhava em cerca de 66% das vezes quando o usuário pedia algo como “agende uma visita daqui a duas semanas”. Depois de categorizar os erros, criar testes específicos e corrigir, a taxa de acerto nesse tipo de pedido subiu de 33% para 95%. Na mesma análise, três tipos de problema respondiam por mais de 60% de todos os erros.

Nenhum dashboard genérico teria mostrado isso. Foi preciso alguém olhar os dados.

Como montar avaliações antes de lançar?

Com os erros mapeados, a avaliação ganha forma.

1. Defina o que é “tarefa concluída”

Para cada funcionalidade, escreva em uma frase o que conta como sucesso. “Respondeu a pergunta” é vago. “Informou o prazo correto de acordo com a política vigente e ofereceu o próximo passo” é avaliável.

2. Monte um conjunto de casos de teste

Combine três dimensões: funcionalidades (o que o sistema faz), cenários (situações normais, ambíguas, sem resposta, com dado inválido) e perfis de usuário. Se ainda não há dados reais, use IA para gerar as perguntas de teste, nunca as respostas esperadas, e ancore tudo em restrições reais do seu negócio.

3. Crie verificações automáticas

Tudo o que puder ser checado por código deve ser: a resposta está no formato certo? Contém algum dado que nunca deveria aparecer? Chamou a ferramenta correta? Esses testes rodam a cada mudança e pegam regressões cedo. Eles não precisam passar 100%: a taxa aceitável é uma decisão de produto.

4. Use aprovado ou reprovado, com crítica

Para avaliação humana, evite notas de 1 a 5. A diferença entre 3 e 4 gera discussão sem fim e, no fim, alguém precisa decidir o que é bom o bastante. Use aprovado ou reprovado e peça uma crítica curta explicando o motivo. A crítica guarda a nuance; o veredito dá clareza.

5. Calibre o juiz automático contra humanos

Usar um modelo como juiz escala a avaliação, mas só se você medir quanto ele concorda com especialistas. Hamel Husain relata que, num caso real, foram necessárias três iterações para passar de 90% de concordância entre o juiz de IA e o especialista humano. E atenção: quando os erros são raros, “concordância” engana; olhe também quantos erros o juiz pega e quantos alarmes falsos ele gera.

E depois do lançamento, o que muda?

O lançamento não encerra a avaliação. Ele muda a fonte dos dados.

• Amostre conversas reais toda semana. Leia uma amostra, anote os erros novos e transforme cada um em caso de teste. O conjunto de avaliação deve crescer com o produto.
• Monitore o que importa, não tudo. Escolha poucos indicadores ligados ao resultado: taxa de tarefas concluídas, transferências para humanos, reclamações, custo por tarefa concluída.
• Revalide o juiz automático periodicamente. Os critérios mudam conforme a equipe vê mais respostas, e os usuários mudam o jeito de perguntar.
• Rode testes com usuários quando a mudança for grande o bastante para afetar o negócio.

Um efeito colateral positivo: a mesma estrutura que avalia também serve para depurar. Quando um cliente reclama, você já tem o histórico das interações, os testes que deveriam ter pego o problema e um jeito rápido de validar a correção.

Qual é o papel do PM na avaliação?

Avaliação não é tarefa só de engenharia. Quem melhor sabe se uma resposta está certa costuma ser o especialista do negócio: atendimento, jurídico, financeiro, operação. O papel do PM é garantir três coisas: que exista uma definição clara de sucesso, que o especialista certo esteja revisando as respostas e que o roadmap seja medido em experimentos rodados, não só em funcionalidades entregues.

Isso também muda a conversa com a liderança. Em vez de prometer “o assistente estará pronto no trimestre”, você promete um ciclo: em duas semanas sabemos se os dados são suficientes; em um mês, se a IA resolve o problema; em seis semanas, temos um protótipo para testar com usuários. Cada etapa tem um ponto de decisão.

O que fazer nesta semana?

1. Separe 30 a 50 interações reais ou simuladas do seu caso de uso.
2. Leia todas com um especialista do negócio e anote, em texto livre, o que deu errado.
3. Agrupe e conte os erros. Os três mais frequentes viram sua primeira lista de prioridades.
4. Escreva cinco verificações automáticas para os erros que dá para checar por código.
5. Use esse conjunto para comparar alternativas, inclusive arquiteturas diferentes, como mostro em agente, time de agentes ou fluxo simples, e para sustentar o business case com números.

Sem avaliação, todo projeto de IA é uma demonstração. Com ela, vira produto.

Se quiser ajuda para desenhar a avaliação do seu caso, vamos conversar.

Fontes

• Pan et al., Measuring Agents in Production, ICML 2026, PMLR 306.
• Hamel Husain, Your AI Product Needs Evals, 29/03/2024.
• Hamel Husain, A Field Guide to Rapidly Improving AI Products, 24/03/2025.