ANÚNCIO

~/questoes/inteligencia-artificial

Qual é o propósito principal das métricas de qualidade integradas ao Opik?

Responda, confira o feedback e use o resultado para orientar sua revisão.
Aula de referência Curso de LLMOps: observabilidade de agentes com Opik
Para fixar

Métricas de Qualidade em Opik: Avaliando Respostas de Agentes LLM

Conceito central

Opik integra métricas de qualidade para avaliar sistematicamente as respostas geradas por agentes em produção. Essas métricas vão além de monitoramento técnico, focando em verificar se a saída do agente é semanticamente correta, confiável e segue as restrições definidas. Em LLMOps, essa avaliação contínua é fundamental para garantir que os agentes entregam valor real aos usuários.

Por que essa resposta faz sentido

A alternativa C está correta porque as métricas de qualidade do Opik medem aspectos semânticos e lógicos das respostas: similaridade com respostas esperadas, se a resposta está correta e se respeita restrições impostas. Isso vai além de contadores técnicos, focando na utilidade real da saída para o usuário final.

Armadilhas comuns

  • Confundir métricas de qualidade com métricas de infraestrutura ou performance de servidor — qualidade avalia o conteúdo da resposta, não a máquina que a gera.
  • Pensar que qualidade é apenas sobre confiabilidade técnica — Opik também verifica se a resposta é semanticamente correta e respeita restrições de negócio.
  • Entender que métricas de qualidade são aplicadas apenas ao código — são aplicadas aos outputs do agente que chegam ao usuário, analisando se fazem sentido e são úteis.

Entenda as alternativas

A

Monitorar temperatura da máquina é uma métrica de infraestrutura, não de qualidade de resposta. Opik se concentra em avaliar o que o agente produz, não em métricas de hardware do servidor.

B

Contar linhas de código mede produtividade de desenvolvimento, não qualidade de saída. As métricas do Opik focam no resultado final entregue pelo agente, não no tamanho do código implementado.

C

Esta alternativa descreve corretamente as métricas de qualidade do Opik: similaridade semântica (comparar com respostas corretas), correção (a resposta está certa?) e constraints (a resposta segue as regras definidas?).

D

Contar execuções por usuário é um dado de uso, não uma métrica de qualidade. Opik avalia como o agente se comporta, não apenas quantas vezes foi utilizado.

Dica prática: Ao implementar observabilidade em seus agentes, configure sempre avaliadores de qualidade de saída, não apenas métricas de latência. Por exemplo: se seu agente responde perguntas, crie um evaluator que verifica se a resposta é similar a respostas esperadas. Isso ajuda a identificar degradação de qualidade antes que afete usuários reais.

Revise pensando: Se você configurar um agente de análise de dados no Opik, qual métrica de qualidade seria mais importante: contar quantas vezes foi executado ou avaliar se as análises geradas são semanticamente corretas e úteis?