LLM-as-a-judge: prompts livres, pontuação por rubrica ou um juiz tipado com abstenção

LLM-as-a-judge é um padrão de avaliação: um modelo lê uma tarefa, a saída do sistema testado e às vezes uma resposta de referência, e devolve uma nota. A pesquisa que deu nome ao padrão (Zheng et al., 2023, “Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena”) descreve três formas: comparação em pares, avaliação de resposta única e avaliação guiada por referência. Seja qual for a forma, um juiz mede a concordância com os critérios que você escreveu, interpretados por outro modelo. Ele não mede verdade, satisfação do usuário nem resultado de negócio, a menos que seus critérios e rótulos humanos estejam ligados a isso. Por isso o juiz precisa ser avaliado como qualquer classificador. Esta página trata de julgar outras saídas de IA—respostas de chatbot, resumos, respostas RAG, passos de agentes. Para avaliar um workflow do JevModel com rótulos, veja evaluation.

As três opções diferem principalmente na estabilidade da saída e na visibilidade da incerteza. Prompts livres começam rápido; rubricas tornam as notas comparáveis entre execuções; um juiz tipado adiciona um schema fixo e probabilidades com limiar. A comparação é sobre trade-offs de engenharia, não um ranking de modelos juízes.

Zheng et al. (2023) relatam três vieses que vale prever no desenho. Viés de posição: na comparação em pares o veredito pode inverter quando as respostas trocam de lugar, então rode cada par nas duas ordens e conte vitória só quando ambas concordarem; senão, registre empate. Viés de verbosidade: o juiz pode preferir a resposta mais longa mesmo quando o tamanho extra não acrescenta nada, então escreva critérios que premiem cumprir o requisito, não a cobertura, e inclua respostas curtas e corretas nos fixtures. Viés de autofavorecimento: um juiz pode favorecer saídas parecidas com as suas, então não deixe o modelo testado avaliar a si mesmo e oculte qual sistema gerou cada resposta. Mais dois hábitos ajudam: avalie um critério por pergunta em vez de uma nota geral de “qualidade” e, em tarefas factuais, dê ao juiz uma resposta de referência, pois ele pode ser enganado por uma resposta errada porém confiante que ele mesmo resolveria.

Amostre saídas reais, incluindo as difíceis, e peça a duas pessoas que as rotulem às cegas com os mesmos critérios escritos. Se discordarem com frequência, corrija os critérios antes de culpar o juiz: pessoas que não concordam não dão ao juiz nada estável para imitar. Depois rode o juiz nos mesmos itens e reporte a concordância por classe, não só a geral: um juiz que aprova tudo parece preciso quando a maioria das saídas está boa. Uma tabela de confusão juiz vs humano, mais uma estatística corrigida pelo acaso como o kappa de Cohen se sua equipe usa, mostra onde ele falha. Em seguida verifique faixas de probabilidade: entre os itens que o juiz marca com alta probabilidade, quantos as pessoas marcaram igual? Escolha com essa tabela uma faixa de aceite automático e uma de revisão. Congele a amostra como conjunto de regressão e rode de novo sempre que o prompt do juiz, os critérios ou o modelo mudarem. O Console → Batch do JevModel pode rodar uma pergunta de juiz fixa sobre linhas enviadas e exportar as respostas para esse cruzamento.

Coloque no state a tarefa, uma referência opcional e uma saída candidata, e faça uma pergunta por critério. No JevModel, Noul é uma pergunta sim/não que retorna uma probabilidade de 0 a 1, adequada a checagens binárias como “cada afirmação é sustentada pelo contexto fornecido?”. Score aceita 2–10 descrições de níveis ordenados e retorna um valor nessa escala, que pode cair entre níveis; serve para critérios graduais como utilidade, mas não é uma probabilidade de 0 a 1, então defina suas próprias faixas. Uma requisição aceita 1–8 perguntas nomeadas, e o state serializado e a requisição completa devem caber cada um em 8.000 caracteres, por isso respostas longas ou trechos recuperados precisam ser resumidos em excertos. Para comparação em pares, envie duas requisições com os candidatos em ordem inversa e aceite só resultados consistentes. Uma probabilidade Noul perto do meio, ou um Score entre seus níveis de aprovado e reprovado, é seu sinal de abstenção: mande esses itens a uma pessoa em vez de contá-los. As chamadas vão para POST /api/v1/systemone com o modelo fixo typesafe/jev-1.13 via OpenRouter.

{
  "state": {
    "task": "Answer the customer using only the help-center context.",
    "context": "Refunds are available within 30 days of purchase for annual plans.",
    "candidate_answer": "You can get a refund within 30 days if you are on an annual plan."
  },
  "questions": {
    "grounded": {
      "type": "noul",
      "instructions": "Is every factual claim in candidate_answer supported by the context?",
      "criteria": {
        "true": "All claims appear in or follow directly from the context.",
        "false": "At least one claim is missing from or contradicts the context."
      }
    },
    "helpfulness": {
      "type": "score",
      "instructions": "How well does candidate_answer resolve the task? Do not reward length.",
      "criteria": [
        "Does not address the task or is misleading.",
        "Addresses part of the task or needs a follow-up.",
        "Fully resolves the task in the needed detail."
      ]
    }
  }
}

Dispense o juiz quando código consegue verificar a resposta: JSON válido, correspondência exata com um rótulo esperado, teste unitário passando, consulta SQL retornando as linhas certas. Checagens determinísticas custam menos e não derivam. Não use um juiz como única aprovação em decisões jurídicas, médicas, financeiras ou de segurança; use-o para priorizar a revisão humana. Não confie num juiz que você nunca comparou com rótulos humanos, nem deixe um modelo avaliar as próprias saídas. Cuidado com matemática, correção de código e raciocínio de vários passos, em que o juiz pode ser enganado pela resposta que avalia; prefira respostas de referência ou testes baseados em execução. O JevModel especificamente é um modelo de decisão para texto e JSON: não executa código, não navega e não lê imagens, então julga o que está escrito no state, não o que acontece quando a saída é executada. Não é open source, e contas gratuitas verificadas têm 5 execuções bem-sucedidas por dia UTC—o bastante para testar um juiz, não para avaliar diariamente um conjunto grande.