开发者 / JevModel

评估 Jev 工作流

在自动化前测试标签、不确定性和真实结果。

最近更新:

建立标注样本

收集实际流程中的代表性状态,包括模糊和少见案例。让复核人员独立标注目标分支,并将测试数据与用于修改说明的示例分开。

比较运行之前先固定问题

选择一个有明确标签的问题。验证邮箱并创建 Console API 密钥后,将下方 JSON 发到 https://jevmodel.app/api/v1/systemone,设置 Authorization: Bearer YOUR_JEVMODEL_KEY 与 Content-Type: application/json。每条测试样本只替换 state,并保留完全相同的问题措辞。本例测试账单与技术分流,不代表一次基准测试结果。

{
  "state": "The customer was charged twice and wants an invoice correction.",
  "questions": {
    "queue": {
      "type": "choice",
      "instructions": "Which support queue should handle this request?",
      "criteria": {
        "billing": "Duplicate charges, refunds or invoice corrections.",
        "technical": "Application errors, API failures or broken functionality."
      }
    }
  }
}

导出答案并与标签比较

在 Console → Batch 上传 CSV、TXT 或 JSONL 输入,并让每行使用同一问题。导出逐行答案,在表格或脚本中与独立复核标签对齐。保持输入编号稳定,并记录问题措辞、日期、模型接入路径与失败情况。Batch 目前不会计算准确率报告或训练模型。假设示例中 30 条有 24 条标签正确,准确率就是 80%;这样的小样本无法说明罕见类别或未来流量的表现。

分别检查概率与流程结果

示意 Choice 结果 billing: 0.90、technical: 0.10 说明在当前定义下模型更倾向账单队列;一个答案无法证明概率已校准。对足够多的独立测试样本,比较每个概率区间与实际正确比例。评估保存的流程时,还要检查执行节点、最终出口,以及不确定案例是否进入复核。每个执行问题都沿用通常的运行与 Token 规则,因此除了标签质量,还应记录每个流程的费用和耗时。错误与回退处理仍由你的应用负责。

衡量实际决策

按类别检查准确率、按概率区间检查校准情况,同时观察回退比例和后续结果。阈值应考虑不同错误的代价。问题措辞、模型版本或输入分布变化后,都应重新评估。

Jev 概率、置信度与人工复核阈值2026 年的情感分析 API:云 API vs LLM 提示 vs 类型化决策模型LLM-as-a-Judge:自由格式提示、量表评分,还是带弃权的类型化评审

JevModel 为独立项目,与 TypeSafe AI 无关联。