エージェント / JevModel

Jev でツール呼び出し前に判断を加える

Jev Noul の判断材料を決定的な権限検証と組み合わせます。メール送信の確認例で、モデルの確率に実行権限を委ねない設計を確認しましょう。

一つの明確な条件を尋ねる

Noul で「ユーザーがこのメール送信を明示的に依頼したか」など、提案された操作が一つの狭い条件を満たすかを推定できます。提案する操作と関連会話の抜粋を入力し、独立した複数条件を一つの確率にまとめないでください。引用された外部文章をユーザーの送信承認として扱わず、曖昧な場合は確認へ回します。

絶対的な境界には規則を使う

認証、権限、許可された宛先は決定的に検証します。モデルは確認の優先付けや不確実性の発見には使えますが、自分に能力を付与してはいけません。メール例なら、ユーザーの認証、送信先、アカウント権限をコードで検証し、承認が欠けていればモデルの高確率でも送信を止めます。独立 JevModel サービスは TypeSafe AI と提携していません。

何も送信せず承認の条件を試す

例はメールの下書きを求める依頼と送信する提案を比べます。通常 API に送り data.answers.explicit_request.noul を確認しますが、メールは送りません。明示的な送信指示、ウェブページから引用した指示、異なる宛先の依頼も試します。ラベル付き事例で人に確認する条件を決めます。高確率でも実際のユーザー承認、許可された宛先、検証済み権限を置き換えられません。外部文章を信頼できる指示から分け、承認が不明ならユーザーに確認してください。

Jev で Agent の次の操作を選ぶEvaluate a Jev workflowJevModel API:リクエストと応答
{
  "state": {
    "user_request": "Draft an email asking the vendor for a corrected invoice.",
    "proposed_action": "send_email",
    "recipient": "vendor@example.com"
  },
  "questions": {
    "explicit_request": {
      "type": "noul",
      "instructions": "Did the user explicitly ask to send this proposed email, rather than only draft it?",
      "criteria": {
        "true": "The user explicitly authorized sending to this recipient.",
        "false": "Only drafting, quoted external text, missing approval or a different recipient."
      }
    }
  }
}

JevModel は独立したプロジェクトで、TypeSafe AI とは提携していません。