比較 / JevModel
SemIf vs Jev:ベンチマーク、確率校正、導入方法
一次資料に基づき SemIf と Jev を比較。選択肢のスコアリング、公開評価の限界、CPU・GPU・Apple Silicon への導入、確率校正、データ経路、総費用を解説します。
最終更新:
まず決めるのは、誰が推論を運用するか
SemIf vs Jev は、問い合わせの振り分け、コンテンツ審査、エージェントの確認処理を作るチームにとって、導入と評価の選択です。モデル運用を避けたいなら、ホスト型 Jev API を最初に試すのが合理的です。ローカル推論、確認できるスコアリング、既存のハードウェアを重視するなら SemIf を評価できます。どちらでも、代表的な事例へのラベル付けと、許容できる誤りの定義が必要です。本稿は 2026 年 10 月 2 日に確認した公開資料に基づき、新しい直接比較実験を報告するものではありません。
SemIf は独立したプロジェクトで、旧称は OpenJev
Jev は TypeSafe AI のホスト型判断モデルです。TheoLeeCJ/SemIf-OpenJev の SemIf は、公開モデルを使う独立した研究実装です。Jev の重みを公開しておらず、非公開の学習過程も再現していません。コードは MIT ライセンスですが、基盤モデルの重みにはそれぞれのライセンスが適用されます。別の判断サーバープロジェクト razorback16/openjev も OpenJev という名前を使っています。インストール前にリポジトリの所有者を確認してください。そのサーバーの手順は SemIf の導入手順ではなく、どちらも TypeSafe 公式の Jev リリースではありません。
判断は似ていても、スコアリングの契約は異なる
SemIf の直接スコアラーは、固定した言語モデルから選択肢トークンの logits を読み取り、宣言された選択肢の間で正規化します。TypeSafe は Jev の三つの基本機能を説明しています。Choice は選択肢を選び、Score は順序のある水準を評価し、Noul は yes の確率を返します。Choice と Score には confidence もあります。実際の違いは接続する契約です。SemIf は自分で運用するスコアリング実装、Jev はホスト型の型付きインターフェースを提供します。ローカルの確率分布を Jev 形式に変換するにはアダプターと検証が必要です。同じフィールド名だけでは、動作の互換性を証明できません。
84.5% と 88.3% は何を測っているか
SemIf の RESULTS 文書では、20 ケースの対応可能な公開データ 102 行について、Qwen3.5-4B の直接スコアリングが 0.845、公開済み Jev 結果が 0.883 と報告されています。指標はケースを等しく重み付けした参照回答との一致率であり、一般的な正解率ではありません。Jev の値は TypeSafe の公開記録から取得され、SemIf の著者は実際の Jev エンドポイントを呼び出していません。この部分集合は TypeSafe の全 711 行の集計ではありません。差の 3.8 パーセントポイントはこの範囲に限った値で、自分の問い合わせの誤り率や同等の確率品質を示すものではありません。
5.21 倍の高速化は JSON 生成との比較
プロジェクトの報告では、直接読み出しが 1.023 秒、コンパクトな JSON 配列の生成が 5.332 秒でした。同じ固定 Qwen3.5-4B、RTX 3090 一枚、一つの状態、21 個の二値基準を使い、それぞれ三回の実行の中央値を取っています。5.21 倍はこの比較から算出され、SemIf と Jev の遅延比ではありません。両方式で選択が一致したのは 21 個中 18 個であり、この実験にも出力方式による判断差があります。アプリでは、送信から利用可能な結果を得るまでを計測し、待ち行列、ネットワーク、コールドスタート、失敗を含めてください。
確率校正には、その業務のデータが必要
SemIf は、ラベル付き業務データで学習する事後的な温度スケーリングを備えています。CALIBRATION 文書は、WANLI の学習に使わない分割での期待校正誤差が 0.208 から 0.069 に下がったと報告しています。温度スケーリングは確信度を変えますが、勝つ選択肢は変えません。著者作成のタスクと Every のタスクでは、改善区間が明確に分離していません。TypeSafe は Jev の confidence を確率分布の統計量として説明し、個々の回答の正しさを保証していません。0.8 という閾値を両システム間でそのまま移さず、それぞれ校正データで閾値を決め、調整に使っていないテスト事例で比較してください。
ローカル導入には CPU と Apple Silicon も対応
現在の SemIf README は CUDA、ローカル GGUF ファイル向けの llama.cpp バックエンド、低速な全精度 Torch CPU 経路を説明しています。Apple Silicon には PyTorch/MPS とネイティブ MLX の選択肢があります。対応環境が増えても、各環境で RTX 3090 の評価時間が再現されるわけではありません。ブラウザーデモは量子化ファイルを使い、掲載された品質スコアはネイティブ BF16 チェックポイントに由来します。チームが維持できるバックエンドから始め、モデルとランタイムを固定し、その構成を評価してください。ダウンロードサイズだけでは実行時の総メモリを推定できません。
データ経路と総費用を比較する
自前運用なら、推論を管理下のインフラ内に置けます。ただしテレメトリー、ログ、ダウンロードも確認する必要があります。ホスト型 API は状態をサービス提供者に送信します。独立した製品 JevModel は現在 OpenRouter 経由で Jev リクエストを転送しており、API、キー、料金は TypeSafe の直接サービスと別です。機密情報を送る前に実際の提供者の経路を確認してください。費用には、一方の API 使用と再試行、もう一方のハードウェア、遊休容量、電力、更新、エンジニアの時間を含めます。コードが公開されていることや GPU を既に持つことは、運用が無料という意味ではありません。
人による確認を残す問い合わせ振り分け例
アカウントへのアクセス、請求、人による確認の三つに振り分ける架空のサポートチームを考えます。利用者はパスワード再設定の失敗と請求書について同時に問い合わせます。状態に両方の事実を含め、複数の用件をどの窓口が担当するかを定義してください。そうしないと、どちらのモデルも意味として妥当でも業務規則に合わない選択をし得ます。サポート責任者がラベルとエスカレーション規則、開発者がタイムアウトと監査記録、安全担当者がデータ経路を管理します。既存の処理を維持したまま提案を記録するシャドーモードで試してください。実在の顧客の成果や測定された改善を主張する例ではありません。
{
"state": "Password reset failed. The customer also needs an invoice copy.",
"question": "Which queue should handle the request first?",
"options": [
{
"id": "access",
"description": "Account access support; owns mixed requests when access is blocked."
},
{
"id": "billing",
"description": "Billing support when account access is not blocked."
},
{
"id": "review",
"description": "Human review when the evidence is insufficient."
}
]
}どちらの方式も不合格にできる評価を作る
上の例は SemIf 形式の入力事例であり、TypeSafe や当サイトの API リクエスト本文ではありません。意味を保って各 API のスキーマへ変換してください。開発、校正、テストのデータを分け、関連または言い換えた問い合わせは同じ分割に置きます。証拠不足、複数の意図、選択肢順序の逆転、損失の大きい誤りを含めてください。窓口別の誤り、許容誤り率での自動振り分け率、人による確認件数、p50/p95 遅延、正しく完了した振り分け一件当たりの費用を比較します。confidence の定義が違えば、同じ数値の閾値を使うことは公平な比較になりません。
Jev を選ぶ条件と SemIf を選ぶ条件
管理された接続を優先し、提供者のデータ経路を受け入れられるなら Jev を試してください。ローカル運用やスコアラーの確認が必須で、モデル提供と校正の担当者がいるなら SemIf を試してください。どちらの試行でも合意した誤り上限を超える場合や、人による確認を含めた費用が高い場合は、現在の規則を維持します。採用前に、テストセット、許容誤り、データ制約、運用責任者、元に戻す方法を一枚にまとめてください。業務の選択を決める制約は、データの置き場所、確認作業、遅延、総費用のどれでしょうか。
JevModel は独立したプロジェクトで、TypeSafe AI とは提携していません。