Comparatifs / JevModel

SemIf vs Jev : évaluations, calibration et déploiement

Comparez SemIf et Jev à partir des sources primaires : scores des options, limites des évaluations, CPU, GPU, Apple Silicon, calibration, circuit des données et coût total.

Dernière mise à jour:

D’abord, qui exploite l’inférence ?

SemIf vs Jev est un choix de déploiement et d’évaluation pour les équipes qui construisent du routage, de la modération ou des contrôles d’agents. Une API Jev hébergée constitue un premier essai raisonnable pour éviter d’exploiter un modèle. SemIf mérite une évaluation si l’inférence locale, un calcul des scores inspectable ou le matériel existant comptent davantage. Dans les deux cas, il faut annoter des exemples représentatifs et définir les erreurs que le processus peut tolérer. Cet article s’appuie sur des sources publiques vérifiées le 2 octobre 2026 ; il ne présente pas de nouveau test direct entre les deux systèmes.

SemIf est indépendant et s’appelait OpenJev

Jev est le modèle de décision hébergé de TypeSafe AI. SemIf, dans TheoLeeCJ/SemIf-OpenJev, est une implémentation de recherche indépendante utilisant des modèles ouverts. Il ne publie pas les poids de Jev et ne reproduit pas son entraînement non divulgué. Son code est sous licence MIT ; les poids des modèles sous-jacents gardent leurs propres licences. Le nom OpenJev apparaît aussi dans razorback16/openjev, un autre serveur de décisions. Vérifiez le propriétaire du dépôt avant l’installation : un guide de ce serveur n’est pas un guide SemIf, et aucun de ces projets n’est une version officielle de Jev publiée par TypeSafe.

Des décisions proches, des contrats de calcul différents

Le calcul direct de SemIf lit les logits des tokens d’option d’un modèle de langage figé, puis les normalise sur les alternatives déclarées. TypeSafe décrit trois primitives Jev : Choice sélectionne une option, Score évalue des niveaux ordonnés et Noul renvoie une probabilité de oui. Choice et Score incluent également confidence. La différence pratique concerne le contrat intégré : SemIf fournit un calcul de scores à exploiter soi-même, Jev une interface typée hébergée. Transformer une distribution locale en réponse au format Jev nécessite un adaptateur et une validation. Des noms de champs identiques ne prouvent pas un comportement interchangeable.

Ce que mesurent vraiment 84,5 % et 88,3 %

Le document RESULTS de SemIf rapporte 0.845 pour le calcul direct de Qwen3.5-4B et 0.883 pour les résultats Jev publiés, sur 102 lignes publiques alignées couvrant 20 cas. La mesure est l’accord avec les réponses de référence, pondéré à égalité par cas, et non une exactitude universelle. La valeur de Jev vient des données publiques de TypeSafe ; les auteurs de SemIf n’ont pas appelé une API Jev en direct. Ce sous-ensemble n’est pas l’agrégat complet de 711 lignes de TypeSafe. L’écart de 3,8 points concerne uniquement ce périmètre et ne prédit ni les erreurs sur vos tickets ni une qualité identique des probabilités.

Le gain de 5,21× concerne la génération JSON

Le projet rapporte 1.023 seconde pour la lecture directe contre 5.332 secondes pour générer un tableau JSON compact : même Qwen3.5-4B figé, une RTX 3090, un état, 21 critères binaires et médianes de trois exécutions. C’est l’origine du facteur 5,21×, pas un rapport de latence entre SemIf et Jev. Les deux méthodes concordaient sur 18 choix sur 21 ; cette expérience compare donc aussi des méthodes produisant certaines décisions différentes. Dans votre application, mesurez du dépôt de la requête au résultat utilisable, en incluant files d’attente, réseau, démarrages à froid et échecs.

La calibration reste propre à la charge de travail

SemIf propose une mise à l’échelle de température après entraînement, ajustée sur des données de tâche annotées. CALIBRATION rapporte une baisse de l’erreur de calibration attendue sur WANLI de 0.208 à 0.069, sur les partitions laissées hors ajustement. Cette méthode change la confiance, sans changer l’option gagnante ; les tâches conçues par les auteurs et celles d’Every ne présentent pas d’intervalles d’amélioration clairement séparés. TypeSafe décrit confidence de Jev comme une statistique de sa distribution de probabilités, pas comme une garantie de réponse correcte. Ne transférez pas un seuil de 0.8 entre systèmes. Ajustez chaque seuil sur des données de calibration, puis comparez sur des tests intacts.

Le déploiement local inclut CPU et Apple Silicon

Le README actuel de SemIf documente CUDA, un moteur llama.cpp pour les fichiers GGUF locaux et une voie Torch CPU en pleine précision, plus lente. Apple Silicon propose PyTorch/MPS et MLX natif. Ces possibilités élargissent l’accès mais ne reproduisent pas automatiquement les temps de la RTX 3090. La démonstration dans le navigateur utilise des fichiers quantifiés ; les scores de qualité affichés proviennent de checkpoints BF16 natifs. Choisissez un moteur que votre équipe sait maintenir, fixez le modèle et l’environnement d’exécution, puis évaluez cette configuration exacte. La taille du téléchargement ne suffit pas pour estimer toute la mémoire utilisée à l’exécution.

Comparer le circuit des données et le coût total

L’auto-hébergement peut garder l’inférence dans votre infrastructure, à condition de vérifier aussi la télémétrie, les journaux et les téléchargements. Une API hébergée envoie l’état à ses prestataires. JevModel est un produit indépendant qui transmet actuellement les requêtes Jev via OpenRouter ; son API, ses clés et ses prix sont distincts du service direct de TypeSafe. Vérifiez la chaîne réelle des prestataires avant d’envoyer des données sensibles. Comparez usage de l’API et tentatives répétées avec matériel, capacité inutilisée, énergie, mises à jour et temps d’ingénierie. Un code ouvert ou un GPU déjà disponible ne rendent pas l’exploitation gratuite.

Un exemple de routage avec recours humain explicite

Imaginons une équipe support choisissant entre accès au compte, facturation et examen humain. Un client signale un échec de réinitialisation du mot de passe et demande une facture. Incluez les deux faits dans l’état et précisez la file responsable des demandes mixtes. Sinon, chaque modèle peut faire un choix défendable mais contraire au processus. Le responsable support gère annotations et escalades ; l’ingénierie gère délais d’attente et traces d’audit ; la sécurité vérifie le circuit des données. Testez en mode observation : consignez les routes proposées tout en laissant le processus existant décider. Aucun résultat client réel ni progrès mesuré n’est revendiqué.

{
  "state": "Password reset failed. The customer also needs an invoice copy.",
  "question": "Which queue should handle the request first?",
  "options": [
    {
      "id": "access",
      "description": "Account access support; owns mixed requests when access is blocked."
    },
    {
      "id": "billing",
      "description": "Billing support when account access is not blocked."
    },
    {
      "id": "review",
      "description": "Human review when the evidence is insufficient."
    }
  ]
}

Construire une évaluation pouvant rejeter chaque option

L’exemple ci-dessus est une entrée au format SemIf, pas un corps de requête TypeSafe ou de ce site. Adaptez-le au schéma de chaque API sans changer son sens. Séparez développement, calibration et test ; conservez les tickets apparentés ou reformulés dans la même partition. Incluez manque de preuves, intentions multiples, ordre des options inversé et erreurs coûteuses. Comparez erreurs par file, couverture automatique à un taux d’erreur acceptable, volume d’examen humain, latence p50/p95 et coût par routage correctement achevé. Des seuils numériques identiques ne sont pas équitables lorsque les définitions de confiance diffèrent.

Quand privilégier Jev ou SemIf

Essayez Jev si vous privilégiez une intégration gérée et acceptez le circuit des données du fournisseur. Essayez SemIf si le fonctionnement local ou l’inspection du calcul des scores est indispensable, avec un responsable du service de modèle et de la calibration. Gardez vos règles actuelles si un pilote dépasse la limite d’erreurs convenue ou coûte davantage une fois la revue humaine comptabilisée. Avant de choisir, consignez jeu de test, erreurs acceptables, contraintes de données, responsable opérationnel et retour arrière. Quelle contrainte tranche réellement : localisation des données, charge de revue, latence ou coût total ?

JevModel est indépendant et n’est pas affilié à TypeSafe AI.