Comparativas / JevModel
SemIf vs Jev: pruebas, calibración y despliegue
Compara SemIf y Jev con fuentes primarias: puntuación de opciones, límites de las pruebas, despliegue en CPU, GPU y Apple Silicon, calibración, recorrido de datos y coste total.
Última actualización:
Primero, decide quién opera la inferencia
SemIf vs Jev es una decisión de despliegue y evaluación para equipos que crean sistemas de enrutamiento, moderación o comprobación de agentes. Una API Jev alojada es una primera prueba razonable si quieres evitar operar un modelo. SemIf merece una evaluación si importan más la inferencia local, una puntuación inspeccionable o el hardware disponible. Ninguna opción elimina la necesidad de etiquetar casos representativos y definir qué errores tolera tu proceso. Esta comparativa revisa fuentes públicas consultadas el 2 de octubre de 2026; no presenta una nueva prueba directa entre ambos sistemas.
SemIf es independiente y antes se llamaba OpenJev
Jev es el modelo de decisiones alojado de TypeSafe AI. SemIf, mantenido en TheoLeeCJ/SemIf-OpenJev, es una implementación de investigación independiente que usa modelos abiertos. No publica los pesos de Jev ni reproduce su entrenamiento no divulgado. Su código tiene licencia MIT; los pesos de los modelos base conservan sus propias licencias. El nombre OpenJev también aparece en razorback16/openjev, otro proyecto de servidor de decisiones. Comprueba el propietario del repositorio antes de instalar: una guía para ese servidor no es una guía de SemIf, y ninguno de los dos es una versión oficial de Jev publicada por TypeSafe.
Decisiones similares, contratos de puntuación distintos
El evaluador directo de SemIf lee los logits de los tokens de opción de un modelo de lenguaje congelado y los normaliza entre las alternativas declaradas. TypeSafe documenta tres primitivas de Jev: Choice selecciona una opción, Score evalúa niveles ordenados y Noul devuelve una probabilidad de sí. Choice y Score también incluyen confidence. La diferencia práctica es el contrato que integras: SemIf ofrece una implementación de puntuación que debes operar; Jev ofrece una interfaz alojada y tipada. Convertir una distribución local en una respuesta con formato Jev exige un adaptador y validación. Compartir nombres de campos no demuestra un comportamiento intercambiable.
Qué miden realmente el 84,5 % y el 88,3 %
El documento RESULTS de SemIf informa de 0.845 para la puntuación directa de Qwen3.5-4B y 0.883 para los resultados publicados de Jev, sobre 102 filas públicas alineadas de 20 casos. La métrica es la coincidencia con respuestas de referencia, con igual peso por caso, no una precisión universal. El valor de Jev procede de los registros públicos de TypeSafe; los autores de SemIf no llamaron a una API Jev en vivo. Este subconjunto no es el agregado completo de 711 filas de TypeSafe. La diferencia de 3,8 puntos porcentuales solo corresponde a ese alcance. No revela el error en tus solicitudes ni demuestra igual calidad de las probabilidades.
La aceleración de 5,21× se compara con generar JSON
El proyecto informa de 1.023 segundos para la lectura directa y 5.332 segundos para generar un array JSON compacto: el mismo Qwen3.5-4B congelado, una RTX 3090, un estado, 21 criterios binarios y medianas de tres ejecuciones. De ahí sale el factor 5,21×. No es una relación de latencia entre SemIf y Jev. Las dos rutas coincidieron en 18 de 21 elecciones; incluso este experimento compara métodos de salida que toman algunas decisiones diferentes. En tu aplicación, mide desde el envío hasta un resultado utilizable, incluyendo colas, red, arranques en frío y fallos.
La calibración depende de la carga de trabajo
SemIf incluye escalado de temperatura posterior al entrenamiento, ajustado con datos etiquetados de la tarea. CALIBRATION informa de una reducción del error de calibración esperado de WANLI de 0.208 a 0.069 en particiones no usadas para el ajuste. El escalado cambia la confianza, sin cambiar la opción ganadora; las tareas creadas por los autores y las de Every no mostraron intervalos de mejora claramente separados. TypeSafe describe confidence de Jev como una estadística de su distribución de probabilidades, no una garantía de acierto individual. No traslades un umbral de 0.8 de un sistema al otro. Ajusta cada umbral con datos de calibración y compara después sobre casos de prueba intactos.
El despliegue local incluye CPU y Apple Silicon
El README actual de SemIf documenta CUDA, un backend llama.cpp para archivos GGUF locales y una ruta Torch en CPU de precisión completa, más lenta. Apple Silicon dispone de PyTorch/MPS y MLX nativo. Estas opciones amplían el acceso, pero no heredan los tiempos medidos en la RTX 3090. La demo de navegador usa archivos cuantizados; las puntuaciones de calidad publicadas proceden de checkpoints BF16 nativos. Empieza por el backend que puedas mantener, fija el modelo y el runtime, y evalúa esa configuración exacta. El tamaño de descarga no permite estimar de forma fiable toda la memoria necesaria en ejecución.
Compara el recorrido de los datos y el coste total
El autoalojamiento permite mantener la inferencia en infraestructura propia, siempre que también revises telemetría, registros y descargas. Una API alojada envía el estado a sus proveedores. JevModel es un producto independiente que actualmente canaliza las solicitudes Jev a través de OpenRouter; su API, claves y precios son distintos del servicio directo de TypeSafe. Revisa la cadena real de proveedores antes de enviar datos sensibles. Compara el uso de API y los reintentos con hardware, capacidad ociosa, electricidad, actualizaciones y tiempo de ingeniería. El código abierto o una GPU ya disponible no hacen gratuita la operación.
Un ejemplo de soporte con revisión humana explícita
Imagina un equipo de soporte que elige entre acceso a la cuenta, facturación y revisión humana. Un cliente informa de un fallo al restablecer la contraseña y pregunta por una factura. Incluye ambos hechos en el estado y define qué cola atiende solicitudes mixtas; de lo contrario, cualquiera de los modelos puede tomar una decisión defendible que incumpla tu proceso. El responsable de soporte define etiquetas y escalaciones; ingeniería gestiona tiempos de espera y registros de auditoría; seguridad revisa los datos. Prueba en modo sombra: registra rutas propuestas y deja que el proceso existente controle la atención. No se afirma ningún resultado real de clientes ni mejora medida.
{
"state": "Password reset failed. The customer also needs an invoice copy.",
"question": "Which queue should handle the request first?",
"options": [
{
"id": "access",
"description": "Account access support; owns mixed requests when access is blocked."
},
{
"id": "billing",
"description": "Billing support when account access is not blocked."
},
{
"id": "review",
"description": "Human review when the evidence is insufficient."
}
]
}Diseña una evaluación que pueda descartar cualquiera
El ejemplo anterior es un caso de entrada con formato SemIf, no un cuerpo de solicitud para TypeSafe ni para este sitio. Adáptalo al esquema de cada API sin cambiar su significado. Separa conjuntos de desarrollo, calibración y prueba; coloca solicitudes relacionadas o parafraseadas en la misma partición. Incluye falta de evidencia, intenciones mixtas, orden de opciones invertido y errores de alto coste. Compara errores por cola, cobertura automática con una tasa de error aceptable, volumen de revisión humana, latencia p50/p95 y coste por enrutamiento correctamente completado. Usar umbrales numéricos idénticos no es justo si las definiciones de confianza son diferentes.
Cuándo encaja Jev y cuándo encaja SemIf
Prioriza una prueba de Jev si buscas una integración gestionada y aceptas el recorrido de datos del proveedor. Prioriza SemIf si la operación local o inspeccionar el evaluador es obligatorio y alguien puede responsabilizarse del servicio del modelo y su calibración. Conserva las reglas actuales si cualquier piloto supera el límite de errores acordado o resulta más caro al contar el trabajo de revisión. Antes de decidir, prepara una ficha con el conjunto de prueba, errores admisibles, restricciones de datos, responsable operativo y plan de reversión. ¿Qué limita tu proceso: ubicación de datos, revisión, latencia o coste total?
JevModel es independiente y no está afiliado a TypeSafe AI.