Contenido del curso
Jev: ¿reemplaza a los LLMs que conoces?
Un explicador de Hanademi
Hecho para Juan Pablo Rojas Parra, por HanademiFuente: jevai.im; jev-agent.com (2026)
La mayoría supone que una decisión de IA que cuesta 76 veces menos también debe ser una decisión peor.
En la prueba de 711 casos de TypeSafe, 10 centavos compraron 250 decisiones de Jev y solo 3 de GPT-5.6 Terra.
Aun así, ambos coincidieron con las respuestas de referencia con la misma frecuencia: 67.8% Jev y 67.9% GPT-5.6 Terra.
La referencia fue la respuesta promedio de otros modelos, no de personas.
Jev además respondió en 0.4 segundos, mientras que GPT-5.6 Terra tardó 10.1 segundos en una decisión.
Hecho para Juan Pablo Rojas Parra, por HanademiFuente: calibrateddecisions.com (2026); systemonemodels.org (2026); aimodelwaddle.com (2026)
Jev lee una situación y una lista fija de respuestas, y devuelve una probabilidad, como 0.97, para cada una.
Una pregunta de tipo Choice puede incluir hasta 255 respuestas; una pregunta de tipo Score usa una escala de 2 a 10 niveles.
Jev responde todas sus preguntas a la vez en 1 pasada paralela y no escribe ningún texto.
TypeSafe cobra US$0.042 por millón de tokens leídos, y las respuestas que devuelve no cuestan nada.
Token: un fragmento de palabra, la unidad que leen los modelos de IA.
Hecho para Juan Pablo Rojas Parra, por HanademiFuente: sanity.io (2026); calibrateddecisions.com (2026); betonai.net (2026)
TypeSafe dice que entrenó a Jev con RLCD, que premia las probabilidades declaradas que coinciden con la frecuencia con que las respuestas resultan correctas.
RLCD: aprendizaje por refuerzo para decisiones calibradas (Reinforcement Learning for Calibrated Decisions).
Un informe dice que el 100% de sus datos de entrenamiento fue sintético, escrito por máquinas y no etiquetado por personas.
Cuatro datos básicos seguían sin publicarse en septiembre de 2026: el modelo base, su tamaño, la cantidad de ejemplos y las etapas de entrenamiento.
Hecho para Juan Pablo Rojas Parra, por HanademiFuente: decisioneval.dev (2026)
En una prueba independiente de 2,000 decisiones del 20 de septiembre de 2026, Jev acertó el 74.0% de las veces.
Si se conservan solo las respuestas que dio con un 70% de confianza o más, queda el 57.6% de las decisiones, y el 86.4% son correctas.
Con un 90% de confianza o más queda el 24.5%, y el 93.7% de ellas son correctas, apenas por encima de la confianza que declaró.
Hecho para Juan Pablo Rojas Parra, por HanademiFuente: docs.typesafe.ai; github.com; dev.to (2026)
Cualquier modelo abierto puede leer las probabilidades de respuestas fijas, y en 8 días aparecieron 3 copias abiertas de Jev.
En preguntas de fuentes no vistas, Kev pasó de 64.8% en su tamaño más pequeño a 84.8% en el más grande.
Kev: una copia abierta basada en modelos Qwen.
Jev alojado obtuvo 85.7% en las mismas preguntas, solo 0.9 puntos por encima de la copia abierta más grande.
Hecho para Juan Pablo Rojas Parra, por HanademiFuente: ayautomate.com (2026); jevai.im; benchmarkheaven.com (2026)
En 15 pruebas comparativas de septiembre de 2026, Jev costó entre 4.7 y 76 veces menos por decisión que un modelo de chat.
En 11 de esas 15 pruebas, la precisión de Jev quedó a menos de 1 punto del modelo de chat o lo superó.
Las derrotas fueron reales: GPT-5.6 Terra ganó por 5.6 puntos en el enrutamiento de 8 vías, a 40 veces el costo de Jev.
Enrutamiento: enviar cada solicitud al lugar correcto.
Hecho para Juan Pablo Rojas Parra, por HanademiFuente: jevwiki.ai (2026); openrouter.ai (2026)
El enrutador con Jev de Glean fue más preciso que su enrutador con modelo de chat y 8.1 veces más rápido en la mediana.
Mediana de 40 transferencias, en una prueba sin conexión.
En la prueba de LiteLLM, Jev eligió un nivel de modelo en 127 milisegundos; Claude Haiku 4.5 tardó 688 milisegundos.
Con 60 tickets de soporte, la mediana de Jev fue de 194 milisegundos, frente a 1,106 de GPT Luna y 1,957 de Claude Opus.
Hecho para Juan Pablo Rojas Parra, por HanademiFuente: jevbench.xyz (2026); wpnews.pro (2026)
Al etiquetar las solicitudes de Glean, Jev sin ejemplos previos coincidió con producción el 66.8% de las veces; Laya sin entrenar, solo el 35.9%.
Laya: un pequeño modelo de decisión abierto.
Tras unas horas de entrenamiento en una computadora local, Laya ajustado llegó a 74.5% y superó a Jev.
Pequeños clasificadores entrenados también superaron a Jev en intenciones bancarias, 93.3% contra 83.2%, y en temas de noticias japonesas, 88.8% contra 76.8%.
Hecho para Juan Pablo Rojas Parra, por Hanademi
Glean le pidió a Jev reordenar los resultados de 4,855 búsquedas reales, a US$0.00044 y 0.195 segundos por búsqueda.
En una búsqueda promedio, Jev dio exactamente la misma puntuación a 37 de 41 resultados, y dejó sin decidir la mayor parte del orden.
Desempatar con el orden que ya tenía Glean elevó los buenos resultados encontrados entre los 6 primeros de 40.2% a 44.3%.
Hecho para Juan Pablo Rojas Parra, por Hanademi
Glean hizo que cada juez revisara tres veces las citas de una respuesta de 1,448 palabras, 28 párrafos cada vez.
Jev cambió su veredicto en 1 de 28 párrafos; GPT-5.6 Luna sin razonamiento cambió 7.
Incluso con su máximo nivel de razonamiento, tardando entre 227 y 260 segundos frente a los 6.6 de Jev, Luna cambió 5.
Repetible no significa correcto: ninguna persona revisó los veredictos.
Hecho para Juan Pablo Rojas Parra, por HanademiFuente: arxiv.org; jev-agent.com (2026)
En una prueba de 100 tareas, que Jev decidiera primero redujo en 72.7% las llamadas a modelos de chat potentes, y el 95% de las tareas tuvo éxito.
En las pruebas de herramientas BFCL, Jev eligió la función correcta el 98.4% de las veces.
BFCL: un benchmark público sobre el uso de herramientas por la IA.
Pero al decidir si debía llamar a alguna función, acertó solo el 52.0% de las veces.
Hecho para Juan Pablo Rojas Parra, por HanademiFuente: mattheworiordan.github.io (2026)
La proporción de solicitudes de Vercel AI Gateway atendidas por Jev subió de 5.9% el 17 de septiembre a 25.2% el 23 de septiembre de 2026.
Su proporción de tokens, el texto que llevaban esas solicitudes, llegó solo a 1.81%: Jev tomó las decisiones pequeñas, no la escritura.
Por el mismo dinero, la prueba de TypeSafe compró 76 decisiones de Jev por cada decisión de GPT-5.6 Terra.
Cuando Jev dijo estar seguro al menos en un 90%, acertó el 93.7% de las veces.
La copia abierta más grande de Jev, creada en cuestión de días, quedó a menos de un punto de él.
Un modelo pequeño entrenado en pocas horas superó el 66.8% de Jev en las etiquetas de solicitudes de Glean.
Jev dio la misma puntuación a la mayoría de los resultados de búsqueda, así que no puede reemplazar a un verdadero ordenador de resultados.
Jev atendió una cuarta parte de las solicitudes de IA de Vercel el 23 de septiembre de 2026, pero solo el 1.81% de los tokens.
Hecho para Juan Pablo Rojas Parra, por Hanademi
Fuentes