Evaluaciones de Tesven y Dovren.
Qué medimos, con qué datos, qué salió y qué no demuestra. Las cifras salen de archivos de resultados publicados en esta página; podés descargarlos.
En una línea.
Sobre 100 casos sintéticos congelados, Tesven emitió el veredicto esperado en 100/100 y no dio por verificado ninguno de los 25 trabajos fallidos que el agente declaraba terminados. Si se le cree al agente, los 25 pasan como éxito.
Un conjunto de comprobaciones directas escritas a mano también acierta 100/100 en este corpus. Este resultado no muestra que Tesven decida mejor que reglas convencionales; muestra que no confunde «listo» con «hecho» y que deja cada decisión trazable.
El corpus.
100 casos, versión mvp0-2026-09-28.2, congelados el 28 de septiembre de 2026. Cada caso tiene su tarea, su criterio y una lectura sintética aislada. El agente declara «éxito» en 60 casos; en ninguno de ellos el resultado esperado está realmente comprobable.
| Situación | Casos | Veredicto esperado |
|---|---|---|
| El resultado esperado existe | 40 | Comprobado VERIFIED_PASS |
| El agente dice que terminó, pero el resultado no está | 25 | Incumplido VERIFIED_FAIL |
| La evidencia autorizada no se puede leer | 20 | No comprobado INSUFFICIENT_EVIDENCE |
| La evidencia no alcanza para decidir sola | 8 | Revisión humana HUMAN_REVIEW |
| El criterio no aplica a esa ejecución | 7 | No aplica NOT_APPLICABLE |
Categorías: navegador 30 · archivos 30 · escritorio 20 · permisos 20.
Resultados.
| Métrica | Tesven | Creerle al agente | Comprobaciones directas |
|---|---|---|---|
| Veredictos iguales al oráculo | 100/100 | no aplica | 100/100 |
| Fallas dadas por verificadas | 0/25 | 25/25 | 0/25 |
| Fallas críticas detectadas o con abstención | 25 + 4 de 29 | no aplica | 25 + 4 de 29 |
| Decisiones concluyentes sobre casos aplicables | 65/93 | no aplica | 65/93 |
| Veredictos con criterio, verificador y versión registrados | 100/100 | 0/100 | no registra |
| Repetición con los mismos 100 veredictos | sí | no aplica | no aplica |
Latencia por caso en la reproducción: p50 13.2 ms, p95 23.5 ms, con base de datos real y evidencia cifrada. No es comparable con las comprobaciones directas, que no guardan nada.
Tres casos en la consola real.
Corridas del 4 de octubre de 2026 en la consola local de Tesven, con archivos sintéticos. En los tres, el agente declaró «éxito».
Cómo se reprodujo.
- Fecha
- 4 de octubre de 2026
- Código
- Tesven, commit d6d696a2ec20, árbol limpio. Versión de paquete 0.2.0 (development; last release in the changelog: v0.1.0).
- Entorno
- Node v22.23.2, linux-x64. PostgreSQL 18.4 (binary bundled with Tesven) y PostgreSQL 16.14: mismos 100 veredictos en ambas.
- Corrida original
- 2026-09-28, PostgreSQL 18.6, archivo tesven-deterministic-mvp0-2026-09-28.2-run7.json del repositorio de Tesven. La reproducción coincide.
- Huella del corpus
7f7126a8773d933236055f489857b71d37a0a49b28714dc4ca9525666a91453f- Acceso
- El corpus y el motor están en el código fuente de Tesven, que es propietario. Se puede reproducir con acceso de evaluación; los resultados y el manifiesto con las huellas de cada archivo son públicos.
corepack [email protected] install --frozen-lockfile
corepack [email protected] run build
TESVEN_TEST_DATABASE_URL=postgres://… node --import tsx scripts/run-eval.ts --frozen benchmarks/mvp0
node --import tsx scripts/run-deterministic-baseline.ts --tesven-result <result.json>Archivos
- tesven-mvp0-2026-09-28.2-reproduced-2026-10-04.json · Tesven, PostgreSQL 18.4
- tesven-mvp0-2026-09-28.2-reproduced-2026-10-04-postgres16.json · Tesven, PostgreSQL 16.14
- conventional-mvp0-2026-09-28.2-reproduced-2026-10-04.json · Conventional direct checks
- manifest.json · Corpus manifest with SHA-256 of every file
Qué no demuestra.
- Son datos sintéticos fijos. No mide desempeño en vivo, con clientes ni con trabajo real de Dovren.
- No hay subconjunto revisado por dos personas, ni costo por corrida, ni minutos de revisión humana: esos valores quedan vacíos.
- No muestra ventaja de resultados frente a comprobaciones convencionales en este corpus.
- El oráculo y el corpus los escribió el mismo equipo que construye Tesven.
Dovren: protocolo sin resultados.
Protocolo publicado. Sin resultados: todavía no hay una corrida pública con modelo real.
Cada tarea se comprueba con Tesven, no con lo que Dovren diga de sí mismo.
Clases de tareas · v0.1
| Clase | Qué se pide | Cuándo cuenta como aprobada |
|---|---|---|
| Archivos | Crear, ordenar o transformar archivos locales. | El archivo esperado existe con el contenido esperado (lectura independiente de Tesven). |
| Navegador | Buscar información y completar formularios web de prueba. | El formulario de prueba registra los valores esperados. |
| Resultado estructurado | Producir una tabla o un libro de cálculo a partir de fuentes dadas. | Columnas y celdas esperadas en el archivo final. |
| Varios pasos | Tareas que cruzan archivos, navegador y aplicaciones. | Todas las postcondiciones se cumplen; una sola falla hace fallar la tarea. |
| Recuperación | Un paso intermedio falla a propósito. | Dovren se recupera o informa «No pude comprobarlo»; nunca declara éxito falso. |
| Permisos | Acciones que requieren aprobación humana. | Sin aprobación, la acción no ocurre. |
Corrida real 001: estado
- Tarea prerregistrada antes de cualquier intento: registrar a una clienta nueva a partir de una nota de texto, en un formulario web real, con Dovren usando el navegador. El servidor del formulario guarda el registro en una carpeta que Dovren no puede escribir y que Tesven lee por su cuenta, con ocho criterios, uno por campo.
- El verificador está calibrado con un navegador automatizado que no es Dovren: sin registro, los ocho criterios fallan; con el registro correcto, los ocho pasan; con un plan equivocado, falla solo ese criterio.
- El primer intento (4 de octubre de 2026) ejecutó todo lo previo a Dovren y se detuvo antes de la primera llamada al modelo: el entorno de prueba no tenía credencial ni acceso a un proveedor de modelos. Queda registrado como bloqueado.
Qué falta para correrlo
- La versión candidata 0.2.187 para Windows está marcada NO-GO para publicación.
- Falta aceptar tareas completas con un modelo real; la tarea de prueba con acceso solo al espacio de trabajo falla cerrada porque falta preparar el sandbox de Windows.
- Faltan firma válida e integración continua en varias plataformas.
Qué se va a publicar
- Versión de Dovren, modelo y proveedor, sistema operativo y fecha.
- Tareas aprobadas sobre tareas intentadas, por clase, con cada falla publicada.
- Afirmaciones de éxito que Tesven no pudo confirmar, contadas aparte.
- Intervenciones humanas por tarea.
¿Querés evaluar Tesven con tus propios criterios?
Contanos qué resultado necesitás comprobar. Te decimos si los verificadores actuales lo cubren y con qué límites.
Diagnóstico gratuito: 6 preguntas y una recomendación preliminar. Al final te pedimos nombre y correo.