Qué cambiamos y por qué.
Registro público de errores corregidos y de cambios de estado en lo que Nova Labs publica. Un error visible y corregido es una señal de método, no de debilidad.
Entradas del registro
Cambio de estadoPY-AIEval pasó de «publicación externa pendiente» a publicado
El repositorio abierto y el release PY-AIEval-v0.1.0 existen desde esta fecha. La página de benchmark dejó de decir que la publicación estaba pendiente y enlaza ambos. Los conjuntos siguen siendo de desarrollo y sin ranking.
Experimento 001: un fallo de la recuperación se corrigió antes del resultado final
La primera implementación puntuó 4 de 5. La pregunta sobre los departamentos también mencionaba la palabra «capital» y el sistema devolvió la respuesta de la capital. Un test de regresión reprodujo el fallo y el desempate pasó a usar el primer tema mencionado. La corrida final, con el criterio fijado de antemano, puntuó 5 de 5. El resultado solo respalda no entrenar un modelo para ese recorte de cinco ítems.
Qué registramos.
Errores en un resultado, una cifra o una afirmación publicada, retiros y cambios de estado de un producto o de una publicación. No registramos ajustes de estilo ni de redacción que no cambian el significado.
Todavía no hay correcciones de resultados de los estudios piloto porque todavía no publicamos resultados. Cuando existan, cada cambio indicará qué decía antes, qué dice ahora y por qué.
Cómo reportar un error.
Escribinos a [email protected] con la página, lo que dice y lo que creés que debería decir, con la fuente si la tenés. Para el código y los conjuntos de PY-AIEval, abrí un issue en el repositorio público.