IA, puesta a prueba.
Evaluaciones, datos y experimentos sobre IA en Paraguay. Métodos que podés revisar y resultados con límites claros.
¿Hacía falta entrenar un modelo?
En estas cinco tareas factuales de desarrollo, un sistema determinista de recuperación con fuentes oficiales fue suficiente; no encontramos evidencia que justificara entrenar o ajustar un modelo para este problema específico.
Límite: Este resultado está limitado a cinco tareas factuales de desarrollo. No establece el conocimiento general de Paraguay de un modelo, superioridad entre modelos ni capacidad en guaraní o jopara, y no implica que futuros problemas no justifiquen entrenamiento.
Ver Experimento 001Cuatro preguntas que guían el trabajo.
PY-AIEval
Cómo medimos IA
Pruebas reproducibles para tareas relevantes en Paraguay. Los conjuntos de desarrollo no permiten clasificar modelos.
Sistema de evaluación implementado · pruebas de desarrollo, sin clasificación de modelosParaguay Corpus
Datos paraguayos trazables
Origen, permisos, idioma y calidad de los datos antes de publicarlos.
Pipeline implementado · revisión humana pendiente · conjunto de datos público pendienteModel Experiments
Cuándo vale la pena entrenar
Probamos primero la búsqueda de información y las instrucciones antes de decidir si hace falta entrenar.
Etapa 0 y etapa 1 completadas · siguiente experimento pendienteEnterprise Evidence
Impacto en operaciones reales
Medimos un proceso antes y después de un cambio, con fuentes y límites claros.
Protocolo listo · casos pendientes de datos y autorizaciónLo que terminamos. Lo que sigue.
Sistema de evaluación y controles
Validamos el sistema de evaluación y sus controles. Esta etapa no mide la calidad de un modelo.
Respuestas sobre Paraguay con fuentes
5/5 en las cinco tareas de desarrollo, sin entrenamiento ni llamadas externas a LLM/API.
Nuevo protocolo antes de nuevo resultado
Primero fijamos el protocolo; después ejecutamos y verificamos el resultado.
Datos y lenguaje
Trabajo en español paraguayo, guaraní, jopara y corpus depende de validación lingüística, derechos y controles de contaminación reales.
Dos estudios sobre quienes trabajan acá.
Estado de la IA Empresarial
Adopción, madurez, inversión, datos, gobierno y barreras en organizaciones con operación en Paraguay.
30 preguntas · muestra voluntariaCUESTIONARIO PILOTOState of Software Paraguay
Tecnologías, trabajo, formación y uso de IA entre quienes construyen software en o desde Paraguay.
32 preguntas · muestra voluntariaCada resultado, con su fuente.
Cada afirmación publicada debe poder volver a su fuente, al método utilizado y al material que permite comprobarla.
Consultar el registro de evidencia