1 min de lectura · Inteligencia artificial
Definir qué cuenta como acierto
Una clasificación, una extracción documental y una respuesta con fuentes requieren criterios diferentes. Documentá qué resultados son aceptables, qué errores son tolerables y cuándo la IA debe derivar a una persona.
Construir un conjunto de evaluación
Usá ejemplos representativos del trabajo, incluyendo entradas ambiguas y casos difíciles. Mantené separados los ejemplos usados para ajustar el sistema de los que sirven para evaluar cambios. Registrá las versiones de datos y configuración.
Medir más que exactitud
Observá calidad, latencia, costo, abstenciones y carga de revisión humana. Si un cambio mejora una métrica y empeora otra, esa compensación debe ser visible para quien decide desplegarlo.
Seguir evaluando después del lanzamiento
Los documentos, usuarios y procesos cambian. Revisá muestras, investigá fallos y repetí las pruebas antes de modificar modelos o instrucciones. La evaluación es una función de la operación.
Armá una muestra de evaluación útil
- Incluí casos frecuentes, casos ambiguos y preguntas sin respuesta en las fuentes.
- Pedí a una persona del proceso definir qué resultado sería aceptable antes de ejecutar la prueba.
- Registrá respuesta, fuente, error y corrección necesaria; repetí la misma muestra después de cada cambio.
¿Cómo aplica esto a tu operación? Un primer diagnóstico ayuda a identificar datos, tareas y controles antes de construir.