Por qué un 99 % de precisión puede fallar en la IA para fundición

Respuesta corta: un modelo puede acertar el 99 % y aun así no detectar ningún defecto raro. En fundición, la métrica útil no es solo la exactitud global, sino la capacidad de encontrar la clase crítica sin generar una cantidad inaceptable de falsas alarmas.

El problema de la clase rara

Si 9.900 de 10.000 piezas son conformes, un sistema que siempre responda “conforme” alcanza 99 % de exactitud. Sin embargo, deja pasar los 100 defectos. Es un ejemplo modelado, no un resultado de cliente, pero muestra por qué la exactitud puede ser peligrosa en porosidad, falta de llenado, inclusiones o grietas.

Qué medir en su lugar

Use recall para saber qué proporción de defectos reales detecta el modelo; precision para saber cuántas alarmas son correctas; y una matriz de confusión por tipo de defecto. Revise además la curva precision-recall, la calibración de probabilidades y el coste operacional de cada falso negativo y falso positivo.

Una puerta de validación para la planta

1) Defina el defecto y el momento exacto de decisión. 2) Separe campañas, moldes, cavidades y periodos de producción. 3) Fije límites mínimos de recall y máximos de falsas alarmas antes de ajustar el umbral. 4) Evalúe cada clase por separado. 5) Confirme con un periodo futuro no visto. 6) Mantenga revisión humana y una regla de abstención cuando el modelo esté fuera de su dominio.

Umbral: una decisión económica y metalúrgica

El umbral no debe elegirse para producir una cifra bonita. Debe reflejar la gravedad del defecto, el coste de inspección, el riesgo de escape y la capacidad del proceso. Un defecto crítico puede justificar más sensibilidad; una señal ruidosa puede exigir confirmación adicional.

Qué puede aportar Castella

Castella puede organizar señales de proceso y calidad para apoyar una decisión verificable, pero no convierte datos débiles en evidencia. La liberación debe depender de trazabilidad, límites operativos y resultados confirmados en producción.

Límites de la evidencia

Ninguna métrica offline garantiza desempeño futuro. Cambios de aleación, molde, lubricación, sensor, operador o campaña pueden desplazar la distribución. Por eso el seguimiento por tiempo y la reevaluación por subgrupo son parte del sistema, no tareas opcionales.

Fuente técnica

Documentación oficial de scikit-learn sobre evaluación y curvas precision-recall: https://scikit-learn.org/stable/modules/model_evaluation.html#precision-recall-f-measure-metrics

Preguntas frecuentes

¿La exactitud nunca sirve?

Sí sirve cuando las clases y los costes son comparables; no debe gobernar sola un caso de defecto raro.

¿Debemos maximizar siempre el recall?

No. El recall debe equilibrarse con falsas alarmas, capacidad de inspección y criticidad del defecto.

¿El sobremuestreo resuelve el problema?

Puede ayudar al entrenamiento, pero la evaluación final debe conservar la prevalencia y la secuencia reales de producción.