Fuga de datos en IA para fundición: cómo dividir datos HPDC y LPDC

Respuesta corta: una división aleatoria de filas no es suficiente cuando ciclos vecinos, cavidades, moldes o campañas comparten condiciones. Si información casi duplicada aparece en entrenamiento y prueba, la métrica describe memoria, no generalización.

Dónde nace la fuga

Puede aparecer por duplicados, características calculadas con información futura, normalización antes de dividir, etiquetas posteriores al momento de decisión o piezas del mismo grupo en ambos conjuntos. En fundición, la secuencia productiva crea dependencia que una tabla plana oculta.

Puerta de validación en siete pasos

1) Fije el instante de predicción. 2) Defina jerarquía: máquina, molde, cavidad, aleación, campaña y tiempo. 3) elimine duplicados entre conjuntos. 4) pruebe grupos no vistos y periodos futuros. 5) ajuste preprocesamiento solo dentro de cada fold. 6) mida por defecto y subgrupo. 7) defina cuándo el modelo debe abstenerse.

Ejemplo modelado

Con 30.000 registros, una división aleatoria puede colocar disparos consecutivos del mismo molde en entrenamiento y prueba. Una división temporal por campaña es más difícil, pero se parece a la pregunta real: ¿funcionará el modelo mañana? La caída de rendimiento no es fracaso; es información sobre el límite de confianza.

HPDC, LPDC y arena no son un solo dominio

Cada proceso tiene secuencias, sensores y mecanismos físicos distintos. Incluso dentro de HPDC, máquinas o moldes pueden requerir validación separada. Un modelo global debe demostrar transferencia; no se debe asumir.

Límites de la evidencia

Un buen holdout histórico no elimina el cambio de distribución. Deben vigilarse sensores, materias primas, mantenimiento y decisiones operativas. La trazabilidad del dataset es tan importante como el algoritmo.

Fuente técnica

Prácticas recomendadas y fuga de datos en scikit-learn: https://scikit-learn.org/stable/common_pitfalls.html

Preguntas frecuentes

¿Por qué no basta un split 80/20 aleatorio?

Porque puede mezclar observaciones dependientes y hacer que la prueba sea artificialmente fácil.

¿Es mejor dividir por tiempo o por molde?

Depende del uso futuro; a menudo se necesitan ambos para probar generalización temporal y entre equipos.

¿Una métrica más baja es mala noticia?

No si es más honesta. Permite diseñar límites, nuevas mediciones o modelos específicos.