Datenleckage in Gießerei-KI: HPDC- und LPDC-Daten verlässlich aufteilen

Serdar Perçin
vor 1 Tag
4 Min. Lesezeit

Kurzantwort: Eine zufällige Aufteilung einzelner Zeilen reicht für Gießerei-KI meist nicht aus. Gelangen benachbarte Schüsse, dasselbe Werkzeug oder dieselbe Kavität, eine gemeinsame Schmelze oder erst später bekannte Prüfinformationen sowohl in Training als auch Test, kann das Modell sehr gut aussehen und in der nächsten Schicht, Kampagne oder nach einem Werkzeugwechsel dennoch versagen. Die Validierung muss Produktionsgruppen zusammenhalten, die Zeitrichtung beachten und genau den späteren Einsatzfall prüfen.

Warum ein Zufallssplit die falsche Antwort geben kann

Gießereidatensätze bestehen nicht aus unabhängigen Losen. Aufeinanderfolgende HPDC-Schüsse teilen Werkzeugtemperatur, Sprühzustand, Schmiermittelwirkung, Metallhistorie, Vakuumleistung und Maschinenzustand. LPDC-Gussteile können dieselbe Ofencharge, Druckkurve, Kühlkreisbedingung und Formkampagne teilen. Teile aus einer Kavität oder einem Werkzeug tragen häufig eine wiederkehrende Signatur.

Ein zufälliger 80/20-Split kann deshalb fast identische Produktionsnachbarn auf Training und Test verteilen. Die Testzeilen sind formal ungesehen, ihre Bedingungen sind im Training jedoch bereits vertreten. Das ist Datenleckage: Die Bewertung profitiert von Information, die beim wirklich neuen Produktionszustand nicht verfügbar wäre.

Leckage bedeutet nicht nur, das Qualitätsergebnis versehentlich als Eingangsgröße zu verwenden. Sie entsteht auch durch gleitende Mittelwerte mit zukünftigen Schüssen, Skalierung auf dem Gesamtdatensatz, erst nach der Prüfung erfasste Nacharbeitscodes oder Bildvarianten desselben Gussteils in verschiedenen Folds.

Die Gießereifrage muss zuerst feststehen

Bevor ein Algorithmus gewählt wird, sollten Prognosezeitpunkt und Einsatzziel in einem Satz fixiert werden. Zum Beispiel:

Beim Auswerfen des Teils nur Signale verwenden, die bis zu diesem Zeitpunkt vorliegen, um priorisierte Prüfung zu empfehlen; das Modell muss für die nächste Produktionskampagne derselben freigegebenen Teilenummer und Prozessroute gültig bleiben.

Dieser Satz bestimmt, welche Spalten zulässig sind, welche Zukunftsinformation verboten ist und was „ungesehen“ bedeutet. Ein Modell für den nächsten Schuss benötigt einen zeitgerechten Test. Ein Modell mit Transferanspruch auf ein anderes Werkzeug, eine andere Kavität oder Maschine benötigt einen Gruppen-Holdout, der diese Bedingung bewusst zurückhält.

Siebenstufiges Validierungstor für HPDC und LPDC

Prognosezeitpunkt einfrieren. Jede Eingangsgröße auflisten und bestätigen, dass ihr Wert vor der Entscheidung existiert. Endprüfung, Sortierung, Nacharbeit und nachgelagerte Bearbeitung sperren, sofern sie nicht das Ziel bilden.
Hierarchie der Produktionsgruppen aufbauen. Mindestens Teilenummer, Prozessroute, Maschine, Werkzeug, Kavität, Schmelz- oder Ofencharge, Legierungslos, Schicht, Werkzeugkampagne und Wartungszustand erhalten. Die stärkste gemeinsame Ursache wird zum Gruppenschlüssel der jeweiligen Validierungsfrage.
Doppelte Repräsentationen zusammenhalten. Wiederholte Bilder, neu aufbereitete Sensorfenster und korrigierte Kopien eines Gussteils bleiben in derselben Partition. Nach physischem Teil oder Schuss-ID teilen, nicht nach Dateianzahl.
Mehr als einen realistischen Test durchführen. Gruppierte Validierung für wiederkehrende Produktionsfamilien, Vorwärts-Zeitsplit für die nächste Kampagne und bei Transferanspruch ein vollständig zurückgehaltenes Werkzeug, eine Kavität, Maschine oder Legierungsbedingung verwenden. GroupKFold und TimeSeriesSplit sind Umsetzungsmuster, kein Ersatz für Prozesswissen.
Vorverarbeitung nur im Training anpassen. Imputation, Skalierung, Merkmalsauswahl, Oversampling, Schwellen und Hyperparameter dürfen in jedem Fold nur dessen Trainingsanteil sehen. Die gesamte Pipeline sperren, bevor der finale Test geöffnet wird.
Die Entscheidung bewerten, nicht nur den Klassifikator. Konfusionsmatrizen und klassenbezogenen Recall besonders für seltene Fehlerarten berichten. Risiko einer falschen Freigabe von den Kosten einer falschen Sperrung trennen. Eine einzelne Accuracy oder ein gemittelter CV-Wert kann den für die Produktion entscheidenden Fehler verbergen.
Ablehnungsgrenze festlegen. Liegt die Testbedingung außerhalb freigegebener Teile-, Legierungs-, Werkzeug-, Sensor- oder Prozessbereiche, muss das Modell unzureichende Evidenz melden und an Engineering übergeben. Ein bestandener historischer Test erlaubt keine automatische Parameteränderung.

Modelliertes Beispiel: Validierungsplan, kein Kundenergebnis

Betrachten wir rein illustrativ 30.000 Gussdatensätze aus zwei Maschinen, drei Werkzeugen, vier Kavitäten und sechs Produktionsmonaten. Diese Zahlen sind nur ein modelliertes Szenario zur Erklärung der Methode.

Ein Zufallssplit könnte Schüsse derselben Aufwärmsequenz, Schmelzcharge und Kavität auf beide Seiten verteilen. Ein belastbarerer Plan trainiert auf den Monaten eins bis vier, stimmt das Modell mit Gruppen-Folds ab, die Schmelzchargen und Werkzeugkampagnen intakt halten, validiert auf Monat fünf und reserviert Monat sechs einschließlich des nächsten Wartungszustands als unberührten Vorwärtstest. Vor einem Transferanspruch ist zusätzlich eine Leave-one-tool- oder Leave-one-cavity-Prüfung erforderlich.

Die wichtige Ausgabe ist kein versprochener Prozentwert. Sie ist eine transparente Aussage darüber, wo das Modell Evidenz besitzt, wo nicht und welche Produktionsänderung die Aussage ungültig macht.

Was die Evidenz trägt – und was nicht

Das International Journal of Metalcasting dokumentiert die praktische Herausforderung, Material-, Maschinen-Zeitreihen- und Prüfdaten auf unterschiedlichen Ebenen zusammenzuführen, sowie die Einschränkungen durch seltene Fehler und kleine Datensätze. Das stützt disziplinierte Datenverknüpfung und vorsichtige Bewertung; es beweist nicht, dass ein Split oder Modell auf jeder Gießlinie funktioniert.

Forschung zu Datenleckage zeigt, dass kontaminierte Bewertungen in vielen Fachgebieten zu überoptimistischen Ergebnissen führen können. Die offizielle scikit-learn-Dokumentation empfiehlt ebenfalls, Testdaten vor der Vorverarbeitung abzutrennen, nicht überlappende Gruppen bei gemeinsamer Quelle zu verwenden und die Reihenfolge zu respektieren, wenn Zukunftsdaten die Vergangenheit nicht trainieren dürfen. NIST versteht Validierung als objektive Evidenz für einen bestimmten Verwendungszweck und fordert Test, Evaluation, Verifikation und Validierung über den KI-Lebenszyklus.

Keine dieser Quellen ersetzt gießereitechnische Beurteilung. Die richtige Gruppengrenze hängt von der kausalen Struktur der Linie, der beabsichtigten Entscheidung und den Fehlerkosten ab.

Meine technische Position

Meine Grundhaltung ist konservativ: Besteht ein Modell weder einen zeitgerechten Test noch eine Produktionsgruppen-Prüfung, ist es nicht bereit, die nächste Kampagne zu beraten. Ein niedrigerer, ehrlicher Wert ist nützlicher als ein hoher Wert, der durch gemeinsame Schüsse, Werkzeuge oder Zukunftsinformation aufgebläht wurde. Validierung soll das Modell nicht verteidigen; sie soll zeigen, wann es schweigen muss.

Dieses Tor setzt Castellas Beiträge zu Messsystemen für Gussqualitätslabels, Rückverfolgbarkeit vom Schuss zum Fehler sowie Modelldrift und Ablehnung von Empfehlungen fort.

Häufig gestellte Fragen

Ist ein zufälliger Train/Test-Split in einer Gießerei jemals zulässig?

Nur wenn die Datensätze wirklich austauschbar sind und keine relevante Abhängigkeit von Schuss, Teil, Werkzeug, Charge oder Zeit die Grenze überschreitet. Diese Bedingung muss nachgewiesen, nicht angenommen werden.

Gruppierte Kreuzvalidierung oder Zeitsplit?

Der Split muss zur Einsatzaussage passen. Gruppierung prüft Unabhängigkeit von einer gemeinsamen Quelle; ein Vorwärts-Zeitsplit prüft die nächste Periode. Reife Validierung benötigt häufig beides.

Welcher Gruppenschlüssel ist der richtige?

Die stärkste Quelle gemeinsamer Variation für die geprüfte Frage. Das kann physische Teil-ID, Schussfolge, Schmelzcharge, Werkzeug, Kavität, Werkzeugkampagne oder Wartungszustand sein. Einen universellen Schlüssel gibt es nicht.

Erlaubt ein bestandener Test geschlossene Parameterregelung?

Nein. Prädiktive Validierung ist nur eine Ebene. Automatische Regelung erfordert zusätzlich begrenzte Aktionen, Prozesssicherheitsregeln, Änderungsmanagement, Überwachung und einen vom Engineering freigegebenen Rückfallweg.