Dökümhane Yapay Zekâsında Veri Sızıntısı: HPDC ve LPDC Verisi Nasıl Güvenilir Ayrılır?

Serdar Perçin
1 gün önce
4 dakikada okunur

Kısa cevap: Dökümhane yapay zekâsı için rastgele satır bölmek çoğu zaman yeterli değildir. Ardışık atışlar, aynı kalıp veya göz, aynı ergiyik partisi ya da sonradan oluşan kontrol bilgisi train ve test tarafına birlikte düşerse model başarılı görünüp sonraki vardiyada, kampanyada veya takım değişiminde başarısız olabilir. Doğrulama; üretim gruplarını korumalı, zamanı dikkate almalı ve modelin sahada gerçekten karşılaşacağı koşulu sınamalıdır.

Rastgele ayırma neden yanlış cevap verebilir?

Döküm kayıtları birbirinden bağımsız kura topları değildir. Ardışık HPDC atışları kalıp sıcaklığını, püskürtme davranışını, yağlayıcı durumunu, metal geçmişini, vakum performansını ve makine durumunu paylaşır. LPDC parçaları aynı fırın partisini, basınç programını, soğutma devresi durumunu ve kalıp kampanyasını paylaşabilir. Aynı gözden veya kalıptan çıkan parçalar da tekrar eden bir imza taşıyabilir.

Rastgele yüzde 80/20 ayırma, neredeyse aynı üretim komşularını hem eğitim hem test verisine koyabilir. Test satırları teknik olarak görülmemiştir; fakat koşulları eğitim tarafında zaten temsil edilmiştir. Bu bir veri sızıntısıdır: değerlendirme, model gerçekten yeni üretimle karşılaştığında erişemeyeceği bilgiden yararlanır.

Sızıntı yalnızca kalite sonucunu yanlışlıkla girdiye eklemek değildir. Gelecek atışları kullanan hareketli ortalama, tüm veriyle öğrenilen ölçekleme, kontrolden sonra girilen yeniden işleme kodu veya aynı parçanın görüntü varyantlarının farklı katlara dağılması da sızıntı yaratır.

Önce tanımlanması gereken dökümhane sorusu

Algoritma seçmeden önce tahmin anını ve kullanım hedefini tek cümleyle sabitleyin. Örneğin:

Parça kalıptan çıktığı anda, yalnızca o ana kadar mevcut sinyallerle öncelikli kontrol gereksinimini tahmin et; model aynı onaylı parça ve proses rotasının bir sonraki üretim kampanyasında geçerli kalmalıdır.

Bu cümle hangi sütunların meşru olduğunu, hangi gelecek kayıtlarının yasak olduğunu ve “görülmemiş” kelimesinin ne anlama geldiğini belirler. Bir sonraki atış için kullanılacak model zaman sıralı test ister. Başka kalıba, göze veya makineye aktarım iddiası ise o koşulu özellikle dışarıda tutan grup testi gerektirir.

HPDC ve LPDC için yedi adımlı doğrulama kapısı

Tahmin zaman damgasını dondurun. Her girdiyi listeleyin ve karar verilmeden önce gerçekten mevcut olduğunu doğrulayın. Nihai kontrol, ayıklama, yeniden işleme ve sonraki talaşlı imalat alanlarını hedef değilse karantinaya alın.
Üretim grubu hiyerarşisi kurun. En az parça numarası, proses rotası, makine, kalıp, göz, ergiyik veya fırın partisi, alaşım lotu, vardiya, takım kampanyası ve bakım durumunu koruyun. Her doğrulama sorusunda en güçlü ortak neden grup anahtarı olmalıdır.
Yinelenen temsilleri ayırmayın. Aynı parçanın tekrarlı görüntülerini, yeniden işlenmiş sensör pencerelerini ve düzeltilmiş kopyalarını aynı bölümde tutun. Dosya sayısına göre değil fiziksel parça veya atış kimliğine göre ayırın.
Birden fazla gerçekçi test çalıştırın. Tekrarlanan üretim aileleri için gruplu doğrulama, sonraki kampanya için ileri zaman bölümü ve aktarım iddiası varsa tamamen dışarıda bırakılmış kalıp, göz, makine veya alaşım koşulu kullanın. GroupKFold ve TimeSeriesSplit uygulama kalıplarıdır; proses bilgisinin yerine geçmez.
Ön işlemeyi yalnızca eğitim içinde öğrenin. Eksik değer doldurma, ölçekleme, özellik seçimi, yeniden örnekleme, eşikler ve hiperparametre ayarı her katın sadece eğitim bölümünü görmelidir. Nihai test açılmadan önce tüm hattı kilitleyin.
Sınıflandırıcıyı değil kararı puanlayın. Özellikle nadir hata türleri için karmaşıklık matrisini ve sınıf bazlı yakalamayı raporlayın. Hatalı serbest bırakma riskini gereksiz ret maliyetinden ayırın. Tek bir doğruluk veya ortalama çapraz doğrulama skoru üretimde önemli olan hatayı gizleyebilir.
Reddetme sınırını tanımlayın. Test koşulu onaylı parça, alaşım, kalıp, sensör veya proses aralığı dışındaysa model kanıtın yetersiz olduğunu belirtmeli ve kararı mühendise yönlendirmelidir. Geçmiş testi geçmek otomatik parametre değişikliği yetkisi vermez.

Modellenmiş örnek: müşteri sonucu değil, doğrulama planı

Tamamen açıklama amaçlı olarak iki makine, üç kalıp, dört göz ve altı aylık üretimden oluşan 30.000 döküm kaydı düşünün. Sayılar yalnızca yöntemi anlatan modellenmiş bir senaryodur.

Rastgele ayırma aynı ısınma dizisinin, ergiyik partisinin ve kalıp gözünün atışlarını iki tarafa dağıtabilir. Daha savunulabilir bir plan; ilk dört ayla eğitim yapmak, ergiyik partilerini ve takım kampanyalarını bozmayan grup katlarıyla ayar yapmak, beşinci ayı doğrulamak ve bir sonraki bakım durumunu içeren altıncı ayı hiç dokunulmamış ileri test olarak saklamaktır. Aktarım iddiasından önce ayrıca bir kalıbı veya bir gözü tamamen dışarıda bırakan sınama gerekir.

Değerli çıktı vaat edilen bir yüzde değildir. Modelin nerede kanıtı olduğu, nerede olmadığı ve hangi üretim değişiminin iddiayı geçersiz kıldığı açıkça yazılmalıdır.

Kanıt neyi destekler, neyi desteklemez?

International Journal of Metalcasting çalışması; malzeme, makine zaman serisi ve kontrol kayıtlarını farklı seviyelerde birleştirmenin pratik dökümhane güçlüğünü, nadir hataların ve küçük veri setlerinin yarattığı kısıtları belgeliyor. Bu bulgular disiplinli veri bağını ve temkinli değerlendirmeyi destekler; tek bir ayırma yönteminin veya modelin her hat için çalıştığını kanıtlamaz.

Veri sızıntısı araştırmaları kirlenmiş değerlendirmenin farklı alanlarda aşırı iyimser sonuçlar üretebildiğini gösteriyor. Resmî scikit-learn rehberleri de test verisini ön işlemeden önce ayırmayı, ortak kaynağı olan örneklerde çakışmayan gruplar kullanmayı ve geleceğin geçmişi eğitmemesi gereken durumlarda zaman sırasını korumayı öneriyor. NIST ise doğrulamayı belirli kullanım amacı için nesnel kanıt olarak ele alıyor ve yapay zekâ yaşam döngüsü boyunca test, değerlendirme, doğrulama ve geçerlemeyi vurguluyor.

Bu kaynakların hiçbiri döküm mühendisliği kararının yerini tutmaz. Doğru grup sınırı hattın nedensel yapısına, hedeflenen karara ve hata maliyetine bağlıdır.

Mühendislik yaklaşımım

Benim varsayılan yaklaşımım temkinlidir: bir model zaman sıralı testi ve üretim grubu sınamasını geçemiyorsa sonraki kampanyaya öneri vermeye hazır değildir. Daha düşük fakat dürüst bir skor; ortak atışlar, ortak takımlar veya gelecek bilgisiyle şişmiş yüksek skordan değerlidir. Doğrulamanın amacı modeli savunmak değil, modelin nerede susması gerektiğini bulmaktır.

Bu kapı Castella’nın döküm kalite etiketi ölçüm sistemi, atıştan hataya izlenebilirlik ve model kayması ile öneriyi reddetme çalışmalarını ilerletir.

Sık sorulan sorular

Dökümhanede rastgele train/test ayrımı hiç kullanılabilir mi?

Yalnızca kayıtlar gerçekten birbirinin yerine geçebiliyorsa ve anlamlı hiçbir atış, parça, takım, parti veya zaman bağı sınırı aşmıyorsa. Bu koşul varsayılmamalı, gösterilmelidir.

Gruplu çapraz doğrulama mı, zaman bölümü mü kullanmalıyım?

Sahadaki kullanım iddiasını karşılayan bölümü kullanın. Gruplama ortak kaynaktan bağımsızlığı; ileri zaman bölümü sonraki dönemi sınar. Olgun bir doğrulama çoğu zaman ikisini de ister.

En iyi grup anahtarı nedir?

Sınanan soru için en güçlü ortak değişkenlik kaynağıdır. Fiziksel parça kimliği, atış dizisi, ergiyik partisi, kalıp, göz, takım kampanyası veya bakım durumu olabilir. Tek ve evrensel bir anahtar yoktur.

Doğrulamayı geçen model kapalı çevrim parametre kontrolüne izin verir mi?

Hayır. Tahmin doğrulaması yalnızca bir katmandır. Otomatik kontrol ayrıca sınırlandırılmış aksiyonlar, proses güvenliği kısıtları, değişiklik yönetimi, izleme ve mühendis onaylı geri dönüş gerektirir.