Yüzde 99 Doğruluk Dökümhane Yapay Zekâsını Neden Yanıltabilir?
Kısa cevap: Bir dökümhane yapay zekâ modeli %99 doğruluk bildirip yine de nadir hataların tamamını kaçırabilir. Her yüz parçadan yalnızca biri hatalıysa tüm çevrimleri “sağlam” diye sınıflandıran model %99 doğruluğa ulaşır; fakat hata recall değeri sıfırdır. Bu bir müşteri sonucu değil, açıklayıcı matematik senaryosudur. Nadir döküm hatalarında hangi hataların yakalandığını, hangilerinin kaçtığını ve her yanlış kararın maliyetini sorun.
Genel doğruluk neden sahte güven yaratır?
Döküm kalite verisi çoğunlukla dengesizdir: sağlam parçalar baskındır, tek tek hata türleri az görülür. Tek doğruluk değeri, büyük “sağlam” sınıfın önemli arızaları görünmez kılmasına izin verir.
10.000 üretim çevriminde 100 hatalı parça bulunan modellenmiş bir set düşünün. Her çevrimi sağlam etiketleyen model 9.900 doğru tahmin ve %99 doğruluk üretir; buna karşın 100 hatanın hiçbirini bulamaz. Metrik sayısal olarak doğru, operasyonel olarak işe yaramazdır.
Döküm yüzey hatası algılama ve dengesiz döküm hatası tanıma araştırmaları bu yüzden doğruluğun yanında precision, recall ve sınıf bazlı ölçüler raporlar.
Karışıklık matrisini dökümhane kararlarına çevirin
Gerçek pozitif: Hatalı parça doğru biçimde kontrol veya ret için tutulur.
Yanlış negatif: Hatalı parça sağlam diye serbest bırakılır; bu kaçış riskidir.
Yanlış pozitif: Sağlam parça gereksiz yere tutulur ya da reddedilir.
Gerçek negatif: Sağlam parça doğru biçimde serbest bırakılır.
Eşik, yanlış negatiflerle yanlış pozitifleri ters yönde değiştirir. Evrensel ayar yoktur. Emniyet kritik sızdırmazlık yolu, kozmetik iz ve işleme payındaki belirti aynı sonuca sahip değildir.
Asgari skor kartı
Hata modu bazında recall
Recall, gerçekten oluşan hataların kaçının yakalandığını sorar. Gözenek, soğuk birleşme, eksik dolum, çatlak veya oksit kalıntısı gibi güvenilir her etiket için sonucu ayrı gösterin.
Precision ve operatör iş yükü
Precision, alarmların kaçının gerçek hata olduğunu sorar. Düşük precision alarm yorgunluğu ve gereksiz bekletme yaratır. Sürekli döküm çatlak tahmini araştırması, yüksek dengesizlikte precision–recall analizinin ROC eğrisinden daha açıklayıcı olduğunu ve hata maliyetlerinin eşiği yönlendirmesi gerektiğini açıklar.
Precision–recall eğrileri
Tek eşik ödünleşimi gizler. Eğri, hassasiyet yükselirken alarm kalitesinin nasıl değiştiğini gösterir. Average precision özet sağlayabilir; çalışma noktası yine mühendislik kararıdır.
Üretim birimleriyle oranlar
Metrikleri 1.000 çevrim başına yanlış alarm, kontrol partisi başına kaçan hata veya vardiya başına bekletilen parça olarak gösterin. Canlı üretim yaygınlığında doğrulanana kadar bunlar modellenmiş projeksiyonlardır.
Kalibrasyon ve belirsizlik
Kalibrasyon test edilmedikçe 0,8 skor doğrudan %80 olasılık değildir. Güven düşükse sistem ikili kararı zorlamak yerine çekimser kalıp vakayı operatöre veya ek kontrole yönlendirmelidir.
Altı adımlı doğrulama kapısı
Etiket sistemini denetleyin. Kontrol tekrarlanabilirliğini ve hata tanımlarını doğrulayın; önce ölçüm sistemi kapısı gelir.
Üretim yaygınlığını koruyun. Yeniden dengeleme eğitime yardım edebilir; nihai test seti hattı temsil etmelidir.
Üretim sınırına göre ayırın. Daha sonraki zamanları, kalıpları, gözleri, alaşımları veya ürün ailelerini dış testte tutun. Bu, veri sızıntısını azaltır.
Her hatayı ayrı raporlayın. Karışıklık matrisi, recall, precision ve pozitif örnek sayısını verin.
Eşiği sonuca göre seçin. Kaçış, yanlış alarm ve çekimserlik riskini belgeleyin.
Gölge çalışma yapın. Model ürün kararını yönetmeden öneri versin; alarmları doğrulanmış sonuçlarla karşılaştırın.
Bu yaklaşım NIST Yapay Zekâ Risk Yönetim Çerçevesi ilkesine uygundur: sistemi bağlamında değerlendirmek, sınırları belgelemek ve alan uzmanlarını katmak.
Kanıt sınırları
Görüntü tabanlı yüzey kontrolü ile proses verisinden risk tahmini aynı değildir. Bir alaşımda, makinede, kalıpta veya aydınlatmada güçlü sonuç başka koşula aktarımı kanıtlamaz. Veri artırma, eksik proses fiziğini üretmez ve güvenilmez etiketi düzeltmez.
2026 tarihli döküm yüzeylerinde üretken anomali algılama çalışması precision, recall ve F1 kullanır; çünkü hem kaçan hatalar hem yanlış alarmlar önemlidir. Doğru yaklaşım, kararla ilişkili birkaç ölçü kullanmak ve test sınırlarını açıkça yazmaktır.
Castella burada nasıl konumlanır?
Castella değerlendirmeyi tek doğruluk başlığı yerine üretim kararlarının etrafında yapılandırabilir: sınıf yaygınlığı, hata bazlı karışıklık matrisleri, eşik senaryoları, zaman/kalıp/göz dış testleri, belirsizlik ve izlenebilirlik birlikte incelenebilir. Amaç karar desteğidir; otomatik otorite değildir. Kontrol planı ve ürün serbest bırakma sorumluluğu mühendislerde kalır.
Bu kapıdan sonra iyileştirme sorusu deney tasarımı ve parametre etkileşimleri ile sınanabilir veya HPDC ve LPDC proses optimizasyonuna bağlanabilir.
Sık sorulan sorular
Dökümhanede doğruluk gereksiz mi?
Hayır. Sınıflar ve hata maliyetleri benzerse destekleyici metriktir. Nadir hatalarda tek başına yetersizdir.
Recall her zaman en yükseğe çıkarılmalı mı?
Körü körüne hayır. Çok yüksek recall yönetilemez yanlış alarm yükü yaratabilir. Emniyet, kalite, kontrol kapasitesi ve maliyet çalışma noktasını belirler.
Oversampling dengesizliği çözer mi?
Öğrenmeye yardım edebilir; gerçek üretim yaygınlığını değiştirmez. Üretime benzer dağılım ve dokunulmamış dış test setiyle doğrulayın.
Eşik ne zaman yeniden incelenmeli?
Malzeme, kalıp, makine, sensör veya kontrol değiştiğinde; ayrıca yaygınlık ya da kalibrasyon kaydığında.
Yorumlar