Por que 99% de acurácia pode falhar na IA para fundição

Resposta curta: um modelo pode acertar 99% das peças e ainda assim não detectar nenhum defeito raro. Em fundição, a métrica útil não é apenas a acurácia global, mas a capacidade de encontrar a classe crítica sem criar um volume inviável de alarmes falsos.

O problema da classe rara

Se 9.900 de 10.000 peças forem conformes, um sistema que sempre responda “conforme” atinge 99% de acurácia. Mesmo assim, deixa escapar os 100 defeitos. É um exemplo modelado, não um resultado de cliente, mas mostra o risco em porosidade, falta de enchimento, inclusões ou trincas.

O que medir no lugar

Use recall para medir quantos defeitos reais foram encontrados; precisão para saber quantos alertas estavam corretos; e uma matriz de confusão por tipo de defeito. Revise também a curva precisão-recall, a calibração das probabilidades e o custo operacional de falsos negativos e falsos positivos.

Uma porta de validação para a fábrica

1) Defina o defeito e o instante da decisão. 2) Separe campanhas, moldes, cavidades e períodos. 3) Fixe limites de recall e de alarmes falsos antes de ajustar o limiar. 4) Avalie cada classe. 5) Confirme em um período futuro não visto. 6) Mantenha revisão humana e regra de abstenção fora do domínio conhecido.

Limiar é uma decisão econômica e metalúrgica

O limiar não deve produzir apenas uma métrica bonita. Ele precisa refletir a gravidade do defeito, o custo de inspeção, o risco de escape e a capacidade do processo. Um defeito crítico pode justificar mais sensibilidade; um sinal ruidoso pode exigir confirmação.

Como a Castella pode apoiar

A Castella pode organizar sinais de processo e qualidade para apoiar uma decisão verificável, mas não transforma dados fracos em evidência. A liberação deve depender de rastreabilidade, limites operacionais e confirmação na produção.

Limites da evidência

Nenhuma métrica offline garante desempenho futuro. Liga, molde, lubrificação, sensor, operador e campanha podem mudar a distribuição. Monitoramento temporal e reavaliação por subgrupo fazem parte do sistema.

Fonte técnica

Documentação oficial do scikit-learn sobre avaliação e precisão-recall: https://scikit-learn.org/stable/modules/model_evaluation.html#precision-recall-f-measure-metrics

Perguntas frequentes

A acurácia nunca é útil?

É útil quando classes e custos são comparáveis; não deve governar sozinha um caso de defeito raro.

Devemos sempre maximizar o recall?

Não. O recall deve ser equilibrado com alarmes falsos, capacidade de inspeção e criticidade.

Sobreamostragem resolve o problema?

Pode ajudar no treinamento, mas a validação final deve preservar a prevalência e a sequência reais.