Wenn 99% nicht reichen …

Wenn 99 % nicht reichen: False Positives in Predictive-Maintenance-Systemen.

Predictive-Maintenance-Systeme sollen Defekte erkennen, bevor sie entstehen. In Präsentationen liest man dann oft Zahlen wie „99 % Genauigkeit“ oder „99 % Trefferquote“. Das klingt beruhigend. In der Praxis ist es das häufig nicht.

Nehmen wir ein einfaches Gedankenexperiment. Angenommen, in einer Fertigung ist jedes zehntausendste Teil tatsächlich defekt. Bei 100.000 produzierten Teilen erwarten wir zehn Fehler.

Nun setzen wir ein sehr gutes Modell ein. Es erkennt 99 % der echten Defekte korrekt. Diese Eigenschaft nennt man Sensitivität. Gleichzeitig bewertet das Modell 99 % der guten Teile als korrekt. Das ist seine Spezifität. Beides sind in diesem Beispiel Werte, die man mit gutem Gewissen als „hoch“ bezeichnen würde.

Was passiert nun im Betrieb? Von den zehn echten Defekten werden im Mittel 9.9 erkannt. Einer von hundert geht durch. Von den fast hunderttausend guten Teilen werden jedoch rund eintausend fälschlich als problematisch markiert. Am Ende erzeugt das System etwa tausend Alarme, von denen nur zehn auf echte Qualitätsprobleme hinweisen.

Das Ergebnis wirkt paradox, ist aber reine Wahrscheinlichkeitsrechnung. Wenn Fehler extrem selten sind, dominiert die Masse der guten Teile. Dann wird selbst eine kleine Unschärfe auf der „guten Seite“ zum Hauptproblem. Sensitivität und Spezifität mögen hoch sein, die Aussagekraft eines Alarms ist es nicht.

Vielleicht ist das größte Missverständnis in Predictive-Maintenance-Projekten die Annahme, dass eine hohe Validierungsgenauigkeit automatisch zu guten Entscheidungen im Prozess führt. Eine „Genauigkeit 99%“ beeindruckt vielleicht in Power-Point, in der Produktion zählen andere Wahrheiten.

Es bleibt die entscheidende Frage: Wie viele Alarme kann der Prozess ertragen, bevor Vertrauen und Effizienz leiden? Wer wirklich etwas bewegen will, muss hinter die Zahlen schauen – und die Realität im Prozess verstehen.