Datenqualitätsmetriken, die in der Produktion wirklich zählen

# Datenqualitätsmetriken, die in der Produktion wirklich zählen

Um 2:14 Uhr beginnt ein Drehmomentsensor an Linie 3, Messwerte mit einem Zeitstempel-Versatz von 40 Sekunden zu protokollieren. Niemand merkt es. Drei Tage später wird eine Charge Bremshalter für die Automobilindustrie mit einem falsch ausgewiesenen Wärmebehandlungscode ausgeliefert. Der Fehler kommt bei einem Kundenaudit heraus, nicht vorher. Die Ursache war nie der Drehmomentsensor selbst. Es war ein Datenqualitätsfehler, den niemand gemessen hat: eine Timeliness-Drift, die die Verbindung zwischen Sensorwerten und Chargensatz zerstört hat.

In dieser Lektion geht es um die Metriken, die das zuerst aufgedeckt hätten.

Warum Produktionsdaten anders sind

Fertigungsdaten haben eine gespaltene Persönlichkeit. Auf der einen Seite: hochfrequente, maschinengenerierte Sensordaten (Temperatur, Vibration, Drehmoment, Zykluszeit), häufig über SCADA-Systeme (Supervisory Control and Data Acquisition) oder PLCs (Programmable Logic Controllers). Auf der anderen: Transaktionsdaten (Arbeitsaufträge, Chargengenealogie, Bestellungen, Qualitätsprüfungen), meist in einem ERP (Enterprise Resource Planning) oder MES (Manufacturing Execution System, die Softwareschicht, die die Produktion in Echtzeit zwischen ERP und Shopfloor verfolgt).

Diese zwei Welten laufen mit völlig unterschiedlichen Geschwindigkeiten und werden schlecht abgeglichen. Ein Chargensatz im MES sagt vielleicht „Wärmebehandlung abgeschlossen 14:32“. Das Sensorlog des Ofens sagt vielleicht, der letzte gültige Messwert war 14:28, danach eine Lücke. Niemand prüft die Lücke. In dieser Lücke verstecken sich falsch gekennzeichnete Chargen.

Die vier Metriken, die zählen

Completeness

Definition: der Prozentsatz der erwarteten Datenpunkte, die tatsächlich erfasst wurden, ohne fehlende Felder oder verlorene Datensätze.

Beispiel: Ein Vibrationssensor an einer CNC-Spindel (Computer Numerical Control) sollte während eines Produktionslaufs alle 5 Sekunden einen Messwert protokollieren. Über eine 8-Stunden-Schicht sind das 5.760 erwartete Messwerte. Wenn nur 5.200 ankamen, liegt die Completeness bei:

Completeness = (Records received / Records expected) × 100
             = (5,200 / 5,760) × 100
             = 90.3%

Eine Completeness-Rate von 90 % klingt in Ordnung, bis Sie feststellen, dass sich die fehlenden 10 % genau um einen Werkzeugwechsel herum ballen, also genau dann, wenn Fehler am wahrscheinlichsten sind. Die aggregierte Completeness verdeckt den Ausfall. Prüfen Sie Completeness immer *pro Zeitfenster*, nicht nur als Tagesdurchschnitt.

Benchmark (Branchenschätzung, Stand 2025): Best-in-Class-Hersteller streben bei sicherheitskritischen Sensordatenströmen über 98 % Completeness an (Quelle: allgemeine Hinweise der Manufacturing Extension Partnership des NIST, als Richtwert zu verstehen, nicht als harter Standard).

Timeliness

Definition: die Verzögerung zwischen dem Eintreten eines Ereignisses und dem Zeitpunkt, an dem es erfasst und nutzbar ist.

Das ist die Metrik, die unser Eingangsszenario aufgedeckt hätte. Ein Versatz von 40 Sekunden bei einem Drehmomentwert mag trivial erscheinen, aber wenn das MES diesen Wert zur automatischen Freigabe einer Charge nutzt, arbeitet die Freigabelogik mit veralteten Daten.

Timeliness wird üblicherweise als Latenz gemessen (Zeit von Ereignis bis Datenverfügbarkeit) gegen ein definiertes SLA (Service Level Agreement, eine vereinbarte Leistungsschwelle). Für Echtzeit-Qualitätsgates ist oft eine Latenz im Sekundenbereich oder darunter erforderlich. Für das tägliche Produktionsreporting ist eine Latenz am selben Tag (T+0 oder T+1) üblich.

Accuracy

Definition: wie genau die erfassten Daten der Ground Truth entsprechen.

Accuracy ist am schwersten zu messen, weil man selten eine perfekte Ground Truth zum Vergleich hat. Gängige Proxys:

• Kalibrierdrift-Prüfungen: Vergleich der Sensorausgabe mit einem bekannten Referenzstandard nach festem Zeitplan (z. B. wöchentliche Kalibrierung eines Druckmessgeräts gegen eine zertifizierte Referenz).
• Abgleich über Quellen hinweg: Stimmt das Chargengewicht im MES mit dem Versandgewicht im ERP innerhalb der Toleranz überein?
• Exception-Rate: Prozentsatz der Datensätze, die von Validierungsregeln markiert werden (z. B. ist ein Temperaturwert von 950 °C in einem Prozess mit maximal 400 °C ein offensichtlicher Accuracy-Fehler, nicht nur ein AusreißererThe ratio of interactions (likes, comments, shares) to reach for a given piece of content, used to gauge how well audiences respond relative to how many people saw it.Vollständige Definition ansehen →).

Eine falsch gekennzeichnete Charge ist im Kern ein Accuracy-Fehler: Das Label nannte einen Wärmebehandlungscode, der Prozesssatz einen anderen. Um das zu erkennen, müssen zwei unabhängige Quellen abgeglichen werden, statt einer davon allein zu vertrauen.

Duplication Rate

Definition: der Prozentsatz der Datensätze, die redundante Kopien desselben Ereignisses sind.

Duplikate treten in der Fertigungs-IT laufend auf: Ein Netzwerk-Retry sendet denselben Sensorwert zweimal, oder ein Arbeitsauftrag wird nach einem fehlgeschlagenen ERP-Sync manuell erneut erfasst. Duplikate blähen Zählungen auf (eine Charge scheint die Prüfung zweimal bestanden zu haben) und kkThe average number of new users each existing user generates through referrals. Above 1.0, growth compounds on itself and becomes exponential.Vollständige Definition ansehen →önnen einen fehlenden echten Datensatz hinter einem False Positive verbergen.

Duplication rate = (Duplicate records / Total records) × 100

Benchmark (Schätzung): unter 1 % gilt für automatisierte Sensor-Feeds als gesund; über 3 % deutet meist auf ein Integrations- oder Netzwerk-Retry-Problem hin, das eine Untersuchung wert ist.

Alles zusammen: eine Governance-Checkliste

Keine dieser Metriken funktioniert isoliert. Eine praktikable Data-Governance-Routine für die Produktion, täglich oder pro Schicht ausgeführt, sieht so aus:

1. Completeness-Prüfung pro Maschine und Zeitfenster, Markierung unter 95 %.

2. Timeliness-Prüfung an kritischen Kontrollpunkten (Chargenfreigabe, Qualitätsgate), Markierung bei Überschreitung des SLA.

3. Accuracy-Abgleich zwischen MES und ERP für Chargenkennungen, Mengen und Prozesscodes.

4. Duplikat-Scan auf Transaktionstabellen, bevor diese in Reporting oder kundenseitige Qualitätszertifikate einfließen.

Das ist der Kern von Data GovernanceData GovernanceData governance is the set of policies, roles, and processes that ensure data is accurate, secure, well-defined, and used responsibly across an organization.Vollständige Definition ansehen →: die Richtlinien, Rollen und Prozesse, die sicherstellen, dass Daten vertrauenswürdig genug sind, um darauf zu handeln. In regulierter Fertigung (Automotive nach IATF 16949, Medizinprodukte nach FDA 21 CFR Part 820 in den USA oder der EU-Medical Device Regulation) sind diese Prüfungen nicht optional. Auditoren werden nach Nachweisen fragen.

Ein durchgerechnetes Beispiel: die falsch gekennzeichnete Charge aufspüren

Zurück zu unserer Bremshalter-Charge. So hätten die vier Metriken den Fehler vor dem Versand aufgedeckt:

• Timeliness markiert den 40-Sekunden-Sensorversatz als Anomalie außerhalb des 5-Sekunden-SLA.
• Completeness zeigt eine Lücke im Ofentemperatur-Log genau im Wärmebehandlungsfenster der Charge.
• Accuracy-Abgleich zwischen dem MES-Wärmebehandlungscode und dem ERP-Versandsatz zeigt eine Abweichung: MES sagt „Code HT-42“, die ERP-Versandpapiere sagen „Code HT-38“.
• Duplikatprüfung ist sauber, schließt eine Doppelzählung durch Dateneingabe als Erklärung aus und lenkt die Ermittler auf eine echte Fehlkennzeichnung.

Eine einfache automatisierte Regel (Pseudocode, die Art von Logik, die ein Data Engineer in einem Qualitäts-Dashboard umsetzen würde):

if mes_heat_code != erp_shipment_code:
    flag_batch(batch_id, reason="heat_code_mismatch")
    hold_shipment(batch_id)

Diese einzige Abgleichsregel, vor der Versandfreigabe ausgeführt, ist günstiger als ein nicht bestandenes Kundenaudit und weit günstiger als ein Rückruf.

Wo Sie tiefer einsteigen kkThe average number of new users each existing user generates through referrals. Above 1.0, growth compounds on itself and becomes exponential.Vollständige Definition ansehen →önnen

Für eine Einführung in Datenqualitätsdimensionen über die Fertigung hinaus ist das DAMA-DMBOK (Data Management Body of Knowledge) das branchenübergreifend genutzte Referenz-Framework, auch für Fertigungs-IT-Teams, die Governance-Programme aufbauen.

🎬 [VIDEO: „What is Data QualityData QualityThe degree to which data is fit for purpose: accurate, complete, consistent, timely, valid and unique. Poor quality data undermines analytics, reporting and AI.Vollständige Definition ansehen →? (Completeness, Accuracy, Consistency Explained)“ - youtube.com - ein Durchgang in einfacher Sprache durch die zentralen Datenqualitätsdimensionen, nützlich als Auffrischung für nicht-technische Führungskräfte]

Key Takeaways

• Completeness, Timeliness, Accuracy und Duplication Rate sind die vier zentralen Datenqualitätsmetriken für Sensor- und Transaktionsdaten in der Produktion. Messen Sie sie pro Zeitfenster und pro Maschine, nicht nur als Tagesdurchschnitt.
• Timeliness-Verzögerung ist ein unterschätztes Risiko: Ein verzögerter Sensorwert kann automatisierte Qualitätsgates, die von Echtzeitdaten ausgehen, stillschweigend aushebeln.
• Accuracy prüft man am besten über Abgleich zwischen unabhängigen Quellen (MES vs. ERP, Sensor vs. Kalibrierreferenz), da keine einzelne Quelle automatisch „Ground Truth“ ist.
• Duplikate unter 1 % und Completeness über 95 bis 98 % sind vernünftige Richtwerte (Schätzungen, keine festen Standards); untersuchen Sie Abweichungen nach Ursache, nicht nur nach Schwellenwert.
• In regulierten Branchen (IATF 16949, FDA 21 CFR Part 820, EU MDR) sind dokumentierte Datenqualitätsprüfungen Auditnachweis, keine optionale Hygiene.