KI-Aussagen von Anbietern in RFPs und Demos bewerten

# KI-Aussagen von Anbietern in RFPs und Demos bewerten

Ein Anbieter von Netzwerkanalytik sagt Ihrem CTO: „Unsere KI reduziert Netzausfallzeiten um 47 % mit Deep-Learning-Anomalieerkennung.“ Die Demo sieht schick aus. Das RFP (Request for Proposal, das Dokument, mit dem ein Telekommunikationsunternehmen Anbieterangebote einholt) enthält eine ganze Seite ähnlicher Aussagen. Niemand im Raum kann sagen, welcher Satz ein validiertes Ergebnis ist und welcher eine Marketing-Umschreibung von „wir sammeln Metriken“. Diese Lektion zeigt Ihnen, wie Sie den Unterschied erkennen.

Warum das jetzt relevant ist

Telekommunikationsbetreiber werden mit KI-Pitches für Netzbetrieb, Kundenservice, Betrugserkennung und RAN-Optimierung (Radio Access Network) überschwemmt. Budgets sind begrenzt. Eine falsche Anbieterwette kostet 12 bis 18 Monate Integrationszeit, nicht nur Lizenzgebühren. Einkaufsteams brauchen zunehmend KI-kompetente Prüfer, nicht nur technische Evaluatoren, denn die Aussagen sind so geschrieben, dass sie ein Querlesen überleben, keine Prüfung.

Die Anatomie einer aufgeblasenen Aussage

Realitätsnaher RFP-Auszug, umschrieben nach Mustern, die bei Anbietern von Netzwerkanalytik verbreitet sind:

> „Unsere Plattform nutzt machine learning, um Netzstörungen vorherzusagen, bevor sie auftreten, senkt die MTTR (Mean Time to Repair) um bis zu 40 % und ermöglicht proaktive Wartung im gesamten RAN.“

Zerlegen Sie das in prüfbare Teile:

1. „Nutzt machine learning“: Vage. Welche Technik? Ein gradient-boosted Tree, der Schwellenwertüberschreitungen markiert, ist „machine learning“. Ein Random Forest ebenso. Ebenso eine einfache Regression, die für das Sales-Deck umbenannt wurde.

2. „Störungen vorhersagen, bevor sie auftreten“: Vorhersage erfordert einen gelabelten historischen Datensatz von Störungen und einen definierten Vorhersagehorizont (5 Minuten im Voraus vorherzusagen ist etwas völlig anderes als 48 Stunden). Fragen Sie: wie weit im Voraus vorhergesagt, mit welcher Precision und welchem Recall?

3. „Bis zu 40 %“: „Bis zu“ ist das verräterische Signal. Es beschreibt einen Bestfall, möglicherweise von einem einzigen Pilotstandort, einem Quartal, herausgepickt. Fragen Sie nach der Verteilung, nicht nach der Obergrenze.

4. „Im gesamten RAN“: Wurde das auf 4G, 5G oder beidem validiert? Urbane Makrozellen, ländlich, Indoor-Small-Cells? Ein Modell, das auf dichten urbanen RAN-Verkehrsmustern trainiert wurde, verliert auf ländlichen Zellen mit anderen Rauschprofilen häufig an Leistung.

Fünf Fragen, die Beweis von Politur trennen

1. Was ist die Baseline?

„40 % Reduktion der MTTR“ gegenüber was? Manueller Triage? Einem regelbasierten Altsystem? Fragen Sie nach dem konkreten Vergleichsmaßstab und dem gemessenen Zeitraum.

2. Auf welchen Daten wurde das Modell trainiert und getestet?

Fragen Sie direkt: wie viele Zellstandorte, wie viele Monate, Equipment welches Herstellers (RAN-Hardware von Ericsson, Nokia, Huawei verhält sich unterschiedlich), und stammte das Test-Set aus einem anderen Zeitraum als das Trainings-Set (Out-of-Time-Validierung), um Overfitting auszuschließen.

3. Wie hoch sind Precision und Recall, nicht nur die Accuracy?

Bei Störungsvorhersage oder Anomalieerkennung ist Accuracy oft bedeutungslos, weil Störungen seltene Ereignisse sind. Wenn nur 1 % der Zeitfenster eine echte Störung enthält, erreicht ein Modell, das immer „keine Störung“ vorhersagt, 99 % Accuracy und ist dabei nutzlos. Bestehen Sie auf Precision (von den markierten Störungen: wie viele waren echt) und Recall (von den echten Störungen: wie viele wurden erkannt).

4. Wurde das von einer dritten Partei validiert oder nur intern?

Unabhängige Validierung, eine gesprächsbereite Kundenreferenz oder eine veröffentlichte Case Study mit Methodik wiegt mehr als ein internes Whitepaper. Fragen Sie nach der entsprechenden öffentlichen Quelle: TM Forum veröffentlicht herstellerneutrale Reifegrad-Frameworks für KI im Telekommunikationsbetrieb, nützlich als externer benchmark.

5. Spiegelt die Demo Produktionsbedingungen wider?

Demos laufen auf kuratierten Daten. Fragen Sie: kkDie durchschnittliche Zahl neuer Nutzer, die jeder bestehende Nutzer über Empfehlungen generiert. Über 1,0 verstärkt sich das Wachstum selbst und wird exponentiell.Vollständige Definition ansehen →önnen wir das vor Vertragsabschluss auf unseren eigenen zurückgehaltenen Daten laufen lassen? Ein Anbieter, der seinen Aussagen vertraut, sollte einem Proof of Concept (PoC) mit Ihren Daten, Ihren KPIs und einer vorab vereinbarten Erfolgsschwelle zustimmen.

Ein einfaches framework: der Vier-Ebenen-Test für Aussagen

| Ebene | Frage | Warnsignal |

|---|---|---|

| Definition | Welche exakte Metrik, über welchen Zeitraum? | „Steigert die Effizienz“ ohne Metrik |

| Baseline | Verglichen mit welchem Vorzustand? | Kein Vergleichsmaßstab genannt |

| Evidenz | Intern, kundenbelegt oder peer-reviewed? | Nur „interne Studien zeigen“ |

| Übertragbarkeit | Auf Daten wie unseren getestet? | Einzelner Pilot, anderer Markt/andere Geografie |

Wenn eine Aussage an zwei oder mehr Ebenen scheitert, behandeln Sie sie als Marketing, nicht als technisches Ergebnis, und bepreisen Sie den deal entsprechend (kkDie durchschnittliche Zahl neuer Nutzer, die jeder bestehende Nutzer über Empfehlungen generiert. Über 1,0 verstärkt sich das Wachstum selbst und wird exponentiell.Vollständige Definition ansehen →ürzerer Vertrag, PoC als Gate, Strafklauseln gekoppelt an echte KPIs).

Durchgerechnetes Beispiel: eine Aussage überschlagen, bevor Sie sie glauben

Ein Anbieter behauptet, seine KI-basierte prädiktive Wartung senke ungeplante Ausfälle um 30 % und spare geschätzt 2 Mio. $ jährlich (Schätzung des Anbieters, unverifiziert) für einen mittelgroßen Betreiber mit 10.000 Zellstandorten.

Prüfen Sie die Arithmetik selbst auf Plausibilität:

Annahme: 10.000 Standorte, durchschnittlich 0,5 ungeplante Ausfälle/Standort/Jahr
        = 5.000 Ausfälle/Jahr
Annahme: durchschnittliche Kosten pro Ausfall (Techniker-Einsatz, SLA-Strafe, churn-Risiko)
        ≈ 1.500 $ (illustrative Schätzung, mit eigenen Betriebsdaten verifizieren)
Jährliche Ausfallkosten Baseline ≈ 5.000 × 1.500 $ = 7.500.000 $

Anbieter behauptet 30 % Reduktion:
Einsparung ≈ 0,30 × 7.500.000 $ = 2.250.000 $

Das passt ungefähr zur Zahl des Anbieters von 2 Mio. $, ein gutes Zeichen dafür, dass die Aussage intern konsistent ist. Aber Konsistenz ist kein Beweis. Sie brauchen weiterhin Ihre eigene Ausfallrate und Ihre eigenen Kosten pro Ausfall, nicht die angenommenen des Anbieters, und einen PoC, um zu testen, ob die 30 % in Ihrem Netz halten.

Vertrags- und Bewertungsklauseln, auf denen Sie bestehen sollten

• PoC vor Verpflichtung: 60 bis 90 Tage, auf Ihren Daten, gegen Ihren definierten KPIKPIKey Performance Indicator, ein messbarer Wert, der zeigt, wie wirksam Sie ein bestimmtes Ziel erreichen, über die Zeit verfolgt und gegen einen Zielwert gemessen.Vollständige Definition ansehen →, mit einem expliziten Ausstieg „kein Kauf“, wenn die Schwelle verfehlt wird.
• Anforderung an Erklärbarkeit: Fragen Sie für jedes Modell, das kundenrelevante Entscheidungen beeinflusst (z. B. churn-Vorhersage mit Auswirkung auf Retention-Angebote), wie der Anbieter die Transparenzpflichten des EU AI Act für die betroffenen KI-Systeme adressiert und ob ererDas Verhältnis von Interaktionen (Likes, Kommentare, Shares) zur Reichweite eines Inhalts. Zeigt, wie stark die Zielgruppe reagiert, gemessen an der Zahl der Personen, die den Inhalt gesehen haben.Vollständige Definition ansehen → Erklärungen auf Feature-Ebene liefern kann, nicht nur einen Score.
• Datenherkunft: woher stammen die Trainingsdaten, enthalten sie anonymisierte Daten Ihrer Wettbewerber (bei mandantenfähigen Netzwerkanalytik-Plattformen verbreitet), und ergeben sich daraus kartellrechtliche oder Vertraulichkeitsfragen.
• Monitoring des Leistungsverfalls: verpflichtet sich der Anbieter zu einer Retraining-Kadenz und zur Berichterstattung über model drift (nachlassende Leistung bei veränderten Netzbedingungen)?

🎬 [VIDEO: „How to Read an AI Vendor's Whitepaper Critically“ - youtube.com - suchen Sie nach Vorträgen von MLOpsMLOpsMachine Learning Operations: die Verbindung von ML- und DevOps-Praktiken, um Modelle zu industrialisieren, auszurollen, zu überwachen und in der Produktion zuverlässig neu zu trainieren.Vollständige Definition ansehen →- oder Applied-ML-Konferenzen zur Bewertung von ML-Aussagen von Anbietern; achten Sie auf solche, die Precision/Recall-Fallen und Baseline-Vergleiche in Enterprise-KI-Vertriebsmaterial durchgehen]

Wie wirklich gute Anbieter-Evidenz aussieht

• Namentlich genannte Kundenreferenzen, idealerweise bei Betreibern, die in Größe und Geografie mit Ihnen vergleichbar sind.
• Eine Confusion Matrix oder eine Precision/Recall-Tabelle, nicht nur eine einzelne „Accuracy“-Zahl.
• Offenlegung des Modelltyps (auch auf hoher Ebene: Gradient Boosting, LSTM für Zeitreihen, transformertransformerEin Transformer ist eine Neural-Network-Architektur, die mit Self-Attention Sequenzen parallel verarbeitet und die meisten modernen Sprach- und generativen KI-Modelle antreibt.Vollständige Definition ansehen →-basierte Anomalieerkennung) und warum ererDas Verhältnis von Interaktionen (Likes, Kommentare, Shares) zur Reichweite eines Inhalts. Zeigt, wie stark die Zielgruppe reagiert, gemessen an der Zahl der Personen, die den Inhalt gesehen haben.Vollständige Definition ansehen → zum Use Case passt.
• Ein veröffentlichter oder von Dritten geprüfter benchmark oder die Bereitschaft, sich auf gemeinsamen Daten mit einem Wettbewerber vergleichen zu lassen.
• Klare Angabe von Grenzen: wo das Modell schwächer abschneidet (z. B. „Accuracy sinkt bei neu ausgerollten 5G-Small-Cells mit weniger als 3 Monaten Historie“).

Anbieter, die Grenzen von sich aus nennen, sind gegen die Intuition glaubwürdiger. Übertriebene Aussagen ohne Einschränkungen sind selbst ein Signal.

Die wichtigsten Erkenntnisse

• Behandeln Sie jede KI-Leistungszahl in einem RFP als Hypothese, nicht als Fakt, bis Sie die Baseline, den Datensatz und die Details zu Precision/Recall dahinter gesehen haben.
• Formulierungen mit „bis zu X %“ signalisieren einen Bestfall, der wahrscheinlich nicht repräsentativ ist; fragen Sie nach der Verteilung über Standorte und Zeiträume.
• Verlangen Sie vor Vertragsabschluss einen Proof of Concept auf Ihren eigenen Daten mit vorab vereinbarter KPIKPIKey Performance Indicator, ein messbarer Wert, der zeigt, wie wirksam Sie ein bestimmtes Ziel erreichen, über die Zeit verfolgt und gegen einen Zielwert gemessen.Vollständige Definition ansehen →-Schwelle; Demos auf anbieterseitig kuratierten Daten beweisen wenig.
• Nutzen Sie einen einfachen Vier-Ebenen-Test (Definition, Baseline, Evidenz, Übertragbarkeit), um Aussagen während der RFP-Prüfung schnell zu sortieren.
• Anbieter, die Modellgrenzen offenlegen und unabhängige Validierung anbieten, sind in der Regel vertrauenswürdiger als solche mit polierten Aussagen und ohne Einschränkungen.