Richtiger Kontext, falsche Annahme: Was Morgan Stanley über Prompting im großen Maßstab gelernt hat

Morgan Stanley verwaltet rund 4 Billionen Dollar an Kundenvermögen und beschäftigt etwa 16.000 Finanzberater. 2023 startete das Unternehmen gemeinsam mit OpenAI einen internen Assistenten auf GPT-4-Basis, den AI @ Morgan Stanley Assistant. ErErThe ratio of interactions (likes, comments, shares) to reach for a given piece of content, used to gauge how well audiences respond relative to how many people saw it.Vollständige Definition ansehen → sollte Beratern helfen, Informationen aus der firmeneigenen Bibliothek von über 100.000 Research-Dokumenten, Compliance-Briefings und Anlagerichtlinien abzurufen. Das Volumen des internen Wissens war nicht das Problem. Das Problem war die Frage, was dem Modell bei jeder Anfrage tatsächlich mitgegeben wird.

Finanzberater stellen keine einheitlichen Fragen. Einer braucht die aktuelle Rendite eines bestimmten Fonds samt ESG-Klassifizierung. Ein anderer braucht die Compliance-Regeln, um genau diesen Fonds einem bestimmten Kundensegment zu empfehlen. Der erste Reflex, den viele Teams beim Aufbau von Retrieval-Augmented-Generation-Systemen (RAG) teilen, war: mehr Dokumente abrufen und alle übergeben. Mehr Abdeckung, so die Logik, bedeutet weniger Lücken in der Antwort. Dieser Reflex erwies sich als falsch, auf teure und lehrreiche Weise.

Was Morgan Stanley tatsächlich gemacht hat

Das Engineering-Team wandte sich gemeinsam mit OpenAI vom massenhaften Dokumentenabruf ab und ging zu dem über, was es als Precision Retrieval beschrieb: nicht nur relevante Dokumente identifizieren, sondern die konkreten Abschnitte und Metadaten, die zur Absicht der Anfrage passen. Das verlangte von den Prompt-Architekten, die Query Decomposition explizit zu machen, also eine einzelne Beraterfrage in ihre Bestandteile zu zerlegen, bevor der Abruf überhaupt startete.

Eine Frage wie „Welche steuereffizienten Einkommensoptionen gibt es aktuell für einen High-Net-Worth-Kunden im 37-Prozent-Steuersatz?“ zerfällt in mindestens drei eigenständige Retrieval-Aufgaben: aktuelle Produktverfügbarkeit, steuerliche Behandlung je Steuerklasse und etwaige Compliance-Einschränkungen für die konkrete Lizenzkategorie des Beraters. Die vollständige Frage an ein Retrieval-System zu geben und auf einen kohärenten Treffer zu hoffen, war nicht die Lösung. Der Prompt musste jede Teilabsicht einzeln rahmen.

Konkret waren dafür einige Entscheidungen nötig. Erstens wurde der System-Prompt von generischen Anweisungen befreit („Sie sind ein hilfsbereiter Finanzassistent“) und stattdessen rollenspezifisch formuliert, passend zur Entscheidung, die der Berater in diesem Moment tatsächlich traf. Zweitens wurde der abgerufene Kontext nicht allein nach semantischer Ähnlichkeit gerankt, sondern nach Aktualität und Autorität des Dokuments, denn ein Produktbriefing von 2019 ist nicht gleichwertig mit einem Compliance-Update von 2025, auch wenn beide denselben Fonds behandeln. Drittens erhielt das Modell eine ausdrückliche Anweisung, was zu tun ist, wenn der abgerufene Kontext nicht ausreicht: das sagen und angeben, welche Art von Dokument fehlt, statt eine Antwort aus benachbartem Material zusammenzusetzen.

Dieser letzte Punkt verdient Aufmerksamkeit. Einer der häufigeren Fehler im Prompt-Design besteht darin, dem Modell keinen Ausweg zu lassen. Ist der Kontext dünn, nutzt ein Modell ohne explizite Anweisung das, was es hat. Dieses Verhalten sieht wie Hilfsbereitschaft aus, produziert aber überzeugend klingende Antworten auf Basis unvollständiger Belege.

Die Ergebnisse

Morgan Stanley hat zu diesem Projekt bis Mitte 2026 keine detaillierten Performance-Kennzahlen veröffentlicht, konkrete Zahlen zur Verbesserung der Genauigkeit sind also mit Vorsicht zu behandeln. Öffentlich erklärt hat das Unternehmen, dass der Assistent innerhalb weniger Monate nach dem Start von einem erheblichen Teil der Beraterschaft genutzt wurde, und dass Berater ihn als Ersatz für vormals 20- bis 40-minütige manuelle Recherchen beschreiben.

Aussagekräftiger waren die Fehlerbilder, die nicht eingetreten sind. In der Finanzbranche ist das Risiko, dass ein Modell eine Fondseigenschaft halluziniert oder eine Compliance-Regel falsch zitiert, nicht abstrakt. Der Einsatz bei Morgan Stanley hat keinen öffentlichen Compliance-Vorfall ausgelöst, wie er auf systematische Modell-Konfabulation folgen würde. Das ist kein Zufall. Die Entscheidungen beim Kontextdesign, insbesondere die Anweisung, Retrieval-Lücken zu markieren statt zu füllen, haben die Angriffsfläche für erfundene Inhalte verkleinert.

Zum Vergleich: Interne Studien von Google zu RAG-Systemen (veröffentlicht über die Forschung von Google DeepMind) zeigen durchgängig, dass das Vollstopfen des Context WindowContext WindowThe context window is the maximum amount of text (measured in tokens) a language model can process at once, including both the input prompt and the generated output.Vollständige Definition ansehen →, also das Hinzufügen weiteren abgerufenen Materials ohne Ranking oder Filterung, die Antwortqualität verschlechtern kann, weil Rauschen die Aufmerksamkeit des Modells von der relevantesten Passage weglenkt. Der Ansatz von Morgan Stanley deckt sich in der Praxis mit diesen Befunden.

Was sich auf Ihre Arbeit übertragen lässt

Der Fall Morgan Stanley ist in erster Linie keine Geschichte über KI-Infrastruktur im Unternehmen. Die Prinzipien gelten auf der Ebene des einzelnen Prompts, und dort arbeiten die meisten Fachkräfte tatsächlich.

Die erste übertragbare Disziplin: Zerlegen Sie Ihre Frage, bevor Sie den Prompt schreiben. Steckt mehr als eine Entscheidung in Ihrer Frage, wird das Modell eine priorisieren und die anderen vernachlässigen. Schreiben Sie einen Satz, der genau beschreibt, welche Entscheidung Sie treffen wollen, und prüfen Sie dann, ob Ihr Prompt diese Entscheidung tatsächlich adressiert oder etwas Benachbartes.

Die zweite Disziplin: Wählen Sie den Kontext bewusst. Wenn Sie einen langen E-Mail-Verlauf, ein Dokument oder Meeting-Notizen einfügen, identifizieren Sie die drei oder vier Sätze, die wirklich mit Ihrer Frage zu tun haben, und nehmen Sie nur diese statt des ganzen Blocks. Es geht nicht ums TokenTokenA token is the basic unit of text that language models process, often a word fragment, whole word, or punctuation mark rather than a single character.Vollständige Definition ansehen →-Sparen, sondern um das Signal-Rausch-Verhältnis. Ein Modell, das eine E-Mail mit 2.000 Wörtern liest, um eine Frage zur Budgetabweichung in Q3 zu beantworten, verwendet seine Aufmerksamkeit auf Material, das mit dieser Abweichung nichts zu tun hat.

Die dritte: Geben Sie dem Modell einen klaren Ausweg. Fügen Sie Ihrem Prompt eine Zeile hinzu, etwa: „Wenn Sie nicht genug Informationen haben, um das genau zu beantworten, sagen Sie mir, was fehlt, statt zu raten.“ Modelle tun das nicht von sich aus. Sie sind darauf trainiert, hilfreich zu sein, was in der Praxis heißt: Sie liefern eine Antwort, ob der bereitgestellte Kontext sie rechtfertigt oder nicht.

Wo sich Ihre Situation von der von Morgan Stanley unterscheidet: Dort bauten Ingenieure Retrieval-Pipelines und Ranking-Algorithmen. Sie wahrscheinlich nicht. Das manuelle Äquivalent ist einfach: Lesen Sie Ihren Prompt, bevor Sie ihn abschicken, und fragen Sie sich, ob der eingefügte Kontext die Antwort tatsächlich enthält, oder ob Sie hoffen, das Modell leitet sie aus dem Umfeld ab. Diese einzige Gewohnheit eliminiert einen großen Teil schlechter Ergebnisse.

Es geht nicht darum, längere Prompts zu schreiben. Es geht darum, zu wissen, warum jedes Kontextstück überhaupt im Prompt steht. Wenn Sie keinen Grund nennen kkThe average number of new users each existing user generates through referrals. Above 1.0, growth compounds on itself and becomes exponential.Vollständige Definition ansehen →önnen, streichen Sie es.