Transformer
Auch: Transformer architecture, Transformer model, Attention-based model
Ein Transformer ist eine Neural-Network-Architektur, die mit Self-Attention Sequenzen parallel verarbeitet und die meisten modernen Sprach- und generativen KI-Modelle antreibt.
Was es ist
Ein Transformer ist eine Deep-Learning-Architektur, die 2017 im Paper "Attention Is All You Need" vorgestellt wurde. Er verarbeitet sequenzielle Daten (etwa Text, Code oder Audio-Token) mit einem Mechanismus namens Self-Attention statt mit der schrittweisen Rekurrenz früherer Modelle wie RNNs und LSTMs. Damit kann er die Beziehungen zwischen allen Elementen einer Sequenz gleichzeitig gewichten, unabhängig davon, wie weit sie voneinander entfernt sind.
Warum es zählt
Vor den Transformern verarbeiteten Sequenzmodelle Token einzeln, was langsam zu trainieren war und lange Abhängigkeiten schlecht erfasste. Transformer haben das geändert durch:
- Parallelisierung der Berechnung: alle Token werden gleichzeitig verarbeitet, was das Training auf großen Datensätzen und Hardware (GPUs/TPUs) deutlich effizienter macht.
- Gute Skalierung: die Leistung verbessert sich weiter, wenn Daten, Parameter und Compute wachsen, und das ist die Grundlage der Large Language Models (LLMs).
- Übertragbarkeit über Domänen hinweg: dasselbe Grunddesign treibt heute Text, Bilder (Vision Transformer), Audio und multimodale Systeme an.
Der Transformer ist das Rückgrat bekannter Modellfamilien wie GPT, BERT, T5 und vieler offener Modelle.
Wie es funktioniert (kurz)
- Tokenisierung und Embeddings: der Input wird in Token zerlegt und auf numerische Vektoren abgebildet.
- Positional Encoding: da Attention keine eingebaute Reihenfolge kennt, wird Positionsinformation ergänzt, damit das Modell die Token-Abfolge kennt.
- Self-Attention: jedes Token berechnet Query-, Key- und Value-Vektoren, um zu entscheiden, wie stark es jedes andere Token "beachtet".
- Multi-Head Attention: mehrere Attention-Berechnungen laufen parallel, um verschiedene Beziehungen zu erfassen.
- Feed-Forward-Layer und Residual Connections: gestapelte Blöcke verfeinern die Repräsentation, mit Normalisierung für stabiles Training.
Zu den Varianten gehören Encoder-only (gut fürs Verstehen, z. B. Klassifikation), Decoder-only (gut für Generierung, z. B. Chatbots) und Encoder-Decoder (gut für Übersetzung oder Zusammenfassung).
Ein konkretes Beispiel
Nehmen Sie den Satz: "The trophy did not fit in the suitcase because it was too big." Ein Transformer verknüpft über Self-Attention "it" mit "trophy" und nicht mit "suitcase", indem er den Kontext des gesamten Satzes nutzt. In der Praxis könnte ein Customer-Support-Team einen Decoder-only-Transformer auf vergangenen Tickets fine-tunen, damit er präzise Antworten entwirft, während ein Finance-Team ein Encoder-Modell nutzt, um Transaktionsbeschreibungen in großem Umfang zu klassifizieren.
Siehe auch
Häufige Fragen
Was ist ein Transformer in der KI?
Ein Transformer ist eine Deep-Learning-Architektur, 2017 im Paper "Attention Is All You Need" vorgestellt, die Sequenzen wie Text, Code oder Audio-Token mit Self-Attention verarbeitet statt mit der schrittweisen Rekurrenz von RNNs und LSTMs. Er gewichtet die Beziehungen zwischen allen Token einer Sequenz gleichzeitig, unabhängig von der Distanz zwischen ihnen. Er ist das Rückgrat von Modellfamilien wie GPT, BERT und T5.
Warum haben Transformer RNNs und LSTMs ersetzt?
Weil sie deutlich schneller trainieren und lange Abhängigkeiten besser bewältigen. RNNs und LSTMs verarbeiten Token einzeln, was langsam ist und weit entfernten Kontext verliert; ein Transformer verarbeitet alle Token gleichzeitig, sodass das Training GPUs und TPUs effizient nutzen kann. Außerdem verbessert sich die Leistung weiter, wenn Daten, Parameter und Compute wachsen, und genau das hat Large Language Models möglich gemacht.
Was ist der Unterschied zwischen Encoder-only-, Decoder-only- und Encoder-Decoder-Transformern?
Sie unterscheiden sich nach Aufgabe. Encoder-only-Modelle (BERT-Stil) passen zu Verstehensaufgaben wie Klassifikation; Decoder-only-Modelle (GPT-Stil) passen zur Generierung, also zu Chatbots; Encoder-Decoder-Modelle (T5-Stil) passen zu Übersetzung und Zusammenfassung, wo eine Eingabesequenz in eine Ausgabesequenz umgewandelt wird. Das Self-Attention-Grunddesign ist in allen drei Fällen dasselbe.
Wie funktioniert Self-Attention konkret?
Jedes Token erzeugt drei Vektoren, Query, Key und Value, und nutzt sie, um zu entscheiden, wie viel Aufmerksamkeit es jedem anderen Token der Sequenz widmet. Mehrere dieser Berechnungen laufen parallel (Multi-Head Attention), um verschiedene Arten von Beziehungen zu erfassen, danach verfeinern Feed-Forward-Layer, Residual Connections und Normalisierung die Repräsentation über gestapelte Blöcke. Da Attention keinen Begriff von Reihenfolge enthält, wird Positional Encoding ergänzt, damit das Modell die Token-Abfolge kennt.
Kann ein Transformer auch anderes als Text verarbeiten?
Ja. Dieselbe Kernarchitektur treibt heute Bilder über Vision Transformer an, ebenso Audio und multimodale Systeme, die mehrere Input-Typen kombinieren. Diese Allgemeinheit ist ein Grund, warum sich das Design so schnell über Natural Language Processing hinaus verbreitet hat.