# Transformer-Architektur > Beziehungen zwischen Positionen einer Folge gewichten - Datum: 2017 - Epoche: Moderne - Bereich: [Elektrizität & Elektronik](https://lastcodex.org/de/domains/electricity/) - Stufe: V (Elektrisches Zeitalter) - Schwierigkeit: 5/5 - URL: https://lastcodex.org/de/inventions/transformer-network/ Der Transformer ist eine 2017 von Ashish Vaswani und seinen Mitautoren veröffentlichte Architektur neuronaler Netze. Sie verarbeitet Folgen mit Aufmerksamkeit, numerischen Transformationen und Positionsinformationen; das ursprüngliche Modell besteht aus Encoder und Decoder und wurde insbesondere für maschinelle Übersetzung untersucht. ![Transformer-Architektur · Beziehungen zwischen Positionen einer Folge gewichten](https://lastcodex.org/_astro/plate.2HFQaqM0_2jG6ls.webp) ## Legende 1. Eingaberepräsentationen und Positionen 2. Encoder mit Selbstaufmerksamkeit 3. Vorherige Ausgaben und Positionen 4. Decoder mit maskierter Selbstaufmerksamkeit 5. Aufmerksamkeit auf Encoder-Ausgaben 6. Projektion und Ausgabewahrscheinlichkeiten ## Was es ist Ein Transformer überführt eine Folge numerischer Repräsentationen in eine andere Folge. Bei Text erhalten die verarbeiteten Einheiten, die Tokens, Vektoren: Zahlenlisten, die das Netz verändert. In der 2017 veröffentlichten Übersetzungsarchitektur verarbeitet ein Encoder die Eingabe. Ein Decoder baut daraus und aus bereits verfügbaren Ausgabeelementen die Ausgabe auf. Das Netz lernt Parameter anhand von Trainingsbeispielen. Stehen diese Parameter fest, bestimmt eine Eingabe einen Rechenvorgang. Bei der Texterzeugung spielt zusätzlich die Auswahl der Ausgaben eine Rolle. Neuronale Netze, maschinelle Übersetzung und Aufmerksamkeitsmechanismen hatten bereits eine Geschichte, als diese Kombination entstand. Ihr Beitrag betrifft eine bestimmte Architektur zur Verarbeitung von Folgen. ## Wie es funktioniert ![Frontales Schema einer Anfrage, die zwei Schlüssel vergleicht und anschließend deren Werte kombiniert](https://lastcodex.org/_astro/v1.BfUbmeAM_1XWpFb.webp) _In jedem Paar steht links der Schlüssel und rechts der Wert. Die gewichteten Werte werden am Ausgang kombiniert._ Aufmerksamkeit erzeugt aus Repräsentationen Anfragen, Schlüssel und Werte. Das Skalarprodukt einer Anfrage mit jedem Schlüssel ergibt einen Wert, geteilt durch die Quadratwurzel der Schlüsseldimension. Softmax bildet die Exponentialwerte und teilt sie durch ihre Summe. Die daraus entstehenden Gewichte dienen zur gewichteten Addition der Werte. Eine Anfrage kann damit Informationen von mehreren Positionen zusammenführen. Bei Selbstaufmerksamkeit stammen Anfragen, Schlüssel und Werte aus derselben Folge, werden aber durch getrennte gelernte Projektionen gebildet. Mehrere Aufmerksamkeitsköpfe arbeiten mit verschiedenen Projektionen; ihre Ergebnisse werden zusammengefügt und transformiert. Der Encoder setzt Eingabepositionen miteinander in Beziehung. Der Decoder sperrt zukünftige Ausgabepositionen und greift durch eine weitere Aufmerksamkeitsoperation auf die Repräsentationen des Encoders zu. Hinzu kommen positionsweise angewandte Netze, Normalisierungen und Restverbindungen, die die Eingabe einer Teilschicht zu deren Ergebnis addieren. Positionsinformationen ergänzen die Vektoren, denn reine Inhaltsvergleiche liefern noch keine Reihenfolge. Das Basismodell beschreibt sechs Encoder-Schichten, sechs Decoder-Schichten und acht Köpfe innerhalb seiner Mehrkopf-Aufmerksamkeitsschichten. Bei der Aufmerksamkeit zwischen Encoder und Decoder stammen die Anfragen aus dem Decoder. Schlüssel und Werte kommen aus der Ausgabe des Encoders. Im ursprünglichen Modell folgt die Schichtnormalisierung jeweils auf die Addition der Restverbindung. Die Verarbeitung wiederholt sich in jeder Schicht; die gelernten Gewichte können sich dabei von Schicht zu Schicht unterscheiden. Beim Training werden die bereits bekannten Elemente der gewünschten Ausgabe verschoben in den Decoder eingegeben. Die Maske verhindert, dass eine Position auf spätere Elemente zugreift, auch wenn mehrere Positionen gemeinsam berechnet werden. Bei der Erzeugung einer neuen Folge stehen dagegen nur die zuvor erzeugten Ausgabeelemente zur Verfügung. Aus diesen Eingaben berechnet der Decoder die Wahrscheinlichkeiten für das jeweils nächste Element der Folge. ## So geht's Ein [Computer](/de/inventions/computer/) und ein Taschenrechner reichen, um eine Aufmerksamkeitsoperation auszuprobieren. Wählen Sie die Schlüsseldimension 1, die Anfrage 1, die Schlüssel `ln(3)` und 0 sowie die Werte 2 und 6. Dabei bezeichnet `ln` den natürlichen Logarithmus. Die Zahlen wurden für die Rechnung gewählt; es findet kein Lernen statt. ![Quadratische Matrix mit drei Zeilen und drei Spalten, deren Felder oberhalb der Diagonale schraffiert sind](https://lastcodex.org/_astro/v2.DjNEX4xZ_ZTeg0j.webp) _Eine kausale Maske sperrt zukünftige Positionen oberhalb der Diagonale: Zeilen stehen für Anfragen, Spalten für Schlüssel._ Die Vergleichswerte betragen `ln(3)` und 0, weil die Quadratwurzel von 1 gleich 1 ist. Ihre Exponentialwerte sind 3 und 1 und ergeben zusammen 4. Daraus folgen die Gewichte 3/4 und 1/4. Die Ausgabe beträgt `(3/4 × 2) + (1/4 × 6) = 3`. Das größere Gewicht verdrängt den anderen Beitrag also nicht vollständig. Wiederholen Sie die Rechnung, diesmal ohne den zweiten Schlüssel zuzulassen. Setzen Sie seinen Vergleichswert vor Softmax auf minus unendlich. Sein Exponentialwert wird 0. Die Gewichte sind nun 1 und 0, die Ausgabe ist 2. In einer Folge verhindert diese Regel den Zugriff auf spätere Elemente. Eine dreieckige Maske lässt die aktuelle und alle vorherigen Positionen zu. Für das Training eines vollständigen Netzes braucht man Repräsentationen, sämtliche Schichten, Daten, ein Lernziel und die Anpassung der Parameter. ## Geschichte und Entwicklung Bahdanau, Cho und Bengio schlugen 2014 eine gelernte Zuordnung für neuronale Übersetzung vor; ihre Arbeit wurde 2015 auf der ICLR vorgestellt. Ihr Decoder konnte verschiedene Teile des Ausgangssatzes gewichten. Auch Selbstaufmerksamkeit wurde schon vor dem Transformer untersucht, wie dessen Veröffentlichung anerkennt. Am 12. Juni 2017 reichten Vaswani und sieben Mitautoren Attention Is All You Need bei arXiv ein. Ihr Encoder und Decoder verknüpften Positionen ohne Rekurrenz oder Faltung. Die Berechnung der Repräsentationen erlaubte mehr parallele Verarbeitung. Die autoregressive Erzeugung lieferte Ausgabeelemente dagegen weiterhin nacheinander. Spätere Entwicklungen verwenden Encoder, Decoder oder beide für weitere Aufgaben. Diese Varianten verändern Einsatzgebiete und Trainingsverfahren. Die 2017 veröffentlichte Architektur bleibt der Ausgangspunkt der Transformer-Familie. ## Wissenswertes - Erste Veröffentlichung auf arXiv: 2017 - Ursprüngliche Encoder- und Decoder-Schichten: 6 + 6 - Aufmerksamkeitsköpfe im Basismodell: 8 ## Erfordert - [Computer](https://lastcodex.org/de/inventions/computer/): Eine Maschine mit gespeichertem Programm (1948) ## Quellen - [Attention Is All You Need, version 1, 12 juin 2017](https://arxiv.org/pdf/1706.03762v1), Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Łukasz Kaiser, Illia Polosukhin ; arXiv - [The Transformer Architecture, Dive into Deep Learning, §11.7](https://d2l.ai/chapter_attention-mechanisms-and-transformers/transformer.html), Aston Zhang, Zachary C. Lipton, Mu Li, Alexander J. Smola ; Dive into Deep Learning - [Attention Scoring Functions, Dive into Deep Learning, §11.3](https://d2l.ai/chapter_attention-mechanisms-and-transformers/attention-scoring-functions.html), Aston Zhang, Zachary C. Lipton, Mu Li, Alexander J. Smola ; Dive into Deep Learning - [Neural Machine Translation by Jointly Learning to Align and Translate](https://arxiv.org/abs/1409.0473), Dzmitry Bahdanau, Kyunghyun Cho, Yoshua Bengio ; arXiv - [Attention Is All You Need, notice et historique des versions](https://arxiv.org/abs/1706.03762), arXiv, métadonnées de la contribution Vaswani et al. Fakten geprüft am 2026-11-01. --- The Last Codex · https://lastcodex.org/de/inventions/transformer-network/ · © The Last Codex. Texte, Tafeln und Figuren: CC BY-NC-ND 4.0.