Große Sprachmodelle führen heute bei den meisten Sprachaufgaben, doch der Begriff verdeckt drei unterschiedliche Bauweisen. Dieses Paper vergleicht Decoder-only-, Encoder-only- und Encoder-Decoder-Architekturen anhand einer Literaturübersicht: wofür jede gebaut ist, wie sie in verschiedenen Bereichen abschneidet und welche Grenzen (Verzerrung, Halluzination, Rechenaufwand) damit einhergehen. Code-Modelle bekommen einen eigenen Abschnitt, weil sie den deutlichsten Nutzen zeigen.
01Ein Begriff, drei Bauweisen
Fast jedes moderne Sprachmodell basiert auf dem Transformer und seinem Attention-Mechanismus 1. Unterschiedlich ist, welche Hälfte davon ein Modell behält. Diese Wahl entscheidet, worin das Modell gut ist, lange bevor Trainingsdaten gewählt werden.
Decoder-only-Modelle sagen das nächste Token voraus und führen daher bei generativen Aufgaben. Encoder-only-Modelle lesen eine ganze Sequenz auf einmal und sind stark im Verstehen und Extrahieren von Informationen. Encoder-Decoder-Modelle lesen und schreiben dann, was zu Übersetzung und Zusammenfassung passt 2.
02Der Vergleich
Der Vergleich läuft über Coding, Schlussfolgern und Verstehen, Textgenerierung und Frage-Antwort-Systeme sowie domänenspezifische Modelle 3. Coding wird unter anderem mit HumanEval Pass@1 bewertet 4.
03Code-Modelle
Code-LLMs verwandeln eine Beschreibung in natürlicher Sprache in Quellcode (NL2Code) und reichen weiter bis zu Vervollständigung, Übersetzung und Reparatur. Vortrainingsziele wie Span Corruption und Fill-in-the-Middle machen das möglich 4.
04Grenzen und Ausblick
Fünf Grenzen kehren wieder: Verzerrung aus den Trainingsdaten, Halluzination (selbstsicherer, aber falscher Text), der Rechen- und Energieaufwand der Skalierung, fehlende Interpretierbarkeit sowie Sicherheits- und Ethikrisiken 5. Daraus folgen die offenen Richtungen: effizientere Modelle, faktische Absicherung etwa durch Retrieval-Augmented Generation, Fairness, Interpretierbarkeit, multimodale und mehrsprachige Modelle sowie Agenten, die Werkzeuge und Umgebungen nutzen.
Quellen
- 1. A. Vaswani et al. Attention is all you need. Advances in Neural Information Processing Systems 30, 2017.
- 2. S. Minaee et al. Large language models: a survey. 2025.
- 3. M. Shao, A. Basit, R. Karri, M. Shafique. Survey of different large language model architectures: trends, benchmarks, and challenges. IEEE Access 12, 2024.
- 4. J. Jiang et al. A survey on large language models for code generation. 2024.
- 5. R. Patil, V. Gudivada. A review of current trends, techniques, and challenges in large language models (LLMs). Applied Sciences 14(5), 2024.