一生只做一件事——专访安标信息技术集团

百度 近日，宁句城际轨道交通工程可行性研究报告专家评审会在南京召开，根据计划，宁句城际将在今年12月开工建设，并于2023年6月开始试运行。

Ein Large Language Model, kurz LLM (englisch, teilweise übertragen gro?es Sprachmodell), ist ein Sprachmodell, das sich durch seine F?higkeit zur Textgenerierung auszeichnet. Es handelt sich um ein computerlinguistisches Wahrscheinlichkeitsmodell, das statistische Wort- und Satzfolge-Beziehungen aus einer Vielzahl von Textdokumenten durch einen rechenintensiven Trainingsprozess erlernt hat. Für die mathematische Beschreibung siehe Sprachmodell.

Gro?e Sprachmodelle erlangen diese F?higkeiten durch die Verwendung gigantischer Datenmengen, um w?hrend des Trainings riesige Mengen von Parametern zu lernen. Dabei verbrauchen sie extrem viel Rechenressourcen. Gro?e Sprachmodelle sind im weiteren Sinne künstliche neuronale Netze und werden (a priori) entweder durch selbstüberwachtes Lernen oder halbüberwachte Lernmethoden trainiert. Stand 2024 werden meistens Transformer als Architektur für diese neuronalen Netze gew?hlt.

Gro?e Sprachmodelle arbeiten als selbstanpassende Sprachmodelle, die ?verschiedene Aufgaben in natürlicher Sprache ausführen k?nnen, z. B. das Zusammenfassen, übersetzen, Vorhersagen und Erstellen von Texten, indem sie einen Eingabetext nehmen und wiederholt das n?chste Token oder Wort vorhersagen“. Bis 2020 bestand die einzige M?glichkeit, ein Modell an bestimmte Aufgaben anzupassen, in der Feinabstimmung. Gr??ere Modelle, wie z. B. das inzwischen popul?re GPT-3, wurden jedoch so konzipiert, dass sie mit Hilfe von Prompt Engineering ?hnliche Ergebnisse erzielen k?nnen. Zus?tzlich zu der F?higkeit, Kenntnisse über Syntax, Semantik und ?Ontologie“ in menschlichen Sprachkorpora zu erwerben, wird angenommen, dass gro?e Sprachmodelle auch in der Lage sind, Ungenauigkeiten und Verzerrungen in den Korpora zu erfassen.

LLMs werden beispielsweise bei Open Assistant, ChatGPT, Ernie Bot und Grok eingesetzt. Einige gro?e Sprachmodelle sind die GPT-Modellreihe von OpenAI (z. B. GPT-3.5 und GPT-4, die in ChatGPT und Microsoft Copilot verwendet werden), Googles PaLM, Gemini und Gemma 2, Metas LLaMA-Familie von Open-Source-Modellen, Anthropics Claude und X.AIs Grok-1. Daneben gibt es auch leistungsf?hige LLMs chinesischer Firmen wie diejenigen von Alibaba, Deepseek, 01 AI und Zhipu AI.

Geschichte

Auf der ?Conference on Neural Information Processing Systems“ (NeurIPS) 2017 stellten Google-Forscher unter Ashish Vaswani die Transformer-Architektur in ihrem Papier Attention Is All You Need vor. Ziel dieses Papiers war es, die Seq2seq-Technologie aus dem Jahr 2014 zu verbessern, und es basierte haupts?chlich auf dem von Bahdanau et al. 2014 entwickelten Aufmerksamkeitsmechanismus (attention mechanism). Im darauffolgenden Jahr 2018 wurde BERT eingeführt und schnell ?allgegenw?rtig“. Obwohl der ursprüngliche Transformator sowohl Encoder- als auch Decoderbl?cke hat, ist BERT ein reines Encoder-Modell.

Obwohl GPT-1 im Jahr 2018 als reines Decoder-Modell eingeführt wurde, erregte GPT-2 im Jahr 2019 gro?e Aufmerksamkeit, da OpenAI es zun?chst als zu leistungsf?hig erachtete, um es aus Angst vor b?swilliger Nutzung zu ver?ffentlichen. GPT-3 im Jahr 2020 ging noch einen Schritt weiter und ist ab 2024 nur noch über eine API verfügbar, ohne die M?glichkeit, das Modell zur lokalen Ausführung herunterzuladen. Es war das browserbasierte ChatGPT aus dem Jahr 2022, das ?die Welt komplett ver?nderte“. 2023 wurde GPT-4 für seine erh?hte Genauigkeit und als ?heiliger Gral“ für seine multimodalen F?higkeiten gepriesen. OpenAI gab die High-Level-Architektur und die Anzahl der Parameter des GPT-4 nicht bekannt.

In der Zwischenzeit haben konkurrierende Sprachmodelle gr??tenteils mit der GPT-Serie gleichgezogen, zumindest was die Anzahl der Parameter betrifft. Zu den bemerkenswerten Ausnahmen in Bezug auf die Anzahl der Parameter geh?ren Googles T5-11B von 2019 und PaLM-E von 2022. Am 26. Januar 2024 übertraf Googles Gemini Pro GPT-4, was die Elo-Bewertung betrifft.

Seit 2022 erfreuen sich Open-Source-Modelle zunehmender Beliebtheit, zun?chst vor allem BLOOM und LLaMA, die allerdings beide Einschr?nkungen im Einsatzbereich aufweisen. Im Januar 2024 war Mixtral 8x7b von Mistral AI laut dem LMSYS Chatbot Arena Leaderboard das leistungsf?higste offene LLM, leistungsf?higer als GPT-3.5, aber nicht so leistungsf?hig wie GPT-4.

Hardware

Neben Grafikprozessoren gibt es seit einigen Jahren Chiparchitekturen, die für das Training und Inferencing von gro?en neuronalen Netzen optimiert sind. 2016 wurde beispielsweise von Google die erste Version ihrer Tensor Processing Unit (TPU) vorgestellt. Seit den 2020er Jahren gibt es aber eine ganze Reihe von Herstellern mit Spezial-Hardware für die Bearbeitung von LLMs. So haben beispielsweise Cerebras den CS-1, CS-2 und CS-3, AMD die Instinct-Serie, Intel die Gaudi-Plattform und Nvidia Hopper bzw. dessen Nachfolger Blackwell eingeführt bzw. angekündigt.

Trainingsmethoden

Feinabstimmung und Spezialisierung

Nach dem rechenintensiven Vortraining, das die allgemeinen Sprachgrundlagen erlernt, werden Large Language Models (LLMs) oft durch Feinabstimmung (englisch: fine-tuning) spezialisiert. Dabei wird das Modell mit einem kleineren, aufgaben- oder dom?nenspezifischen Datensatz weiter trainiert. Dies erm?glicht es, die F?higkeiten des Modells für bestimmte Anwendungsf?lle, wie beispielsweise die Beantwortung von Fragen in einem bestimmten Fachgebiet oder das Generieren von Text in einem bestimmten Stil, pr?zise anzupassen. Im Gegensatz zum Vortraining, bei dem die gesamte Wissensbasis aufgebaut wird, dient die Feinabstimmung dazu, die bereits erlernten Kenntnisse gezielt zu formen und zu verfeinern, ohne die Grundf?higkeiten zu beeintr?chtigen.

Methoden der Feinabstimmung:

• Vollst?ndige Feinabstimmung (Full Fine-Tuning): Dies ist der traditionelle Ansatz, bei dem alle Parameter des vortrainierten Modells w?hrend des Trainings mit dem neuen Datensatz angepasst werden. Obwohl diese Methode in der Regel die besten Ergebnisse erzielt, erfordert sie erhebliche Rechenleistung und Speicherkapazit?ten, was sie für viele Anwendungsf?lle unpraktisch macht.

• Parameter-effiziente Feinabstimmung (Parameter-Efficient Fine-Tuning, PEFT): Um die Nachteile der vollen Feinabstimmung zu umgehen, wurden Methoden entwickelt, die die Anzahl der zu trainierenden Parameter drastisch reduzieren. Eine der prominentesten und weit verbreiteten Techniken in diesem Bereich ist Low-Rank Adaptation (LoRA).

• LoRA friert die Gewichte des ursprünglichen, vortrainierten Modells ein. Anstelle der Aktualisierung aller Parameter werden kleine, trainierbare Matrizen (sogenannte ?Rank-Decomposition-Matrizen“) in jede Schicht der Transformatoren-Architektur injiziert. Da die Anzahl der Parameter in diesen Matrizen im Vergleich zu den Milliarden von Parametern des Basismodells minimal ist, reduziert LoRA den Rechen- und Speicherbedarf erheblich. Die Idee dahinter ist, dass die erforderlichen Anpassungen, um ein Modell an eine neue Aufgabe zu adaptieren, eine inh?rent niedrige Rangordnung haben. LoRA-Modelle sind dadurch sehr kompakt (oft nur wenige Megabyte gro?) und k?nnen einfach gespeichert und ausgetauscht werden. Dies hat die Feinabstimmung von gro?en Modellen demokratisiert und für ein breiteres Spektrum von Entwicklern zug?nglich gemacht. Die Methode wurde erstmals 2021 von einem Forschungsteam von Microsoft vorgestellt.

Multimodal Learning

→ Hauptartikel: Multimodale künstliche Intelligenz

Multimodal Learning verwendet verschieden strukturierte Daten im Bereich der künstlichen Intelligenz:

• Text ist eine der am h?ufigsten verwendeten Modalit?ten im maschinellen Lernen. Textdaten enthalten strukturierte Informationen, und mithilfe der natürlichen Sprachverarbeitung l?sst sich leicht Wissen aus ihnen extrahieren. Die Techniken, die zur Verarbeitung dieser Informationen verwendet werden, umfassen Tokenisierung, Lemmatisierung, Syntaxanalyse, Erkennung von benannten Entit?ten und Textklassifizierung.
• Bilder sind eine wesentliche Quelle visueller Informationen. Mithilfe von Convolutional Neural Networks konnten gro?e Fortschritte beim Verst?ndnis von Bildern erzielt werden. Verwendete Techniken sind z. B. die Objekterkennung, die Gesichtserkennung und die Segmentierung von Bildern.
• Die Audiomodalit?t umfasst Informationen aus Sprachaufnahmen, Tondateien oder Live-Streams.
• Videos sind eine leistungsstarke Quelle für multimodale Daten, weil sie visuelle und auditive Informationen kombinieren. Computer Vision und Audioverarbeitungstechniken erm?glichen es, Wissen aus einer Videosequenz zu extrahieren. Dies erm?glicht die Erkennung von sich bewegenden Objekten, die Analyse menschlicher Aktivit?ten oder sogar die Erkennung von Gesten.

Bootstrapping Language-Image Pretraining

Die meisten modernen Vision-Language-Modelle ben?tigen w?hrend des Trainings einen hohen Rechenaufwand, weil das Training mit umfangreichen Modellen und Datens?tzen erfolgt, vgl. Contrastive Language-Image Pre-training (CLIP). Die Forschung befindet sich an der Schnittstelle zwischen Sehen und Sprache. Daher ist zu erwarten, dass Vision-Language-Modelle von den leicht verfügbaren unimodalen Modellen der Bilderkennung und natürlichen Spracherkennung profitieren k?nnen.

Vortrainierte Vision-Modelle bieten eine qualitativ hochwertige visuelle Darstellung. Vortrainierte Sprachmodelle, insbesondere gro?e Sprachmodelle, bieten leistungsstarke F?higkeiten zur Sprachgenerierung und Zero-Shot-übertragung. Um die Kosten zu senken und dem Problem des katastrophalen Vergessens entgegenzuwirken, bleiben die unimodalen vortrainierten Modelle w?hrend des Vortrainings eingefroren. Weil gro?e Sprachmodelle jedoch w?hrend ihres unimodalen Vortrainings keine Bilder gesehen haben, macht das Einfrieren die visuelle Sprachausrichtung besonders schwierig.

Skalierungsgesetze

Passt man für jede Modalit?t $j$ die sieben Parameter der Gleichung

${\mathcal {L}}(N,D_{j})=E_{j}+{\frac {A_{j}}{N^{\alpha _{j}}}}+{\frac {B_{j}}{|D_{j}|^{\beta _{j}}}}$

an und minimiert

$\sum _{i\mod j}H_{\sigma =0.03}[LSE(a_{j}-\alpha _{j}\cdot \log(N_{i}),b-\beta \cdot \log(D_{i}),e_{j})-L_{i}]$

für $\{a_{j},b_{j},e_{j},\alpha _{j},\beta _{j}\}$, wobei $H$ der Standard-Huberverlust für jeden Durchlauf $i$ und Modalit?t $j$ ist. Man setzt dann $A_{j}=e^{a_{j}}$, $B_{j}=e^{b_{j}}$, $E_{j}=e^{e_{j}}$. Um die optimalen Minima zu identifizieren, verwendet man das BGFS-Verfahren auf demselben Gitter der Initialisierungswerte. Die erhaltenen optimalen Werte befinden sich nicht an den Grenzen des Initialisierungsgitters. Die Skalierungsgesetze für jede Modalit?t sind im Einzelnachweis verfügbar. Die Parameter für jede Modalit?t variieren erheblich.

Kollaps

Bei LLM und Foundation Models anderer Art (VAE, GMM) kann es durch das andauernde Training in der laufenden Nutzung zur dauerhaften, bis zur Unbrauchbarkeit reichenden Verschlechterung der Ergebnisqualit?t kommen (Modellkollaps, model collapse). Dies betrifft insbesondere nachfolgende Modellversionen, die mit einem zunehmenden Anteil an künstlich generierten Daten trainiert werden, d. h. dass Teile der Trainingsdaten ebenfalls von einem LLM stammen. Eine Vorsortierung der in der Regel durch Webscraping erlangten Daten erscheint bisher als zu aufw?ndig.

Siehe auch

• Chatbot
• Generativer vortrainierter Transformer (GPT)
• Language Model for Dialogue Applications (LaMDA)

Weblinks

• iese.fraunhofer.de: Was sind Large Language Models? Und was ist bei der Nutzung von KI-Sprachmodellen zu beachten?