Sind Large Language Modelle nur eine neue Form von Datenbank? Ein kritischer Blick auf ihre kreativen Fähigkeiten

Die Vorstellung von Large Language Models (LLMs) als eine neue Form von Datenbank ist mir beim Schauen des Videos „Neural and Non-Neural AI, Reasoning, Transformers, and LSTMs“ gekommen und sie lässt mich irgendwie nicht mehr los. Hier also meine Gedanken dazu.

Ist der Latent Space in den LLMS nur ein versteckter Datenspeicher?

Der Latent Space ist eine abstrakte Repräsentation, in dem das Modell die „Bedeutungen“ von Wörtern, Konzepten und Zusammenhängen darstellt. Kann der Latent Space als eine Art Datenspeicher betrachtet werden, der dem Speicherkonzept in traditionellen Datenbanken ähnlich ist?

Wenn ein LLM trainiert wird, lernt es, ähnliche Konzepte in der Nähe voneinander im Latent Space zu platzieren. Zum Beispiel könnten die Wörter „Hund“ und „Katze“ nahe beieinander liegen, da sie in ähnlichen Zusammenhängen vorkommen und ähnliche Bedeutungen tragen. Der Latent Space ist also eine Art von „Gedächtnis“, in dem das Modell relevante Muster speichert.

Latent Space vs. klassischen Datenbank.

1. Implizite Speicherung versus explizite Speicherung
   
   • In einer klassischen Datenbank werden Daten explizit gespeichert und können durch spezifische Abfragen direkt abgerufen werden. Wenn wir nach einem bestimmten Eintrag suchen, bekommen wir genau das zurück, was gespeichert wurde.
     
   • Im Latent Space eines LLMs sind die Informationen nicht explizit gespeichert. Stattdessen werden sie als Beziehungen und Muster zwischen Vektoren repräsentiert. Es gibt keine direkten „Daten“, auf die das Modell zugreift. Vielmehr verwendet es die interne Repräsentation, um Wahrscheinlichkeiten zu berechnen und basierend darauf Texte zu generieren. Das bedeutet, der Latent Space ist eher eine Art „Erinnerung“ für Muster und Beziehungen ist als ein Speicher für konkrete Fakten.
     
2. Dynamische Generierung versus statische Abfrage
   
   • Klassische Datenbanken liefern präzise und statische Antworten auf Abfragen. Sie sind deterministisch: Die gleiche Abfrage wird immer dieselbe Antwort liefern, da sie auf explizit gespeicherten Daten basiert.
     
   • Der Latent Space ermöglicht es dem LLM, auf Basis der gelernten Inhalte neue und unvorhersehbare Ausgaben zu generieren. Durch das vermischen der gelernten Daten können eine Vielzahl von möglichen Antworten, die alle auf der internen Struktur des Latent Space basieren erstellt werden. Dies macht den Latent Space flexibler, aber auch weniger präzise im Vergleich zu traditionellen Datenbanken.

Ist der Latent Space also ein Datenspeicher?

Der Latent Space ist in gewisser Weise als eine Form von „Datenspeicher“. Er unterscheidet sich aber fundamental von klassischen Datenspeichern. Der Latent Space speichert keine expliziten Daten, sondern Repräsentationen und Beziehungen, die das Modell während des Trainings gelernt hat. Diese Repräsentationen sind verteilte Vektoren bzw. Matrizen, die Muster und Wahrscheinlichkeiten kodieren, und sie dienen eher als Grundlage für die Generierung von Inhalten und nicht als eine Datenbank, aus der man spezifische Daten abrufen kann.

Das Training eines LLMs speichert also nicht nur Daten sondert verändert auch das Verhalten, während beim Speichern von Daten in einer Relationalen Datenbank nur Daten gespeichert werden, aber das Verhalten des DBMS sich durch das Hinzufügen von Daten nicht verändert.

Die kreativen Grenzen des Latent Space

Die Art und Weise, wie LLMs Wissen im Latent Space repräsentieren, beeinflusst auch ihre kreativen Fähigkeiten. Da das Modell nur Muster und Wahrscheinlichkeiten speichert und keine expliziten Daten, sind seine generativen Fähigkeiten auf die Muster beschränkt, die es gelernt hat. Dies bedeutet, dass die Kreativität von LLMs eine Rekombination von bereits gelernten Informationen ist, die im Latent Space verankert sind.

Die Grenzen der kreativen Generierung liegen also in der Natur des Latent Space:

• Kombinatorische Kreativität:
  LLMs können vorhandene Muster neu kombinieren, aber sie schaffen keine völlig neuen Konzepte. Die generierten Inhalte sind das Ergebnis von Rekombinationen dessen, was bereits im Latent Space vorhanden ist.
  
• Keine tiefe Intuition:
  Der Latent Space speichert keine tieferen Bedeutungen oder Intuitionen, sondern lediglich statistische Beziehungen. Dies limitiert die Fähigkeit des Modells, wirklich innovative oder bahnbrechende Ideen zu generieren.

Eine einfache Metapher, die mir zum Latent Space einfällt, ist ein „Gefäß mit verschiedenen Flüssigkeiten“.

Die Metapher LLMs als Gefäß mit Flüssigkeiten

Ein klassisches (relationales) Datenbanksystem kann man sich als eine Konstruktion aus Legosteinen vorstellen. Jeder Stein repräsentiert eine spezifische, klar definierte Information, die in einer festen Struktur organisiert ist. Jede Anfrage greift genau auf die Lego-Steine zu, um eine präzise und strukturierte Antwort zu erhalten.

Im Gegensatz dazu könnte man den Latent Space als ein „Gefäß mit gemischten Flüssigkeiten“ betrachten. Dieses Gefäß enthält nicht einzelne, feste Informationen, sondern Flüssigkeiten, die sich im Latent Space des LLM zu einer Mischung zusammensetzen. Diese Mischung wird während des Trainings auf Basis großer Datenmengen (Viele kleine Tropfen) erlernt. Anstatt auf spezifische „Steine“ oder Fakten zuzugreifen, „mischen“ sich diese Flüssigkeiten, um neue Mischungen zu generieren. So wie verschiedenfarbige Flüssigkeiten auch eine neue Farbe ergeben.

Kreative Freiheit oder kombinatorische Begrenzung?

Die Vorstellung, dass LLMs kreativ sind, indem sie „Flüssigkeiten mischen“, ist meiner Meinung nach ein zutreffender Vergleich, denn es gibt wesentliche Unterschiede zwischen der Vorstellung, dass LLMs kreativ sind, und der Realität ihrer generativen Fähigkeiten:

Kein echtes Verständnis

• Statistische Muster
  LLMs generieren Inhalte auf Basis statistischer Muster, die sie aus den Trainingsdaten gelernt haben. Die „Flüssigkeiten“ im Gefäß sind somit Kombinationen von Wahrscheinlichkeiten und nicht von echtem Verständnis oder Intuition. Dies bedeutet, dass die „Kreativität“ des LLMs sich auf das Kombinieren bereits existierender Konzepte beschränkt und keine echten neuen Ideen hervorbringt.
  
• Fehlende Intuition
  Menschliche Kreativität basiert oft auf intuitiven Einsichten und einem tiefen Verständnis für das Thema. LLMs hingegen haben keine echte Intuition oder ein tiefes Verständnis für die Inhalte, die sie generieren. Sie simulieren lediglich das, was sie gelernt haben, ohne eine Einsicht oder ein inneres Konzept zu entwickeln.
  
• Kombinatorische Einschränkungen
  Auch wenn LLMs beeindruckende Kombinationen und neue Formulierungen erzeugen können, bleiben diese auf die Muster begrenzt, die sie im Training gelernt haben. Die „Flüssigkeiten“ im Gefäß sind also nicht unbegrenzt kreativ, sondern durch die Ausgangsdaten und das Modell selbst begrenzt. Die Generierung neuer Inhalte ist nur ein Umgestalten und Neuordnen von bereits vorhandenem Wissen.
  
• Fehlende Innovation
  Echte Innovation bedeutet oft, bestehende Grenzen zu überschreiten und neue Wege zu gehen. LLMs haben keine eigenen Ziele oder Absichten und können daher nicht bewusst Innovationen vorantreiben. Sie arbeiten innerhalb der durch das Training vorgegebenen Rahmenbedingungen und können daher keine wirklichen Neuerungen schaffen, die über das hinausgehen, was sie gelernt haben.

Die Illusion von Originalität:

• Rekombination statt Originalität
  Die Texte, die LLMs erzeugen, können den Eindruck von Originalität erwecken, da sie oft neue und interessante Kombinationen von Wörtern und Ideen präsentieren. In Wirklichkeit sind diese Texte jedoch eine Rekombination von Mustern, die das Modell während des Trainings gesehen hat. Die „Originalität“ ist daher eher eine Illusion, die auf der Fähigkeit basiert, bestehende Informationen neu zu kombinieren, statt echte neue Konzepte zu schaffen.
  
• Oberflächliche Kreativität
  Die Ergebnisse erscheinen oft kreativ, weil LLMs in der Lage sind, stilistisch ansprechende oder unerwartete Texte zu produzieren. Diese Kreativität ist jedoch oberflächlich und beschränkt sich auf die statistische Verarbeitung der Trainingsdaten. Tiefergehende kreative Prozesse, die echtes Verständnis und Problemlösung erfordern, bleiben für LLMs vermutlich unerreichbar.

Ansätze zur Erweiterung der kreativen Fähigkeiten von LLMs

Obwohl LLMs in ihrer aktuellen Form durch ihre kombinatorische Kreativität eingeschränkt sind, gibt es Ansätze, die darauf abzielen, die Möglichkeiten zu erweitern. Einige dieser Ansätze sind:

Retrieval-Augmented Generation (RAG)

RAG kombiniert die Textgenerierung mit Informationsabrufsystemen. Durch das Abrufen aktueller und spezialisierter Informationen aus externen Quellen kann RAG die Generierung relevanter und kontextualisierter Texte verbessern. Dies hilft LLMs, dynamischer und flexibler zu sein, obwohl die grundlegende kreative Fähigkeit weiterhin auf der Rekombination von Wissen basiert.

Hybrid-Architekturen

Die Kombination von symbolischer KI (die strukturierte Regeln und Logik verwendet) mit neuronalen Netzen kann dazu beitragen, kreative Prozesse zu verbessern. Diese Hybridansätze ermöglichen es der KI, strukturierte Regeln anzuwenden und gleichzeitig von den Mustererkennungskapazitäten der LLMs zu profitieren.

Multimodale Systeme

Multimodale KI-Systeme integrieren verschiedene Datentypen (Text, Bilder, Audio), um reichhaltigere und vielfältigere kreative Ausgaben zu erzeugen. Die Kombination von Modalitäten kann zu innovativeren Ergebnissen führen, da die KI die Informationen auf verschiedene Arten verarbeiten und kombinieren kann.

Human-in-the-Loop Ansätze

Menschliches Feedback und iterative Lernprozesse können LLMs helfen, ihre Outputs zu verfeinern und kreativere Lösungen zu entwickeln. Dies fördert eine Art von „co-kreativer“ Prozess, bei dem menschliche Anleitung und Rückmeldungen in die Generierung einfließen. Dieser Ansatz ist momentan noch der vielversprechendste, da der Human-in-the-Loop die nötige Innovationskraft besitzt.

In dem Buch „Von Artificial zu Augmented Intelligence: Was wir von der Kunst lernen können, um mit Software die Zukunft zu gestalten“ wird das auch als Augmented Intelligence bezeichnet. Diesen Ansatz finde ich besonders vielversprechend, da sich LLMs und Menschen sehr gut ergänzen können.

Die oben genannten Ansätze zur Erweiterung der kreativen Fähigkeiten von LLMs können dazu beitragen, die Grenzen der Kombination zu erweitern und die Flexibilität der Systeme zu erhöhen. Dennoch bleibt die grundlegende Herausforderung bestehen. LLMs simulieren Kreativität, ohne echte Intuition oder Verständnis. Die Entwicklung echter kreativer Intelligenz erfordert wahrscheinlich neue Paradigmen, die über die aktuelle Technologie hinausgehen.

Menschliche Kreativität – was LLMs fehlt

Im Gegensatz zu LLMs zeichnet sich menschliche Kreativität durch die Fähigkeit aus, nicht nur vorhandenes Wissen zu kombinieren, sondern auch völlig neue Konzepte, Ideen und Lösungen zu schaffen. Menschen sind in der Lage, bewusst Grenzen zu überschreiten und innovativ zu denken, oft durch den Einsatz von Intuition, Emotionen und persönlicher Erfahrung. Dieser schöpferische Prozess geht über die bloße Rekombination von Informationen hinaus und erfordert ein tiefes Verständnis für Kontext, Bedeutung und Zielsetzung.

Menschliche Kreativität basiert auf:

• Intuition und Vorstellungskraft
  Menschen können Ideen und Lösungen entwickeln, die nicht rein auf früheren Erfahrungen basieren, sondern durch intuitive Sprünge und kreative Vorstellungskraft entstehen.
  
• Emotionale Intelligenz
  Emotionen und subjektive Erfahrungen spielen eine wichtige Rolle in der menschlichen Kreativität. Diese Faktoren können zu einzigartigen, persönlichen Ausdrucksformen führen, die für LLMs unerreichbar sind.
  
• Bewusste Zielsetzung
  Menschen verfolgen bewusst kreative Ziele und arbeiten zielgerichtet auf Innovationen hin. Sie haben eine Vorstellung davon, was sie erreichen wollen, und können ihre kreative Energie darauf ausrichten.

Während LLMs beeindruckende Fortschritte in der Generierung von Texten gemacht haben, bleiben sie in ihrer Kreativität stark eingeschränkt. Die Fähigkeit, wirklich Neues zu schaffen, ist tief in der menschlichen Erfahrung und kognitiven Fähigkeiten verwurzelt. Das ist etwas, das Maschinen bislang nicht vollständig nachahmen können. Trotzdem sind die aktuell verfügbaren LLMs meiner Meinung nach mehr als nur Datenbanken, da die kombinatorischen Fähigkeiten ein echter Mehrwert sind.