In der Welt der künstlichen Intelligenz haben sich Sprachmodelle zu einer Technologie mit riesigem Potenzial entwickelt. Insbesondere die sogenannten Language Models (LLMs) beeindrucken: Sie können Texte verstehen und generieren und somit in einer Vielzahl von Anwendungen eingesetzt werden. In diesem Blog-Artikel werfen wir einen Blick auf LLMs, analysieren ihre Stärken und Schwächen und untersuchen, wie man sie für spezifische Aufgaben optimieren kann. Darüber hinaus schauen wir uns an, wie man robuste Ergebnisse mit LLMs erzielen kann, ohne dass sie anfangen, Informationen hinzuzudichten (Fachbegriff: Halluzinieren). Zu guter Letzt schauen wir uns an, warum ein allgemeines Modell nicht ohne Weiteres für die Übersetzung in Leichte Sprache verwendet werden kann und was zutun ist, damit es funktionieren kann.

Aber was sind nun LLMs und was kann man damit machen?

LLMs, oder Large Language Models, sind künstliche Intelligenz-Systeme, die darauf spezialisiert sind, natürliche Sprache zu verstehen und zu generieren. Sie basieren auf tiefen neuronalen Netzwerken und werden mit großen Textkorpora trainiert, um sprachliche Kompetenz zu erlangen. Mit LLMs kann man eine Vielzahl von Aufgaben bewältigen, darunter:

• Textverständnis: LLMs können natürliche Sprache verstehen und auf Fragen. Sie können wichtige Informationen aus Texten extrahieren, diese zusammenfassen und Kontext miteinbeziehen.

• Textgenerierung: LLMs können qualitativ hochwertige Texte in verschiedenen Stilen und Genres erzeugen – von Gedichten bis hin zu Informationstexten. Vorsicht jedoch: Fachlich sind diese meist mit Vorsicht zu genießen, denn die generierten Wörter werden auf Basis von Wahrscheinlichkeiten aneinandergereiht. Hier wird das folgende Prinzip angewendet: Welches Wort folgt mit Blick auf die Trainingsdaten am wahrscheinlichsten auf die vorherigen. Dabei muss aber keine inhaltlich korrekte Reihenfolge herauskommen und diese wird auch nicht überprüft.
• Automatische Übersetzung: LLMs können Texte von einer Sprache in eine andere übersetzen. Diese maschinellen Übersetzungen sind mittlerweile qualitativ hochwertig.

Was können LLMs denn nun richtig gut und was nicht so sehr?

LLMs sind äußerst leistungsstark, wenn es darum geht, komplexe Sprachaufgaben mit großen Textvolumina zu bewältigen. Sie können vielfältige Informationen verstehen und semantische Zusammenhänge erkennen. Allerdings haben sie auch einige Schwächen:

• Kontextsensitivität: LLMs sind auf den ihnen zur Verfügung gestellten Kontext angewiesen. Wenn sie nicht über ausreichende Informationen verfügen oder der Kontext unklar ist – z.B. aufgrund eines kurzen Textes oder Themen, die nicht in den Trainingsdaten vorkommen – können sie falsche oder irreführende Schlüsse ziehen und falsche Ergebnisse

• Verständnis von Nuancen: Obwohl LLMs verstehen können, fällt es ihnen manchmal schwer, Nuancen, Ironie oder Umgangssprache korrekt zu interpretieren.
• Anfälligkeit für Voreingenommenheit: LLMs spiegeln oft die Voreingenommenheit die Biases der Trainingsdaten wider. Das kann zu ungewünschten oder sogar verstörenden Ergebnissen führen.

Wie kann man LLMs für bestimmte Aufgaben spezialisieren?

LLMs können für besondere Aufgaben spezialisiert werden, um konkrete oder bessere Ergebnisse zu erzielen. Dieser Prozess wird als Feinabstimmung (Fachbegriff: „fine-tuning“) bezeichnet. Dabei wird ein vortrainiertes Modell eingesetzt und mit Aufgaben-spezifischen Daten weiter trainiert. Dieser Prozess ermöglicht dem Modell, sich an die spezifischen Anforderungen der Aufgabe anzupassen und bessere Ergebnisse zu erzielen. Der Vorgang lehnt sich an das menschliche Lernen an Hand von Beispielen an: Dem Modell werden eine Vielzahl von Beispiel aus „Input“ und „Output“ gezeigt, die das zu erlernende Prinzip hinter der Aufgabe zeigen sollen.

Was kann man tun, damit LLMs robuste Ergebnisse liefern, ohne zu halluzinieren?

Um sicherzustellen, dass LLMs robuste Ergebnisse liefern und keine irreführenden Informationen generieren, sind verschiedene Ansätze erforderlich:

• Datenauswahl und -bereinigung: Besonders wichtig sind qualitativ hochwertige Trainingsdaten, sowohl für das Basistraining aber insbesondere auch für das „fine-tuning“. Unausgewogene oder voreingenommene Daten können zu Verzerrungen führen.
• Fehlerschwellen festlegen: Durch Festlegen von Schwellenwerten für die Unsicherheit der Modellantworten kann man verhindern, dass das Modell ungenaue oder erfundene Informationen generiert. So werden unsichere Antworten unterhalb des Schwellenwerts nicht ausgegeben.
• Menschliche Überprüfung: Der „Output“ eines Modells sollte regelmäßig, im besten Fall immer, von Expert:innen überprüft werden, um sicherzustellen, dass die generierten Ergebnisse korrekt und vertrauenswürdig sind.

Und zu guter Letzt: Wieso kann ich ein generelles LLM nicht ohne Weiteres für Aufgaben wie die Übersetzung in Leichte Sprache einsetzen?

Die Übersetzung in Leichte Sprache erfordert spezifisches Wissen über die Regeln für Leichte Sprache und über die Zielgruppe und ihre Anforderungen an einen verständlichen Text. Ein generelles LLM ist mangels Kontext dazu nicht in der Lage, dies zu berücksichtigen und angemessene Übersetzungen zu liefern. Leichte Sprache erfordert eine vereinfachte Syntax, klare Strukturen und eine spezielle Vokabularauswahl. Ein spezialisiertes Modell, das mit Leichte-Sprache-Daten trainiert wurde, ist wesentlich besser geeignet, um qualitativ hochwertige Übersetzungen zu liefern, die den Regeln für Leichte Sprache standhalten.

Unser Fazit:

LLMs sind beeindruckende Sprachmodelle, die vielfältige Aufgaben bewältigen können. Sie bieten große Potenziale, aber auch Herausforderungen. Durch Feinabstimmung und gezieltes Training können LLMs auf spezifische Aufgaben angepasst werden noch nützlicher für echte Anwendungsfälle. Aber Achtung: Um robuste und wirklich brauchbare Ergebnisse zu gewährleisten, ist eine sorgfältige Datenauswahl und -bereinigung sowie menschliche Überprüfung erforderlich. Darüber hinaus ist es wichtig zu verstehen, dass ein allgemeines Modell nicht immer für spezialisierte Aufgaben wie die Übersetzung in Leichte Sprache geeignet ist. Mit weiteren Fortschritten und Forschungen wird sich die Leistungsfähigkeit von LLMs voraussichtlich weiter verbessern und es werden sich neue Anwendungsbereiche eröffnen.

Weitere Fragen?

Kommentieren Sie hier oder melden Sie sich bei über den Button unten mit Fragen und Themen rund um KI, die wir in weiteren Blog-Posts aufgreifen sollen. Wir freuen uns auf Ihr Feedback!