Sprachmodelle sind aus unserem Arbeitsalltag nicht mehr wegzudenken - sie schreiben E-Mails, lesen für uns Texte und beantworten Fragen. Aber nicht für alle Aufgaben eignen sich Sprachmodelle gleich gut. In diesem Gastbeitrag erklärt KI-Experte Dr. Tim Elsner, wofür und wie man ChatGPT und Co. am besten nutzt - und warum Rollenspiele eher etwas für die Freizeit als für den Umgang mit KI sind.
Dr. Tim Elsner hat an der RWTH Aachen über KI in der Computer Grafik promoviert. Er hat unter anderem dazu geforscht, wie Bilder mit neuronalen Netzen erstellt werden können oder wie ein neuronales Netz zu einem Bild einen passenden Text schreibt.
Mittlerweile hat er eine eigene Firma, mit der er sowohl Unternehmen berät, als auch eigene Produkte entwickelt. Außerdem schreibt er regelmäßig für Golem.de über KI oder tritt in Podcasts und Bühnendiskussionen zum Thema auf.
Der Mythos mit den Prompt-Patterns
Bis heute werden in vielen Schulungen und Co. "Prompt Patterns" vorgestellt. Dabei werden KI-Modelle in Rollenspielen eingesetzt, um vermeintlich bessere Ergebnisse für eine Eingabe (Prompt) zu bekommen. Beispiele sind Phrasen vor der eigentlichen Aufgabe wie "Du bist ein erfahrener Jurist …" für Rechtsfragen oder "Agiere als ein Kritiker für Literatur", wenn es um Texte geht. Die Annahme dahinter ist, dass das Modell damit bessere Ausgaben liefert, also etwa durch den Zusatz "erfahren" bei der Rolle Jurist plötzlich weniger Fehler macht.
Ein aktuelles Papier aus der Forschung hat diesen Mythos jedoch widerlegt: Der Einfluss dieser Rollenspiele ist größtenteils zufällig, stark kontextabhängig und bringt häufig eine größere Varianz in die Ausgabe. Heißt: Während der gleiche Prompt mit einem Rollenspiel sehr unterschiedliche Ergebnisse liefern kann, ist ein nüchterner Prompt mit ein paar Hintergrundinformationen häufig robuster und besser.
Die Grundidee hinter den Prompt Patterns ist allerdings korrekt: Wenn ein Modell mehr Kontext und Informationen bekommt, handelt es in der Regel besser. Auch wenn Prompt Patterns also mittlerweile als esoterischer Quatsch eingeordnet werden, lässt sich die Formulierung einer Eingabe trotzdem noch verbessern. Insbesondere kann der Prompt in den richtigen Kontext eingebettet werden und dadurch deutlich bessere Ausgaben produzieren. Wer allerdings weiterhin auf starre Prompt-Schablonen setzt, vernachlässigt dabei den deutlich effektiveren Hebel: einen guten Kontext zum Einbetten seiner Eingabe zu bieten.
Kontext schlägt Prompt-Formulierung
Dieses Einbetten in Kontext lässt sich sehr leicht mit einigen Zusatzinformationen im Prompt selbst erreichen, die auch die Prompt-Patterns von der Grundidee her teilweise abdecken. Das sind etwa Angaben darüber, wer die Zielgruppe für die produzierte Ausgabe ist ("Schreibe formal korrekt" für das Finanzamt, "schreibe freundlich und informell" für die Eltern-Gruppe auf WhatsApp) und was konkret die Ausgabe des Sprachmodells beantworten soll.
Ebenfalls nützlich für einen guten Kontext können einzelne Beispiele sein: Wer etwa Daten umformulieren möchte, zum Beispiel von langen Texten in Stichpunkte in einem bestimmten Format, kann am besten einfach ein Beispiel angeben, anstatt mühsam die Regeln und stilistischen Wünsche auszuformulieren ("Die Stichpunkte für den zusammengefassten Text sollen nummeriert sein, enthalten wenige Worte und sind absatzweise zusammen gegliedert" funktioniert weniger gut als einfach ein kleines Beispiel und dauert meist länger).
Auch zum Beantworten von Sachfragen lässt sich ein guter Kontext effektiv nutzen. Als Beispiel dafür kann man sich eine Frage zu einem Thema vorstellen, die vermutlich in einem Wikipedia-Artikel beantwortet wird. Eigentlich alle großen Sprachmodelle haben Wikipedia in ihren Trainingsdaten, haben also grob gesagt einmal Wikipedia auswendig gelernt. Trotzdem ist dieses Auswendiglernen nicht perfekt, weshalb es sinnvoll sein kann, bei einer konkreten Frage zu einem Thema einfach den Wikipedia-Artikel zusätzlich zur Frage in den Prompt zu kopieren.
Egal ob also durch Beispiele bei Arbeitsaufgaben für die KI, durch zusätzliche Anweisungen über den Kontext der Aufgabe oder schlicht durch einen Text, der mehr Informationen enthält, gilt stets: Ein mittelmäßiger Prompt mit gutem Kontext, der gegebenenfalls etwas zu lang ist, schlägt einen perfekt optimierten, aber nur kurzen und kontextlosen Prompt fast immer. Sprachmodelle sind grandios darin, Informationen aus Texten zu filtern und zu nutzen.
Was man KI nicht machen lassen sollte
Egal, wie der Kontext aussieht, bestimmte Aufgaben und Fragen eignen sich grundsätzlich nicht für Sprachmodelle. Ein sehr konkretes Beispiel dafür ist Mathematik: Wer Rechenaufgaben in ein Sprachmodell eingibt, wird bei einfachen Dingen, die wir Menschen selbst noch gut nachvollziehen können, meist keine Probleme bekommen. Aber sobald die Berechnungen komplexer werden, versagen die Modelle meist, weil sie im Gegensatz zu einem Taschenrechner schlicht nicht explizit rechnen, sondern quasi nur überschlagen.
Ebenso sind Sprachmodelle ungeeignet dafür, exaktes Wissen wieder auszuspucken. Wer etwa nach bestimmten Gesetzestexten oder Quellen für Zitate sucht, wird zwar häufig das richtige Ergebnis bekommen, aber eben manchmal eine täuschend echte Antwort mit völlig erfundenen Paragraphen oder falschen Quellen. Alles, was hohe Präzision benötigt, gehört nicht bzw. nur mit doppelter Prüfung der Ausgabe in ein Sprachmodell.
Da KI-Modelle einmal trainiert und danach nur noch verwendet werden, sie also nicht dazulernen, können Modelle grundsätzlich nichts über aktuelle Geschehnisse wissen. Wenn etwa ein Modell von 2023 gefragt wird, wer US-Präsident ist, wird das Modell "Joe Biden" antworten. Zwar gibt es einige Anbieter, die ihr Modell etwa mit den Ergebnissen einer Google-Suche füttern (etwa ChatGPT kopiert bei einigen Anfragen die Ergebnisse aus einer sinnvoll erscheinenden Internetsuche dann einfach vor den Ausgabetext, um diese Lücke zu stopfen), darauf kann man sich aber selten wirklich verlassen. Insbesondere lokale Modelle, wie sie in vielen Firmen aus Datenschutzgründen verwendet werden, nutzen solche Tricks ebenfalls nicht.
Der Datenschutz ist auch allgemein ein wichtiges Thema: Jede Anfrage an ein Sprachmodell, das über irgendeine Internetseite bedient wird, schickt Daten über das Internet an den Betreiber. Allein das Versenden kann unter Umständen eine Datenschutzverletzung darstellen, vom Verarbeiten bei einem Anbieter ganz zu schweigen.
Neben diesen Problemen haben Sprachmodelle einige zunächst positiv wirkende Eigenschaften: Sie sind grundsätzlich freundlich und unterstützend. Da sie auf Nutzerpräferenzen trainiert werden, haben sie stets eine gewisse Tendenz dazu, dem Nutzer ein gutes Gefühl zu geben. Wer etwa mit einem LLM darüber brainstormt, ob ein Regenschirm für Innenräume eine tolle Idee ist, wird feststellen, dass das LLM etwas weniger harsch, vielleicht sogar positiv auf diese Idee reagiert und einem freudig einen Businessplan für die tolle Idee ausarbeitet. Gerade Suggestivfragen wie "Ist diese Idee nicht gut?" verstärken das Phänomen noch deutlich.
Zuletzt sind KI-Modelle Menschen in einem Punkt nicht ganz unähnlich: Je mehr im Kopf überschlagen wird, desto weniger korrekt ist in der Regel das Ergebnis. Das gilt aber nicht nur für Mathematik, sondern auch für logische Schlussfolgerungen. Zwar machen viele Modelle mittlerweile automatisch Zwischenschritte, die explizite Aufforderung an das Modell kann aber trotzdem helfen ("Löse die Aufgabe schrittweise").
Wofür sich KI besonders eignet
Sprachmodelle sind besonders nützlich in Bereichen, in denen leicht schwammige Antworten oder eine hohe Varianz in der Ausgabe nicht problematisch oder vielleicht sogar von Vorteil sind. Dazu gehört vor allem das Arbeiten mit Texten, also das Umformulieren, Zusammenfassen und Strukturieren. Genauso eignen sie sich gut dafür, Texte nach bestimmten Informationen zu durchsuchen oder Inhalte auf verschiedenen Niveaus, in unterschiedlichen Tonalitäten oder Sprachen erneut wiederzugeben.
Sprachmodelle sind mächtige Werkzeuge, die für bestimmte Aufgaben herausragend gut funktionieren. Um grundsätzlich zu entscheiden, ob ein Sprachmodell eher hilft oder ein Risiko birgt, sind einige grundlegende Fragen vor der Benutzung eine gute Orientierung.
Mit einer einfachen Checkliste lässt sich in der Regel gut abschätzen, ob sich eine Aufgabe besonders für die KI eignet: Ist die Aufgabe textbasiert, also geht es um das Verarbeiten von Sprache, bei der auch Ungenauigkeit tolerierbar ist? Wird ein Mensch das Ganze noch einmal kontrollieren? Und spart die KI trotz der zusätzlichen Kontrolle durch einen Menschen trotzdem noch Zeit? Falls alle diese Fragen für die Aufgabe mit "Ja" beantwortet werden, ist ein LLM vermutlich eine produktive Idee.
Fazit
Auch wenn Prompt-Patterns nicht mehr zeitgemäß sind, kann man sich die Idee, die hinter ihrer Erfindung steckte, zunutze machen: Wer einem Modell mehr Kontext gibt, bekommt in der Regel bessere Ausgaben. Dieser Kontext kann etwa mehr Informationen zu einem Thema enthalten, W-Fragen (Wer/Was/Wozu) beantworten oder Beispiele für das Format der Antwort des Modells enthalten. Zumindest für Arbeiten mit Texten, bei denen eine Antwort mehr kreative Freiheit enthalten darf, werden LLMs damit zu einem deutlich produktiveren Werkzeug.