KI-Modelle für die eigenen Probleme einzusetzen, geht nicht, weil es zu teuer und zu aufwändig ist? Mit der richtigen Herangehensweise ist es viel weniger kompliziert, als man denken würde - egal ob KI von der Stange, eine angepasste Version eines existierenden Modells, oder mit etwas komplett selbst entwickelten. Ein Gastbeitrag vom KI-Experten Dr. Tim Elsner.
Dr. Tim Elsner hat an der RWTH Aachen über KI in der Computer Grafik promoviert. Er hat unter anderem dazu geforscht, wie Bilder mit neuronalen Netzen erstellt werden können oder wie ein neuronales Netz zu einem Bild einen passenden Text schreibt.
Mittlerweile hat er eine eigene Firma, mit der er sowohl Unternehmen berät, als auch eigene Produkte entwickelt. Außerdem schreibt er regelmäßig für Golem.de über KI oder tritt in Podcasts und Bühnendiskussionen zum Thema auf.
Was soll die KI können?
Bevor man sich über konkrete Modelle, Infrastruktur oder Kosten Gedanken macht, muss klar definiert sein, was die KI leisten soll. Muss sie etwa nahezu in Echtzeit antworten können, zum Beispiel als Support-Bot auf einer Website, oder reicht es, wenn sie E-Mails mit einer Verzögerung von einer Minute bearbeitet? Geht es eher um einfache Textarbeit oder um komplexere Aufgaben? Soll das Modell nur Englisch sprechen, oder sind gute Deutschkenntnisse wichtig?
Abhängig davon entscheidet sich, wie leistungsfähig ein Modell sein muss. Beispielsweise bei LLaMA, einem der populärsten frei verfügbaren Sprachmodelle, gibt es einige kleinere Varianten, die sich noch bequem lokal betreiben lassen. Diese sind im Englischen recht eloquent, haben bei der deutschen Sprache jedoch noch Nachholbedarf. Die größeren Varianten benötigen hingegen entweder spezielle Hardware - etwa Grafikkarten oder Neural Processing Units (NPUs) -, um nicht mit nur wenigen Wörtern pro Minute vor sich hin zu arbeiten. Dafür beherrschen sie dann auch Deutsch deutlich besser. Die Anforderungen sollten bestimmen,bestimmten, welches Modell ausreichend ist.
Für kompromisslose Leistung bieten mittlerweile viele Dienstleister einfache Schnittstellen zu großen Modellen in Rechenzentren an, häufig zu Kosten von wenigen Euros für tausende Anfragen. So lassen sich auch die mächtigsten Modelle bequem benutzen. Dabei zahlt der Kunde jedoch für längere verarbeitete Texte mehr, was diese Herangehensweise bei großen Textmengen schnell teuer machen kann.
Unabhängig davon, ob ein Modell lokal betrieben wird oder über eine Schnittstelle eines Anbieters läuft, funktioniert das Grundprinzip für einen einfachen Bot immer gleich: Für einen hilfreichen Bot auf einer Website lässt sich das gewählte Sprachmodell mithilfe eines Prompts in den richtigen Modus versetzen, etwa: "Du bist ein Assistent auf der Website von Unternehmen XY. Du berätst Kunden zu den Angeboten. Dir stehen folgende Informationen zur Verfügung: […]".
Dem Nutzer wird das natürlich nicht angezeigt; er sieht vielleicht nur ein kleines Fenster mit der Frage "Hallo, wie kann ich dir helfen?" auf der Website. Je nach Verlauf des Gesprächs muss die KI dann mit zusätzlichen Informationen versorgt werden. Fragt ein Kunde beispielsweise nach einem sehr speziellen Angebot, weiß ein allgemeines Modell darüber zunächst nichts.
Abhängig vom aktuellen Kontext des Gesprächs lässt sich in solchen Fällen etwa eine Datenbank mit allen firmeninternen Dokumenten durchsuchen. Geht es um eine konkrete Produktfrage, kann automatisch das passende Dokument geladen und unsichtbar der Nutzeranfrage vorangestellt werden. So kann das Sprachmodell die relevanten Informationen korrekt nutzen und läuft weniger Gefahr, den Kunden durch Halluzinationen zu verwirren.
RAG sucht bei einer Nutzerfrage nach hilfreichen Dokumenten und kopiert sie quasi unsichtbar vor die Antwort der KI. Diese kann damit präziser antwortenAntworten als vorher, obwohl eigentlich nichts am Modell selbst verändert wurde.
Angepasst statt von der Stange
Zwar lässt sich durch das Laden des richtigen Kontexts bereits viel erreichen, manchmal ist jedoch dennoch eine KI nötig, die die eigenen Prozesse besser versteht. Bleibt man beim Beispiel eines Support-Bots auf einer Website, lässt sich dieser relativ einfach weiterentwickeln und ganz individuell zuschneiden.
KI-Modelle werden zwar auf sehr großen Datenmengen trainiert, lassen sich aber mit wenigen Beispielen gezielt in eine neue Richtung lenken. Man kann sich das vorstellen wie das Einarbeiten eines neuen Mitarbeiters: Ein paar Dinge zu zeigen reicht oft aus, weil (hoffentlich) bereits eine grundlegende Intelligenz vorhanden ist. Der neue Mitarbeiter kann schon sprechen und einfache Probleme lösen. Genauso verhält es sich bei KI: Mit einigen wenigen Beispielen lässt sich ein bestehendes Modell auf einen neuen Pfad bringen (finetuning, also Feinjustierung). Der Großteil der Rechenarbeit ist dabei bereits erledigt, es geht nur noch um die präzise Ausrichtung.
Gerade bei Systemen, die bereits im Einsatz sind, ist das besonders naheliegend. Wenn ein Support-System etwa seit Jahren genutzt wird, liefern die vorhandenen Gesprächsverläufe zwischen Kunden und Mitarbeitern, deren Aufgaben nun von der KI übernommen werden sollen, genau die Grundlage für eine solche Feinjustierung - eben perfekte Trainingsdaten.
So wird aus einer generischen KI ein System, das beispielsweise automatisch im Ton des Unternehmens spricht und in dessen Sinne handelt. Antworten fallen konsistenter aus, Rückfragen werden gezielter gestellt und auch interne Besonderheiten sowie Abläufe werden berücksichtigt. Für Kunden fühlt sich das weniger nach einer kalten Maschine an, sondern eher wie ein Mitarbeiter auf Abruf.
Wichtig bleibt dabei jedoch die Kombination mit den eigenen Daten. Feinjustierung bedeutet nicht, dass das Modell alle betriebsinternen Abläufe und Informationen perfekt verinnerlicht. Schon allein durch regelmäßig aktualisierte Inhalte, Produkte oder Aktionen müsste sonst ständig eine neue Version des Modells erstellt werden. Stattdessen geht es darum, dass das Modell lernt, grundsätzlich so zu agieren, wie es gewünscht ist, und dieses Verhalten flexibel auf neue Aufgaben sowie neue Hintergrundinformationen anzuwenden. Der Ton und das Prinzip wird in das Modell eintrainiert, die harten Fakten weiterhin zusätzlich eingegeben.
Diese Generalisierung, kombiniert mit dem automatischen Heraussuchen und Einbetten relevanter Hintergrundinformationen in den Kontext, führt letztlich oft zu einem guten Ergebnis mit überschaubarem Aufwand.
Ganz eigene KI
Die Verwendung von Modellen von der Stange oder das Anpassen frei verfügbarer Modelle kann für viele Einsatzzwecke bereits hervorragend funktionieren. Gerade wenn das Problem jedoch sehr speziell ist, reicht das oft nicht mehr aus. Geht es etwa um die Verarbeitung besonderer Bilder, sind allgemeine Modelle häufig nicht die beste Lösung. Wenn zum Beispiel Fehler in Bildern aus einem Fertigungsprozess erkannt werden sollen, ist es zum einen eher unwahrscheinlich, dass ein Modell solche Bilder bereits gesehen hat und daraus zuverlässige Rückschlüsse ziehen kann. Zwar wird ein guter Allrounder wie etwa GPT 5.2 vermutlich keinen völligen Unsinn produzieren, grundsätzlich gilt aber: Je spezieller das Problem, desto mehr Potenzial verliert selbst ein sehr gutes Allround-Modell.
Dabei muss eine eigene KI keineswegs teuer oder besonders kompliziert sein. Etwa einfache Modelle zur Bilderkennung lassen sich bereits mit einigen Tausend Beispielen trainieren und laufen anschließend - weil sie deutlich weniger breit aufgestellt sind - mit einem Bruchteil der Kosten großer Modelle.
Selbst komplexere Aufgaben wie das Schreiben eines Textes auf Basis eines Bildes sind mit einigen Vereinfachungen gut umsetzbar. Zunächst lassen sich für ein Modell, das sich nur auf ein klar abgegrenztes Themengebiet konzentriert, leicht Vereinfachungen einführen. So erzeugen Modelle ihre Texte nicht Buchstabe für Buchstabe, sondern setzen sie aus Bausteinen zusammen. Je spezifischer das Themengebiet ist, desto größer können diese Bausteine sein, da das Modell beispielsweise keine Bausteine für Chinesisch oder Programmierung mehr benötigt. Auch stilistische Aspekte lassen sich vereinfachen: Wird ein Modell nur intern genutzt, ist etwa Groß- und Kleinschreibung möglicherweise nicht entscheidend, kann dem Modell aber bereits Rechenaufwand ersparen.
Auch inhaltlich sind spezialisierte Experten Modelle oft deutlich pflegeleichter. Muss ein Modell weder Albanisch beherrschen noch Wissen über die mongolische Steppe vorhalten, kann es deutlich kleiner ausfallen und damit sowohl schneller als auch besser in seiner eigentlichen Aufgabe sein. Schwieriger wird es vor allem dann, wenn viele Ausnahmen berücksichtigt werden müssen - etwa weil Nutzer direkt mit dem Modell interagieren, Tippfehler machen oder sogar böswillig versuchen, das System zu überlisten. In solchen Fällen sind große, ausgereifte Modelle meist besser darin, diese Vielzahl an Problemen abzufangen. Eine Eigenentwicklung sollte daher stets nur in einem klar abgegrenzten Einsatzszenario verwendet werden.
Fazit
Grundsätzlich ist eine eigene KI für ein Unternehmen zu verwenden kein Hexenwerk - aber es braucht eine kluge Analyse, um genau die richtige Stufe zwischen einem Modell von der Stange und einer kompletten Eigenentwicklung zu erwischen.