Small Language Models: Wann kleine Sprachmodelle ausreichen

Small Language Models lohnen einen Versuch, wenn die Aufgabe klar umrissen ist, sich das Ergebnis prüfen lässt und Ausnahmen geregelt sind. Für eine eng begrenzte Aufgabe bietet sich zunächst ein Modell mit 1B bis 4B Parametern an. Für Aufgaben, die breiteres Wissen oder verlässlicheres Schlussfolgern verlangen, sollte bei Bedarf eine API zu einem Spitzenmodell bereitstehen – sofern die Vorgaben zum Umgang mit Daten das erlauben.

Aus Unternehmenssicht zählt, ob ein kleineres Modell auf der vorhandenen Hardware die festgelegten Qualitätsanforderungen erfüllt. Eine schnelle, plausibel klingende Antwort löst das Problem nicht, wenn sie nur eine weitere Warteschlange für die Nachkontrolle erzeugt.

Was sind Small Language Models?

Ein kleines Sprachmodell, kurz SLM, nimmt Abstriche bei seinen allgemeinen Fähigkeiten in Kauf und benötigt dafür weniger Rechenressourcen. Für die praktische Planung eignet sich ein Bereich von ungefähr 100 Millionen bis 10 Milliarden Parametern, mit größeren Grenzfällen. Eine allgemeingültige Obergrenze gibt es nicht: IBM spricht von Millionen bis wenigen Milliarden, während Mistral ausdrücklich ein Modell mit 14B Parametern zu seiner Familie kleiner Modelle zählt. Wo die Grenze liegt, hängt von der Hardware, den Trainingsmethoden und den Fähigkeiten der jeweils größten Modelle ab. Die Definition von IBM und die Modellfamilie von Mistral machen diese unterschiedlichen Einordnungen deutlich.

Ein Parameter ist ein erlerntes numerisches Gewicht, das die Antworten des Modells beeinflusst. Ein Token ist ein Textbaustein, den das Modell verarbeitet. Generative Chatmodelle erzeugen ihre Antworten, indem sie auf Grundlage des übergebenen Kontexts nacheinander Tokens vorhersagen. Kleinere Modelle verwenden weniger erlernte Gewichte. Neben deren Anzahl spielen aber auch die Architektur und die Qualität des Trainings eine Rolle. Googles Einführung in Sprachmodelle erläutert das Verfahren.

Als Vergleich hilft eine kleine Backstube, deren Ausstattung auf ein festes Sortiment ausgelegt ist. Für dieselben täglichen Bestellungen kann sie genau die richtige Wahl sein. Jedes beliebige Gericht zuzubereiten, das sich ein Kunde ausdenkt, wäre eine andere Anforderung. Ein kleines Modell ist nicht automatisch ein Spezialist. Ein eng gefasster Arbeitsablauf erlaubt es aber, seine Kapazität dort einzusetzen, wo sie gebraucht wird.

Kleine Modelle können direkt trainiert oder durch Destillation entwickelt werden. Dabei lernt ein kleineres Modell anhand der Ausgaben eines größeren. Quantisierung dagegen speichert numerische Gewichte mit geringerer Genauigkeit und senkt so den Speicherbedarf. Das sind unterschiedliche Verfahren: Wer ein großes Modell quantisiert, verringert damit weder seine Parameterzahl noch macht er es zum Gegenstück eines wesentlich kleineren Modells. IBM beschreibt die Verfahren getrennt.

SLM vs. LLM: Kleines oder großes Sprachmodell?

Zuerst zählt die Qualität bei der konkreten Aufgabe, danach die Anforderungen an den Betrieb. Eine API zu einem Spitzenmodell stellt das leistungsfähige Modell eines Anbieters über das Internet bereit und erspart den Betrieb eigener Inferenzhardware. Ein kleines Modell eröffnet mehr Möglichkeiten für die Bereitstellung – bis hin zur vollständigen Verarbeitung auf einem Gerät.

Modellgröße und Betriebsort sind getrennte Entscheidungen. Ein kleines Modell lässt sich über eine API anbieten; manche größeren offenen Modelle können auf der eigenen Infrastruktur laufen. Der Namenszusatz „mini“ eines Anbieters sagt weder etwas Verbindliches über die Parameterzahl aus noch darüber, ob die Gewichte zum Download verfügbar sind.

Die Tabelle zeigt Abwägungen für den Betrieb, keine Benchmark-Ergebnisse. Microsoft beschreibt in seiner SLM-Übersicht sowohl die Ressourcenvorteile als auch die Grenzen der Fähigkeiten. Aussagekräftig ist der Vergleich anhand der tatsächlichen Arbeitslast, einschließlich schwieriger Eingaben.

Warum Unternehmen kleine Modelle einsetzen

Kosten pro Aufruf: Die Inferenz kleinerer Modelle kann weniger Ressourcen beanspruchen. Lokal bedeutet allerdings nicht kostenlos: Hardware, Strom, Support, ungenutzte Kapazität und Wiederholungsversuche gehören in die Rechnung. Maßgeblich sind die Kosten pro akzeptiertem Ergebnis, einschließlich Nachprüfung und Weitergabe schwieriger Fälle. Allein der Wegfall einer API-Rechnung ist noch kein Erfolg. Bei geringer Auslastung kann es einfacher sein, einen Dienst einzukaufen, als ihn selbst zu betreiben.

Latenz: Bei lokaler Ausführung entfällt der Weg zur entfernten Inferenz. Eine schnellere Antwort ist damit nicht garantiert. Das Laden des Modells, die Verarbeitung langer Prompts, langsamer Speicher oder gleichzeitige Anfragen können die Antwortzeit bestimmen. Wenn eine Fachkraft darauf wartet, dass sich ein Formular automatisch füllt, zählt die Zeit bis zum vollständigen, gültigen Formular.

Datenschutz: Lokale Inferenz kann dafür sorgen, dass der Prompt auf dem Gerät bleibt. Dieser Vorteil entfällt, sobald ein angebundenes Suchwerkzeug, ein entfernter Ersatzdienst oder ein Anwendungsprotokoll denselben Text weiterleitet. Vor einer Datenschutzaussage muss der gesamte Datenweg geprüft werden, einschließlich synchronisierter Dateien und Telemetrie.

Offlinenutzung: Sobald Anwendung, Modell und benötigte Dateien heruntergeladen sind, kann ein lokaler Arbeitsablauf auch ohne Internetverbindung verfügbar bleiben. Das ist etwa für einen Servicetechniker nützlich, der im Keller einen Einsatzbericht verfasst. Aktuelle Lagerbestände lassen sich weiterhin nur mit Verbindung abfragen, sofern nicht auch eine lokale Kopie der Daten bereitsteht. Die Offline-Dokumentation von LM Studio unterscheidet ausdrücklich zwischen Inferenz mit heruntergeladenen Modellen und Vorgängen, die eine Verbindung benötigen.

Für Gründer mit gesicherter Finanzierung ist eine gehostete Referenzlösung oft der schnellste Weg, den Nutzen eines Features zu prüfen. Für einen CTO im Mittelstand wird der lokale Betrieb interessant, wenn eine wiederkehrende Arbeitslast oder Anforderungen an den Datenstandort den eigenen Betriebsaufwand rechtfertigen. Für eine erfahrene operative Fachkraft zählt, wie viel Arbeit ohne Nachbesserung zu einem brauchbaren Ergebnis führt. Wer allein entwickelt, kann mit einem Pilotversuch auf dem Laptop die Machbarkeit prüfen, bevor Hardware angeschafft wird.

Fünf Aufgaben, für die sich kleine Modelle eignen

Am aussichtsreichsten sind Aufgaben mit klar begrenzten Ausgaben und einer eindeutigen Möglichkeit, Fehler zurückzuweisen. Die folgenden Beispiele sind Vorschläge für Arbeitsabläufe. Sie besagen nicht, dass jedes der weiter unten genannten Modelle diese Aufgaben bereits erfolgreich bewältigt.

1. Klassifikation

Ein Modell kann Texte festen Kategorien zuordnen. Im Support könnten Tickets beispielsweise als billing, access, bug oder other eingestuft werden. Dafür braucht es Definitionen und Beispiele für Grenzfälle. Anschließend werden die Fehler für jede Kategorie getrennt gemessen.

Die sinnvolle Aufgabengrenze lautet „einer Warteschlange zuordnen“, nicht „das Kundenkonto klären“. Für Nachrichten außerhalb der definierten Kategorien sollte ein Weg über other offenbleiben. Wenn einfache Regeln die Eingaben bereits zuverlässig zuordnen, sollten diese Regeln bestehen bleiben.

2. Datenextraktion

Aus bereitgestelltem Text entsteht ein Datensatz mit festen Feldern, etwa Rechnungsnummer, Lieferant, Fälligkeitsdatum und Währung. Für jedes extrahierte Feld sollte eine Fundstelle verlangt werden; fehlt die Information, muss null zulässig sein. Ein Schema legt Struktur und Datentypen der Ausgabe fest und prüft damit das Format. Es beweist nicht, dass die Werte stimmen.

Bei eingescannten Dokumenten ist die Texterkennung ein eigener Schritt, sofern das gewählte Modell und die Laufzeitumgebung keine Bildeingaben unterstützen. Datumsangaben, Summen und Kennungen müssen im Code geprüft werden, bevor ein Datensatz an die Buchhaltung übergeben wird. Eine fehlende Rechnungsnummer darf das Modell niemals durch Raten ergänzen.

3. Anfragen weiterleiten

Ein kleines Modell kann vorschlagen, welcher spezialisierte Ablauf eine Anfrage übernehmen sollte. Ein interner Helpdesk könnte zwischen „Richtlinie finden“, „Zugang zurücksetzen“ und „mit einem Mitarbeiter sprechen“ unterscheiden. Die Anwendung prüft anschließend, ob die vorgeschlagene Weiterleitung zulässig ist.

Das Modell für die Zuordnung darf nicht zum Berechtigungssystem werden. Seine Auswahl bleibt ein Vorschlag, der gegen eine Liste erlaubter Ziele geprüft wird. Mehrdeutige Anfragen werden weitergegeben. Die vom Modell selbst angegebene Sicherheit ist keine kalibrierte Wahrscheinlichkeit dafür, dass seine Antwort stimmt.

4. Assistenten auf dem Gerät

Ein Assistent kann die Notiz eines Technikers umformulieren, lokal gespeicherte Anleitungen zusammenfassen oder eine Suchanfrage vorbereiten, ohne den Ausgangstext an ein entferntes Modell zu senden. Der Aufgabenbereich muss ausdrücklich begrenzt sein: „bei diesen heruntergeladenen Handbüchern helfen“ statt „jede Wartungsfrage beantworten“.

Die relevante Passage gehört direkt in die Anfrage. Ein Modell kennt ein neues Verfahren nicht allein deshalb, weil die Anwendung es irgendwo heruntergeladen hat. Das Originaldokument sollte sichtbar erreichbar bleiben. Getestet wird auf dem tatsächlich vorgesehenen Smartphone, einschließlich der Grenzen durch Akku und Wärmeentwicklung.

5. Entwürfe nach Vorlage

Aus freigegebenen Feldern und einem festen Format lässt sich ein Entwurf erzeugen. Im Kundenmanagement könnte etwa aus einem geprüften Besprechungsprotokoll eine Folge-E-Mail entstehen, gegliedert nach Entscheidungen, Verantwortlichen und nächsten Schritten.

Zusagen, Preise und Termine müssen aus validierten Quellfeldern stammen. Fehlt ein Wert, wird er weggelassen oder angefragt. Das Schreiben mit kleinen Modellen lässt sich am besten kontrollieren, wenn das Modell die Formulierungen gestaltet und die Anwendung die Fakten liefert.

Kleine Open-Source-Sprachmodelle: Größen und Lizenzen

Die folgende Auswahl umfasst von den Herstellern aufgeführte Modelle mit offenen Gewichten, geprüft am 14. Oktober 2026. Sie ist keine Rangliste auf Grundlage eigener Praxistests. „Open Source“ wird in diesem Bereich häufig ungenau verwendet: Herunterladbare Gewichte bedeuten nicht überall dieselben Nutzungsrechte. Geprüft werden muss die Lizenz des konkreten Checkpoints, der zum Einsatz kommt, einschließlich abgeleiteter oder quantisierter Pakete.

Die Größenangaben folgen den Bezeichnungen der Hersteller; wichtige Unterschiede bei der Zählweise sind ausdrücklich aufgeführt. Eine Laufzeitumgebung ist Software, die die Gewichte lädt und das Modell ausführt. Kompatibilität und verfügbarer Speicher müssen dennoch geprüft werden.

Google Gemma 4 lohnt eine Prüfung, wenn ein lokaler Assistent neben Text auch Bilder oder Audio verarbeiten soll. Die Bezeichnungen E2B und E4B beziehen sich auf effektive Parameterzahlen. Der Speicherbedarf lässt sich deshalb nicht allein aus dem Namen ableiten. Google stellt Bereitstellungsformate und Hinweise zum Speicherbedarf bereit, darunter Optionen für den lokalen und mobilen Betrieb.

Microsoft Phi-4-mini-instruct ist ein Textmodell. Seine Modellkarte enthält Anleitungen für den lokalen Betrieb und weist ausdrücklich auf begrenztes Faktenwissen hin. Damit ist es ein sinnvoller Kandidat für Aufgaben mit mitgeliefertem Kontext, sofern die verwendete Sprache und die konkreten Dokumente sorgfältig getestet werden. Eine aktuelle Wissensquelle ersetzt es nicht.

Alibaba Qwen3.5 bietet eine nützliche Auswahl kleiner Größen, um dieselbe Aufgabe bei unterschiedlichem Hardwarebedarf zu vergleichen. Die Modellkarte der 4B-Version dokumentiert Möglichkeiten für den Betrieb; die Lizenz des Checkpoints enthält die Bedingungen. Zu prüfen sind die Unterstützung durch die Laufzeitumgebung und das vollständige multimodale Paket. Nicht jede lokale Anwendung kann jede Variante verarbeiten.

Meta Llama 3.2 bietet reine Textmodelle, die klein genug für praktische Tests direkt auf dem Gerät sind. Meta dokumentiert auch die Quantisierung für mobile Geräte. Die eigene Lizenz unterscheidet sich von MIT und Apache 2.0. Die Modelle kommen für klar begrenzte Textaufgaben infrage; wer Bilder auswerten muss, benötigt ein anderes Modell.

Mistral AI Ministral 3 bietet in seinen kleinen Größen Base-, Instruct- und Reasoning-Varianten mit Bildverständnis. Für Routineaufgaben empfiehlt sich zunächst der Test einer Instruct-Variante, also eines Modells, das auf das Befolgen von Anweisungen trainiert wurde. Eine längere Reasoning-Antwort kann zusätzliche Latenz erzeugen, obwohl nur eine kurze Kategorie oder ein extrahiertes Feld gebraucht wird. Die aktuelle Modellseite zur 3B-Version dokumentiert das gehostete Modell.

Welche kleinen Sprachmodelle eignen sich für den ersten Pilotversuch?

Der Einstieg sollte mit dem kleinsten Kandidaten erfolgen, der die benötigten Eingabetypen und Sprachen unterstützt, eine akzeptable Lizenz hat und mit einer unterstützten Laufzeitumgebung funktioniert. Er wird anhand exakt derselben Beispiele mit einem größeren Modell verglichen. Ohne diese konkrete Arbeitslast lässt sich kein allgemeiner Sieger seriös benennen.

Für eine breitere, an der Hardware orientierte Auswahl hilft der Leitfaden zu den besten lokalen LLMs. Die obige Auswahl konzentriert sich auf die Entscheidung für oder gegen ein kleines Modell.

Was passt auf einen Laptop, ein Smartphone oder eine einzelne GPU?

Die Modellgewichte sind nur der Ausgangspunkt für die Speicherplanung. Hinzu kommt Arbeitsspeicher für die Laufzeitumgebung und den Kontext, also die Texte und weiteren Eingaben, die das Modell gerade verarbeitet.

Eine bewusst vereinfachte Rechnung lautet: 4 Milliarden Parameter × 4 Bit ÷ 8 = 2 GB reine Gewichtsdaten, gerechnet mit dezimalen Gigabyte. Das ist unsere Rechnung, kein Benchmark und keine Aussage, dass ein 4B-Modell mit 2 GB RAM läuft. Metadaten zur Quantisierung, mit unterschiedlicher Genauigkeit gespeicherte Gewichte, Laufzeitumgebung und Kontextcache verursachen zusätzlichen Speicherbedarf.

Der KV-Cache ist ein Arbeitsspeicherbereich, der erneute Berechnungen für Teile des vorherigen Kontexts vermeidet. Längere Eingaben, längere Ausgaben und mehr gleichzeitige Anfragen können den Speicherbedarf erhöhen. Googles Hinweise zur Speicherplanung trennen ausdrücklich zwischen statischen Gewichten, Kontext und unterstützender Software.

Ein Smartphone braucht eine kompatible mobile Laufzeitumgebung und eine Aufgabe, die unter den dauerhaften Leistungsgrenzen des Geräts sinnvoll bleibt. Auf einem Laptop muss genug Speicher für Betriebssystem und tatsächlich genutzte Anwendungen frei bleiben. Eine einzelne GPU ist noch keine aussagekräftige Spezifikation: Verfügbarer Grafikspeicher, unterstützte Software und Anfragelast entscheiden darüber, was darauf passt.

Auch ein Modell, das in den Speicher passt, kann zu langsam sein. Gemessen werden sollten sowohl Kaltstarts als auch wiederholte Anfragen, anschließend die vorgesehene Promptlänge und die gleichzeitige Belastung. Das maximale Kontextfenster sollte nicht allein deshalb reserviert werden, weil es in der Modellkarte steht.

Wie lässt sich ein kleines Sprachmodell betreiben?

Ollama eignet sich, wenn Kommandozeile und lokale API zum Arbeitsablauf passen. LM Studio bietet sich an, wenn Modelle über eine Desktop-Oberfläche heruntergeladen, geladen und verglichen werden sollen. Beide sind Laufzeitumgebungen und Anwendungen, nicht das Modell selbst. Der Vergleich zwischen Ollama und LM Studio behandelt die Auswahl ausführlich.

Lokal mit Ollama starten

Ollama stellt eine lokale Ausführungsumgebung für Modelle und eine HTTP-Schnittstelle bereit. Nach der Installation und dem Start gemäß der offiziellen Kurzanleitung wird ein konkret benanntes Modell heruntergeladen. Der Bibliothekseintrag zu Llama 3.2 führt beide kleinen Größen auf.

1. 1

   Ein kleines Modell herunterladen

   Nach der Installation von Ollama werden diese Befehle im Terminal ausgeführt:

   ollama pull llama3.2:3b
   ollama run llama3.2:3b

   Der erste Befehl lädt das Modell herunter. Der zweite öffnet eine interaktive Sitzung. Das ist ein dokumentierter Einstieg, keine Aussage darüber, ob das Modell die konkrete Aufgabe bereits erfolgreich bewältigt.

2. 2

   Eine klar begrenzte API-Anfrage ausprobieren

   Bei laufendem Ollama fordert die folgende Anfrage eine Kategorie für ein Supportticket an und verlangt eine JSON-Ausgabe. Sie wird in einer Shell ausgeführt, in der curl verfügbar ist:

   curl http://localhost:11434/api/generate \
     -H 'Content-Type: application/json' \
     -d '{
       "model": "llama3.2:3b",
       "prompt": "Classify the ticket as billing, access, bug, or other. Return JSON with one key: category. Ticket: I cannot sign in after resetting my password.",
       "format": "json",
       "stream": false
     }'

   Der erzeugte Text steht im Feld response der Antwort. Der generate-Endpunkt akzeptiert auch ein JSON Schema, falls die Ausgabestruktur strenger vorgegeben werden muss. Die Anwendung muss unbekannte Kategorien weiterhin zurückweisen und prüfen, ob die Zuordnung stimmt.

3. 3

   Den Ausführungsweg prüfen

   Mit ollama ps lässt sich prüfen, ob das Modell auf CPU, GPU oder beiden geladen ist. Muss der Ablauf vollständig lokal bleiben, werden Cloudfunktionen mit OLLAMA_NO_CLOUD=1 in der Umgebung des laufenden Ollama-Dienstes deaktiviert; anschließend wird der Dienst neu gestartet. Ollama dokumentiert diese Einstellungen in seinen FAQ. Bei einem Offlinetest bleiben angebundene Werkzeuge und entfernte Ersatzdienste außen vor.

Lokal mit LM Studio arbeiten

LM Studio ist eine Desktop-Anwendung zum Herunterladen und Ausführen kompatibler lokaler Modelle. Die Anwendungsdokumentation beschreibt die Unterstützung für GGUF, ein Dateiformat für lokale Modelle, und für MLX auf Apple Silicon.

Unter Discover wird nach dem Modell gesucht und ein unterstützter Download ausgewählt, der zur Hardware passt. Anschließend wird das Modell in einen Chat geladen und dieselbe Klassifikationsanfrage wie oben eingefügt. Die genaue Modelldatei und ihre Quantisierung sollten festgehalten werden: Zwei Downloads aus derselben Modellfamilie können sich bei Speicherbedarf und Qualität unterscheiden. Die Anleitung zum Modelldownload beschreibt die aktuelle Oberfläche.

Für einen Offlineversuch werden zunächst Modell und benötigte Laufzeitumgebung heruntergeladen. Danach wird die Verbindung getrennt und dieselbe Aufgabe erneut ausgeführt. Das Modell kann lokal funktionieren, obwohl Modellsuche, Downloads oder externe Werkzeuge weiterhin eine Verbindung brauchen. Ein erfolgreicher Offlinechat beweist nicht, dass jede Anwendungsintegration die Daten lokal hält.

Eine gehostete API nutzen

Über eine gehostete API für kleine Modelle lässt sich ein Modell testen, ohne eine GPU selbst zu betreiben. Mistrals gehosteter Dienst führt beispielsweise Ministral neben seinen größeren Modellen. Der API-Schnellstart beschreibt den Weg: Konto und Schlüssel anlegen, die aktuelle Kennung des kleinen Modells auf dessen Modellseite auswählen und denselben klar begrenzten Prompt über den Chat-Completion-Endpunkt senden.

Der Schlüssel bleibt auf dem eigenen Server. Akzeptierte Ergebnisse, Antwortzeit und Nachprüfungsaufwand werden anhand desselben Datensatzes wie beim lokalen Durchlauf verglichen. Auch ein gehostetes kleines Modell führt die Inferenz auf einem entfernten System aus. Seine geringe Parameterzahl ermöglicht weder Offlinenutzung noch den Datenschutz einer Verarbeitung auf dem Gerät.

Wo kleine Modelle an Grenzen stoßen – und was übertrieben ist

Die schwierigsten Fehler treten auf, wenn die Aufgabe über die vorgesehenen Beispiele hinausgeht. Ein Klassifikator kann bei eindeutigen Tickets zuverlässig wirken und an einer Nachricht scheitern, die zugleich eine strittige Rechnung und ein Zugangsproblem enthält. Ein Modell für Textentwürfe kann das Format einhalten und dennoch eine Zusage erfinden.

Breites Wissen und das Schlussfolgern bei mehrdeutigen Aufgaben bleiben Schwachstellen, die geprüft werden müssen. Microsoft beschreibt in der Phi-Modellkarte ausdrücklich die begrenzte Faktenkapazität und warnt vor Problemen bei langen Gesprächen, Sprachunterschieden und unzuverlässigen Informationen. Relevantes Quellenmaterial bereitzustellen hilft bei Wissenslücken. Eine korrekte Interpretation garantiert es nicht.

„Klein heißt präzise“ ist nicht belegt. Eine engere Aufgabe lässt sich leichter prüfen und begrenzen. Dadurch wird ein Modell aber nicht automatisch wahrheitsgetreu. Quellenprüfungen und ein Weg zur Ablehnung oder Weitergabe müssen bestehen bleiben.

„Lokal heißt privat“ beschreibt eine Architektur, die erst geschaffen werden muss. Protokolle, externe Werkzeuge, Dokumentensynchronisierung und entfernte Ersatzdienste können die Grenze überschreiten, obwohl die Inferenz lokal läuft.

„Ein langes Kontextfenster bedeutet, dass das Modell das ganze Handbuch versteht“ geht zu weit. Die angegebene Eingabekapazität garantiert weder, dass alles in den Speicher passt, noch, dass das Modell jede Passage richtig auswertet. Besser wird der relevante Abschnitt herausgesucht, zusammen mit der Frage übergeben und die Antwort mit der Quelle abgeglichen.

Kleine Sprachmodelle für Fachaufgaben

Spezialisierung beginnt beim Arbeitsablauf, noch vor dem Training. Das Modell erhält den Wortschatz, die erlaubten Ausgaben und die relevanten Dokumente für die Aufgabe. Retrieval-augmented Generation, kurz RAG, bedeutet, passendes Quellenmaterial zu suchen und in die Anfrage aufzunehmen. So lässt sich das bereitgestellte Wissen aktualisieren, ohne die Modellgewichte zu ändern.

Ein Assistent für die Gerätewartung sollte die Anleitung für die genaue Maschine und deren Revision erhalten. Ein Ordner mit unzusammenhängenden Handbüchern in der Hoffnung, das Modell werde schon richtig auswählen, genügt nicht. Die Revision der Quelle bleibt mit der Antwort verknüpft, damit die zuständige Fachkraft sie prüfen kann.

Kleine Sprachmodelle per Fine-Tuning anpassen

Fine-Tuning verändert ein vortrainiertes Modell anhand zusätzlicher Beispiele. Es kommt infrage, wenn eine stabile Aufgabe wiederholt auf eine Weise scheitert, die sich weder durch bessere Prompts noch durch das Abrufen passender Quellen beheben ließ, und wenn repräsentative, korrekt beschriftete Beispiele vorliegen.

Bei einem Supportklassifikator könnte es etwa darum gehen, eine unternehmensspezifische Unterscheidung zwischen Störungsmeldungen und Featurewünschen zu lernen. Ein separater Evaluationsdatensatz darf im Training nicht vorkommen. Liegt das Problem an einer geänderten Erstattungsrichtlinie, muss zuerst die bereitgestellte Richtlinie aktualisiert werden. Fine-Tuning ersetzt keine aktuelle, maßgebliche Quelle.

Wer sollte jetzt starten, abwarten oder beim bisherigen System bleiben?

Jetzt starten lohnt sich, wenn die Aufgabe wiederkehrt, ihre Ausgabe prüfbar ist und lokale Verfügbarkeit oder Datenstandort ein konkretes Problem lösen. Eine erfahrene operative Fachkraft mit einer manuell bearbeiteten Eingangswarteschlange hat einen besseren Pilotfall als ein Gründer, der jeden Assistenten im Unternehmen ersetzen möchte.

Mit dem Umstieg warten sollte, wer akzeptable Fehler noch nicht definieren kann, keine repräsentativen Beispiele hat oder einen Agenten für offene Aufgaben und folgenreiche Entscheidungen benötigt. Zuerst müssen Arbeitsablauf und Vergleichsmaßstab für die Evaluation stehen.

Bei der bestehenden API bleiben ist sinnvoll, wenn sie die Anforderungen bereits erfüllt und weder Datenstandort noch Offlineverfügbarkeit noch gemessene Betriebsleistung einen Wechsel rechtfertigen. Die Modellgröße allein ist kein Grund, ein System neu aufzubauen.

Der nächste konkrete Schritt für Montag: eine Warteschlange, ein Ausgabeschema und eine verantwortliche Person festlegen. Dann 100 erste Fälle zusammenstellen, zum Beispiel 70 Routineanfragen, 20 schwierige und 10 außerhalb des Aufgabenbereichs. Diese Zahlen sind ein Vorschlag für den Einstieg, keine statistische Garantie. Für die abschließende Evaluation bleiben separate Beispiele zurück; seltene Fehlerfälle werden ergänzt, sobald sie auftreten.

Ein kleines Modell und die bisherige Referenzlösung werden mit denselben zurückgehaltenen Fällen getestet. Erfasst werden Korrektheit, ungültige Ausgaben, weitergegebene Fälle, Speicherverbrauch und die gesamte Antwortzeit, einschließlich des 95. Perzentils: der Zeitspanne, innerhalb derer 95% der Anfragen abgeschlossen sind. Die Akzeptanzschwelle wird vor dem Ergebnisvergleich festgelegt. Fehler sollten nach Kategorien ausgewertet werden, statt sich auf einen Gesamtdurchschnitt zu verlassen. Der Einstieg erfolgt im Schattenbetrieb: Das Modell schlägt Antworten vor, während der bestehende Ablauf die Kontrolle behält.

Häufige Fragen

Wofür werden SLMs eingesetzt?

Kleine Sprachmodelle eignen sich für klar begrenzte Sprachaufgaben wie Klassifikation, Datenextraktion, Weiterleitung von Anfragen, lokale Assistenz und Textentwürfe nach Vorlage. Ob sie passen, hängt vom Modell, dem bereitgestellten Kontext und den Prüfungen der Ausgabe ab.

Was sind vortrainierte Sprachmodelle?

Bei diesen Modellen haben die Gewichte bereits Muster aus einem Trainingsdatensatz erlernt. Sie lassen sich in der bereitgestellten Form verwenden oder anpassen. Eine auf Anweisungen abgestimmte Version wurde zusätzlich darauf trainiert, Anfragen zu befolgen, und ist meist der praktische Ausgangspunkt für einen Assistenten.

Welche weiteren großen Sprachmodelle gibt es?

Gemma, Phi, Qwen, Llama und Mistral sind Sprachmodellfamilien. Einige umfassen kleinere und größere Modelle. SLM ist eine relative Größenangabe und keine grundsätzlich andere Technologie als ein LLM.

Was ist ein Sprachmodell auf Basis eines neuronalen Netzes?

Es nutzt erlernte numerische Gewichte in einem neuronalen Netz, um sprachliche Muster abzuschätzen, etwa welches Token wahrscheinlich als Nächstes folgt. Viele heutige generative Sprachmodelle verwenden Transformer-Architekturen.

Ist ChatGPT ein neuronales Netz?

ChatGPT ist eine Anwendung, die auf neuronalen Sprachmodellen beruht. Die Anwendung und das zugrunde liegende Modell sind unterschiedliche Ebenen; „ChatGPT“ bezeichnet keine festgelegte Netzwerkgröße. OpenAI unterscheidet zwischen Modellkonzepten und dem in ChatGPT verwendeten Modell.

Ist ein CNN besser als ein ANN?

Ein Convolutional Neural Network, kurz CNN, ist eine Form eines künstlichen neuronalen Netzes, kurz ANN. Es ist nicht grundsätzlich besser. Faltungsoperationen eignen sich für räumliche Muster, wie sie in Bildern vorkommen. Welche Architektur passt, hängt von der Aufgabe ab.

Ist YOLO nur ein CNN?

YOLO ist eine Familie von Systemen zur Objekterkennung. Viele Versionen verwenden Faltungskomponenten. Ein funktionsfähiger Detektor umfasst jedoch eine Architektur, einen Trainingsprozess und eine Vorhersagelogik. Ein kleines Sprachmodell ist er nicht. Ultralytics dokumentiert die Modellfamilie.

Ist TensorFlow ein CNN-Modell?

Nein. TensorFlow ist ein Softwareframework zum Erstellen und Ausführen von Modellen für maschinelles Lernen. Ein CNN ist ein Modelltyp, der sich damit entwickeln lässt, wie das CNN-Tutorial zeigt.

Welche vier Arten neuronaler Netze gibt es?

Es gibt keine allgemeingültige Liste mit genau vier Arten. Feedforward-, Faltungs-, rekurrente und Transformer-Netze sind vier häufig behandelte Kategorien, doch die Einteilung der Architekturen variiert. Die Modellgröße ist eine eigene Eigenschaft. Dazu bietet sich Googles Glossar zum maschinellen Lernen an.

Den Newsletter abonnieren und praktische Leitfäden zur Auswahl und zum Betrieb von KI-Systemen erhalten.