Edge AI: Was auf Firmenlaptops und Smartphones läuft

2026 kann Edge AI kurze Zusammenfassungen, Textüberarbeitungen und Sprachverarbeitung direkt auf den Geräten der Beschäftigten erledigen. Ob Daten das Gerät verlassen, entscheidet aber weiterhin die App. Der Einstieg gelingt mit einem klar abgegrenzten Arbeitsablauf, einer ausdrücklich geregelten Cloud-Übergabe und einer Prüfung anhand eigener Dokumente, bevor der Einsatz ausgeweitet wird.

Für Verantwortliche im Betrieb zählt vor allem, welcher Teil einer Aufgabe auf dem Laptop oder Smartphone bleiben kann. Aus der Notiz eines Außendienstmitarbeiters eine Zusammenfassung für die Übergabe zu erstellen, ist ein sinnvollerer Einstieg als ein Assistent, der im gesamten Unternehmen recherchieren, Schlussfolgerungen ziehen und handeln soll.

Am 23. Oktober 2026 anhand der aktuellen Herstellerdokumentation geprüft. Die Aufgabenübersicht weiter unten ordnet dokumentierte Funktionen und Anforderungen ein. Sie ist kein Leistungsbenchmark.

Was bedeutet Edge AI direkt auf dem Gerät?

Bei On-Device-KI läuft das Modell auf einem Prozessor des Geräts selbst. Das kann der Hauptprozessor (CPU), der Grafikprozessor (GPU) oder eine Neural Processing Unit (NPU) sein: ein Chip für unterstützte KI-Berechnungen. Wenn ein Modell ausgeführt wird, um eine Antwort zu erzeugen, heißt das Inferenz. Eine NPU braucht Software, die sie gezielt anspricht. Allein ihr Vorhandensein beschleunigt nicht automatisch jede KI-App. Microsofts NPU-Leitfaden für Entwickler

Ein Vergleich: Ein Übersetzer sitzt mit dem Dokument direkt neben Ihnen, statt es per Kurier in einem anderen Büro zu erhalten. So bleibt auch bei lokaler Inferenz die Verarbeitung vor Ort. Die App kann trotzdem eine Kopie anderswohin schicken – genauso, wie jemand das übersetzte Dokument anschließend per E-Mail versenden kann.

Für den lokalen Modellaufruf müssen keine Daten das Gerät verlassen. Die App, in die das Modell eingebunden ist, kann jedoch Prompts hochladen, Dokumente synchronisieren, ein Online-Tool aufrufen oder ein Cloud-Modell auswählen. Apples Framework kann einem Modell beispielsweise Tools bereitstellen, die lokale oder online verfügbare Datenbanken abfragen. Wo die Verarbeitung stattfindet und welche Daten die App weitergibt, sind zwei getrennte Entscheidungen. Apples Dokumentation zu Foundation Models

Auch eine Offline-Funktion braucht Vorbereitung. Die Modelldateien müssen bereits vorhanden sein, und die App muss ohne Netzwerkverbindung auf die Eingabedaten zugreifen können. Ein lokales Modell kann kein Dokument zusammenfassen, das ausschließlich in einem unerreichbaren externen System liegt.

Welche lokalen KI-Modelle können Unternehmen heute einsetzen?

Zuerst kommt die Software, die zum Arbeitsablauf passt. Danach folgt die Hardwareprüfung. Die Frameworks von Apple und Google sind Bausteine für Apps. Windows bringt bestimmte fertige Funktionen mit. Desktop-Anwendungen für lokale Modelle lassen Beschäftigte oder Entwickler die Modelle selbst auswählen. Daraus ergeben sich unterschiedliche Wege zur Einführung.

Apple Foundation Models: Gezielte Funktionen in der eigenen App

Apples Framework Foundation Models stellt eine Schnittstelle bereit, um modellgestützte Funktionen in Apples Programmiersprache Swift zu entwickeln. Das lokale Modell eignet sich etwa dafür, bereitgestellten Text zusammenzufassen, Einzelheiten zu extrahieren oder einen Entwurf zu überarbeiten. Mit Guided Generation lässt sich eine festgelegte Swift-Datenstruktur zurückgeben. Das ist hilfreich, wenn eine App einzelne Felder statt eines Textabsatzes benötigt. Apples Framework-Übersicht

Für Produktverantwortliche wäre eine sinnvolle Funktion, aus einer Technikernotiz eine strukturierte Übergabe zu erstellen, die anschließend ein Mensch prüft. Die App liefert das Ausgangsmaterial und legt das Ausgabeformat fest. Diese Aufgabe ist deutlich enger gefasst, als das Modell entscheiden zu lassen, wie die Anlage repariert werden sollte.

Apples aktueller Leitfaden zur Textgenerierung nennt Codeerstellung, grundlegende Mathematik und logisches Schlussfolgern als Aufgaben, die mit dem lokalen Modell vermieden werden sollten. Berechnungen und Validierung gehören in gewöhnlichen Anwendungscode. Generierte Inhalte mit relevanten Folgen müssen geprüft werden. Apples Hinweise zu den Fähigkeiten des Modells

Das Framework steht ab der Betriebssystemgeneration iOS 26, iPadOS 26 und macOS 26 bereit. Neuere APIs haben eigene Verfügbarkeitsanforderungen. Die Hardware muss Apple Intelligence unterstützen, beispielsweise iPhone 15 Pro, iPhone 16 und spätere Modelle sowie Macs mit M1 oder neuer. Zur Laufzeit muss geprüft werden, ob das konkrete Modell tatsächlich verfügbar ist – einschließlich Sprache, Region und Downloadstatus. Verfügbarkeit des Frameworks, Apples Geräteanforderungen

In der Implementierung muss das lokale Modell ausdrücklich ausgewählt werden. Das Framework unterstützt inzwischen auch Private Cloud Compute und weitere Serveranbieter. Die Angabe, eine App nutze Foundation Models, verrät deshalb nicht mehr, wo eine bestimmte Anfrage verarbeitet wird. Apples unterstützte Modelle

Lokale KI bei Google: Android und Chrome

Google Gemini Nano ist das lokale Modell hinter dem Android-Systemdienst AICore. Entwickler greifen über ML Kit darauf zu. Es bietet unter anderem APIs zum Zusammenfassen, Korrekturlesen und Umformulieren. In einer Außendienst-App wäre das Kürzen einer vom Mitarbeiter eingegebenen Notiz ein geeigneter Pilotversuch. Googles Android-Übersicht

Welche Geräte unterstützt werden, hängt von der API und der Modellversion ab. Maßgeblich sind Googles Gerätelisten und eine Verfügbarkeitsprüfung. Eine Android-Versionsnummer oder eine RAM-Angabe allein reicht nicht aus. Hinzu kommt eine Einschränkung im Betrieb: Inferenz mit ML Kit GenAI ist nur erlaubt, solange die App die aktive Anwendung im Vordergrund ist. Außerdem gelten Kontingente für Anfragen und Akkuverbrauch. Als Grundlage für eine unbeaufsichtigte Dokumentenwarteschlange im Hintergrund eignet sich das daher schlecht. Anforderungen und Grenzen von ML Kit

Die flexiblere Prompt API ist weiterhin in der Betaphase, ohne Service-Level-Agreement und ohne festgelegte Regeln für die Abkündigung von Funktionen. Google kann deshalb Änderungen vornehmen, die die Kompatibilität brechen. Diese Abhängigkeit muss bewertet werden, bevor die API für den Arbeitsalltag unverzichtbar wird. Status der Prompt API von Google

Google Chrome macht Gemini Nano auf unterstützten Desktoprechnern und Laptops über integrierte Browser-APIs zugänglich. Eine Webanwendung kann damit bereits vorliegenden Text lokal zusammenfassen. Die Summarizer API ist in der stabilen Chrome-Version verfügbar; die Verfügbarkeit von Funktion und Modell muss dennoch geprüft werden. Dokumentation zum Chrome Summarizer

Für die Ausführung auf der CPU sind mindestens 16 GB RAM und 4 CPU-Kerne erforderlich. Bei der Ausführung auf der GPU müssen es mehr als 4 GB VRAM sein, also Grafikspeicher. Google verlangt außerdem 22 GB freien Speicherplatz auf dem Laufwerk mit dem Chrome-Profil. Das ist eine Vorgabe für den freien Speicherplatz und bedeutet nicht, dass das Modell selbst so viel Platz belegt. In Chrome auf Android oder iOS funktionieren diese APIs für Basismodelle derzeit nicht. Hardwareanforderungen von Chrome

Für ein internes Web-Tool heißt das: Erst die Browserausstattung der Belegschaft prüfen, dann flächendeckende Verfügbarkeit zusagen. Wenn das lokale Modell nicht verfügbar ist, müssen der Originaltext und ein manueller Arbeitsweg weiterhin nutzbar bleiben.

Copilot+ PCs: Nützliche Windows-Funktionen mit klaren Grenzen

Microsoft Copilot+ PCs stellen die Hardware für Windows-Funktionen wie die Übersetzung mit Live Captions, Windows Studio Effects und die verbesserte Windows-Suche bereit. Für jede dieser Funktionen gelten eigene Bedingungen hinsichtlich Geräten, Sprachen und Einführung. Microsofts Funktionsübersicht für Unternehmen

Diese Geräteklasse erfordert neben den Windows-Voraussetzungen eine kompatible NPU mit 40+ TOPS, 16 GB RAM und 256 GB Speicher. TOPS steht für Billionen Rechenoperationen pro Sekunde. Die Kennzahl beschreibt Rechenkapazität, nicht die Qualität der Antworten auf betriebliche Fragen. Microsofts Hardwarevorgaben

Live Captions ist ein anschauliches Beispiel für eine lokale Funktion: Laut Microsoft bleiben Audioverarbeitung und Untertitelerzeugung auf dem Gerät. Gewöhnliche Untertitel gibt es bereits in Windows; Copilot+ ergänzt die Übersetzung. Allerdings werden erzeugte Untertitel nicht gespeichert. Die Funktion ist deshalb weder ein Besprechungsarchiv noch ein Ersatz für einen Arbeitsablauf, der dauerhaft verfügbare Transkripte benötigt. Microsofts Dokumentation zu Live Captions

Vor einem Kauf sollte feststehen, welche konkrete Funktion die Hardware rechtfertigt. Eine NPU verlagert weder die Cloud-Funktionen von Microsoft Copilot noch ein beliebiges Desktop-Modell automatisch auf diesen Chip. Spezifikationen für Windows-KI, Softwareanforderungen für NPUs

Ollama und LM Studio: Das Modell selbst auswählen

Ollama führt Modelle lokal aus und bietet eine API, die andere Anwendungen aufrufen können. Die Dokumentation unterscheidet zwischen lokaler Modellausführung und optionalen Cloud-Funktionen. Ollama eignet sich für technisch Verantwortliche, die ein lokales Modell in einen bestehenden Arbeitsablauf einbinden und nachvollziehen möchten, ob es CPU- oder GPU-Ressourcen nutzt. Ollama-Dokumentation

Für einen ausschließlich lokalen Arbeitsablauf dokumentiert Ollama die Servereinstellung disable_ollama_cloud: true oder die Umgebungsvariable OLLAMA_NO_CLOUD=1 mit anschließendem Neustart. Damit werden Ollamas Cloud-Modelle und Websuche deaktiviert. Das Netzwerkverhalten einer anderen, mit Ollama verbundenen App wird dadurch nicht gesteuert. Ollamas Konfiguration für rein lokalen Betrieb

LM Studio bietet eine Desktop-Oberfläche, um Modelle herunterzuladen, zu laden und mit ihnen zu chatten. Dazu gehören Modellfamilien wie Qwen, Mistral und Gemma. Von Open-Weight-Modellen spricht man, wenn der Hersteller die trainierten Modelldateien zugänglich macht. Die jeweiligen Lizenzen unterscheiden sich dennoch. LM Studios Einstiegsleitfaden

Nach dem Download der Dateien unterstützt LM Studio Offline-Chats, lokale Dokumentenverarbeitung und einen lokalen Server. Die aktuelle Datenschutzerklärung beschreibt daneben optionale Cloud-Modelle und Websuche. Der lokale Verarbeitungsweg muss bewusst gewählt werden. Offline-Betrieb, Aktuelle Datenschutzerklärung von LM Studio

LM Studio empfiehlt mindestens 16 GB RAM und nennt zusätzliche plattformspezifische Voraussetzungen. Das ist ein Ausgangspunkt, keine Zusage, dass jedes Modell in den Speicher passt. Macs mit Intel-Prozessor werden nicht unterstützt, Geräte mit Apple Silicon dagegen schon. Unter Windows setzt die x64-Version eine CPU mit AVX2-Unterstützung voraus. Systemanforderungen von LM Studio

Der Leitfaden zu den besten lokalen LLMs hilft bei der Modellauswahl für den jeweiligen Rechner. Ollama im Vergleich mit LM Studio behandelt die Ausführungssoftware, die Bereitstellung und die Lizenzbedingungen für den beruflichen Einsatz. Software und Modell sind zwei getrennte Entscheidungen.

Welche Aufgaben gehören auf die Geräte der Beschäftigten?

Lokale Verarbeitung lohnt sich besonders, wenn die Eingabedaten bereits vorliegen, die Aufgabe klar begrenzt ist und ein Mensch das Ergebnis prüfen kann. Die Cloud bleibt eine sinnvolle Option, wenn die Aufgabe das Gerät überfordert oder einen zentral betriebenen Dienst voraussetzt. Die letzte Tabellenspalte enthält eine Einschätzung zum sinnvollen Einsatz, keine gemessene Qualitätsrangfolge.

Bei der Transkription müssen Spracherkennung und Zusammenfassung getrennt betrachtet werden. Ein Sprachmodell, das Texte umformuliert, kann nicht automatisch Audio transkribieren. Googles Basic-Modus verwendet ein klassisches lokales Spracherkennungsmodell, der Advanced-Modus ein generatives Modell. Die Anwendung muss anschließend entscheiden, ob und wo der entstandene Text gespeichert wird. Googles Leitfaden zu Speech Recognition

Beim Kostenvergleich steht einem kostenpflichtigen Cloud-API-Aufruf eine kostenlose lokale Ausführung gegenüber, bei der keine Cloud-Inferenzgebühr pro Aufruf anfällt. Hardware, Strom und Administration müssen dennoch mitgerechnet werden. Googles Angaben zu den Kosten der lokalen APIs

Welche Grenzen wichtiger sind als das Chip-Label

Oft ist die erste Grenze der Umfang der Aufgabe, nicht die Frage, ob das Modell überhaupt startet. Das Kontextfenster ist der Arbeitsraum des Modells für Anweisungen, Ausgangsmaterial, Gesprächsverlauf und Antwort.

Apples aktueller Leitfaden nennt für das standardmäßig verwendete lokale Modell ein Kontextfenster von 4,096 Tokens. Tokens sind Textbausteine; Eingabe und Ausgabe teilen sich dieses Budget. Der Leitfaden beschreibt außerdem, wie sich die Kapazität des tatsächlich verwendeten Modells abfragen lässt. Bei einem langen Dokument darf daher nicht so gerechnet werden, als stünde das gesamte Kontextfenster allein für den Quelltext zur Verfügung. Apples Leitfaden zum Kontextfenster

Ein Dokument in Abschnitte aufzuteilen kann helfen, die Größenbegrenzung einzuhalten. Die Anwendung muss dabei aber die Zusammenhänge zwischen den Abschnitten bewahren. Steht eine Frist an einer Stelle und eine Ausnahme davon an anderer Stelle, können isolierte Zusammenfassungen diesen Bezug übersehen. Entscheidend ist die Qualität der vollständig erledigten Aufgabe, nicht nur, ob jeder Abschnitt irgendeinen Text geliefert hat.

Desktop-Modelle benötigen außerdem Speicher für ihre Gewichte und ihren Arbeitszustand. Längerer Kontext und gleichzeitige Anfragen können den Speicherbedarf erhöhen. Ein Modell, das beim Entwurf einer einzelnen Antwort gut funktioniert, kann für eine Stapelverarbeitung im Hintergrund ungeeignet sein, wenn zugleich weitere Anwendungen geöffnet sind. Ollamas Hinweise zu Speicher und parallelen Anfragen

Deshalb gehört der Praxistest auf typische Mitarbeitergeräte, während die üblichen Anwendungen laufen. Für den eigenen Arbeitsablauf sollten Bearbeitungsdauer, fehlgeschlagene Anfragen, Korrekturaufwand und Akkuverbrauch erfasst werden. Keine der genannten Hardwaregrenzen belegt eine allgemeingültige Geschwindigkeit oder Ergebnisqualität.

Datenschutz und Compliance hängen von der gesamten App ab

Lokale Verarbeitung kann eine Cloud-Übertragung aus einem Arbeitsablauf entfernen. Sie bescheinigt ihm aber keine Compliance. Zunächst muss geklärt werden, welche Daten die gewählte Funktion überträgt, speichert und zugänglich macht. Anschließend sollten die zuständigen Sicherheits- und Compliance-Verantwortlichen diese Konfiguration bewerten.

Die Aussagen der Hersteller gelten jeweils innerhalb bestimmter Grenzen:

• Apple: Das lokale Modell kann ohne Verbindung arbeiten. Foundation Models unterstützt aber auch Cloud-Anbieter und Tools, die Online-Daten abrufen. Deshalb müssen das von der App gewählte Modell und die verwendeten Tools dokumentiert werden. Apples Modellunterstützung
• Google auf Android: Laut ML Kit werden Eingabedaten und Ausgaben nicht an Google gesendet. Leistungs- und Nutzungsmetriken werden jedoch übertragen, und für Updates werden Server kontaktiert. Lokale Inhaltsverarbeitung bedeutet also nicht, dass es keinen Netzwerkverkehr gibt. Datenschutzbestimmungen von ML Kit
• Google in Chrome: Laut Google sendet die Nutzung des lokalen Modells keine Daten an Google oder Dritte; eine Netzwerkverbindung wird für den ersten Modelldownload benötigt. Diese Aussage hindert die Website, die die API verwendet, jedoch nicht daran, über eigenen Code Daten zu übertragen. Chromes Modellanforderungen
• Microsoft: Live Captions verarbeitet lokal, andere Funktionen haben andere Grenzen. Paint Cocreator erzeugt Bilder auf der NPU und nutzt zugleich Sicherheitsdienste in der Cloud. Microsoft gibt an, Prompts und Kennungen zur Missbrauchsprävention zu erfassen. Ein lokal erzeugtes Ergebnis belegt daher keine vollständig lokale Funktion. Datenschutzhinweise zu Cocreator
• Desktop-Anwendungen für Modelle: Ollamas Datenschutzaussage zum lokalen Betrieb gilt, wenn die Modelle tatsächlich lokal laufen. LM Studios aktuelle Richtlinie unterscheidet zwischen lokaler Verarbeitung und optionalen Cloud-Diensten. Auch wenn ein Cloud-Anbieter zusagt, eine Anfrage nicht zu speichern, hat sie das Gerät trotzdem verlassen. Ollama, LM Studio

Bevor Beschäftigte sensible Inhalte verwenden, sollten Ablageort der Quelldaten, gewähltes Modell, ausgehende Anfragen, lokaler Verlauf, Backups und Löschverhalten dokumentiert werden. Erweiterungen und angebundene Tools gehören ebenfalls in diese Prüfung. Geräteverschlüsselung und Zugriffskontrollen sind wichtig, denn lokal gespeicherte Inhalte bedeuten auch Kopien auf den Geräten der Beschäftigten.

Welche Versprechen gehen zu weit?

Die Behauptung, ein Laptop könne einen KI-Cloud-Dienst ersetzen, verwechselt eine Berechnung mit einem Betriebsmodell. Die Inferenz lässt sich möglicherweise verlagern. Modellupdates, Support, Berechtigungen, Qualitätsprüfung und ein Umgang mit fehlgeschlagenen Aufgaben werden trotzdem gebraucht.

Eine NPU hilft bei kompatiblen Aufgaben. Sie garantiert keine allgemeine Modellkompatibilität. Eine Offline-Antwort spart während der Inferenz den Hin- und Rückweg über das Netzwerk. Damit ist aber noch nicht belegt, dass die Antwort schneller vorliegt. Und auch ein lokal installiertes Modell kann Einzelheiten erfinden oder ungeeignete Ergebnisse liefern.

Die gegenteilige Behauptung hilft ebenso wenig: Lokale Modelle müssen nicht das leistungsfähigste Cloud-Modell ersetzen, um nützlich zu sein. Eine verlässliche Textüberarbeitung oder kurze Zusammenfassung kann den Einsatz bereits rechtfertigen. Entscheidend ist, ob genau diese Funktion auf den vorhandenen Geräten die festgelegten Abnahmekriterien erfüllt.

Für wen lohnt sich lokale KI schon jetzt?

Verantwortliche im Betrieb sollten jetzt klar begrenzte, überprüfbare Aufgaben erproben. Hardwarekäufer sollten warten, bis ein konkreter Bedarf belegt ist. Je nach Rolle ergeben sich unterschiedliche nächste Schritte.

Für Verantwortliche im Betrieb bietet sich eine wiederkehrende Aufgabe an, etwa das Kürzen interner Übergabenotizen. Geeignet sind Eingaben mit bekanntem Soll-Ergebnis. Die Ausgabe sollte ein Mensch freigeben, und die Originalquelle muss zum Vergleich verfügbar bleiben.

Für Entwickler oder Produktverantwortliche ist die Plattform-API sinnvoll, wenn sie zur eingesetzten Geräteflotte und zur geplanten Funktion passt. Modellverfügbarkeit, Eingabegrenzen und ein manueller Ausweichweg gehören fest ins Produkt. In einer gemischten Smartphone-Flotte muss die Anwendung auch für Menschen nutzbar bleiben, deren Geräte die KI-Funktion nicht ausführen können.

Für Einkauf oder CTO steht zunächst die Bestandsaufnahme der vorhandenen Rechner an. Der Bedarf an einer bestimmten Windows-NPU-Funktion muss getrennt vom Bedarf an einer Desktop-Anwendung für lokale Modelle bewertet werden. Hardwareausgaben sollten erst freigegeben werden, wenn der gewählte Arbeitsablauf auf repräsentativen Geräten ein nützliches Ergebnis liefert.

Abwarten ist sinnvoll, wenn unbeaufsichtigte Massenverarbeitung über eine API geplant ist, die Inferenz im Hintergrund verbietet, oder wenn das lokale Modell die erforderliche Qualität verfehlt. Die bestehende Lösung beibehalten, wenn ein freigegebener Cloud-Arbeitsablauf den Bedarf bereits deckt und lokaler Betrieb keinen nennenswerten Vorteil bei Datenschutz, Verbindungsabhängigkeit oder Betrieb bringt.

Der nächste Schritt: Einen Arbeitsablauf erproben

1. 1

   Aufgabe und zulässigen Datenfluss festlegen

   Eine konkrete Eingabe und Ausgabe auswählen, etwa eine Übergabenotiz, aus der ein kürzerer Entwurf entsteht. Bevor ein Ausweichweg eingerichtet wird, muss feststehen, ob Inhalte davon das Gerät verlassen dürfen.

2. 2

   Vorhandene Geräte und Modellverfügbarkeit prüfen

   Betriebssystem, Chip, Arbeitsspeicher und freien Speicherplatz der betreffenden Geräte erfassen. Das benötigte Modell herunterladen, seine Verfügbarkeit bestätigen und für nicht unterstützte Rechner einen manuellen Weg offenhalten.

3. 3

   Ergebnis und Netzwerkverhalten getrennt bewerten

   Freigegebenes Beispielmaterial verwenden. Das Ergebnis mit der Quelle vergleichen, ausgehenden Datenverkehr prüfen und den vorbereiteten Arbeitsablauf offline wiederholen. Wenn er offline funktioniert, ist das ein nützlicher Beleg für diesen Verarbeitungsweg. Es beweist aber nicht, dass die App mit bestehender Verbindung niemals Daten hochlädt.

4. 4

   Über die Ausweitung entscheiden

   Neben der Bearbeitungsdauer auch Fehler, Korrekturaufwand und Supportbedarf festhalten. Den Einsatz nur ausweiten, wenn die Aufgabe einen Nutzen bringt und der Umgang mit den Daten den festgelegten Grenzen entspricht. Cloud-Zugriff muss überall ausdrücklich erkennbar bleiben, wo er erlaubt ist.

Weitere praktische Entscheidungshilfen zum KI-Einsatz gibt es im Newsletter.