AI Gateway im Vergleich: Inferenzkosten 2026 senken

Vercel AI Gateway ist derzeit das beste verwaltete Gateway, um Inferenzkosten zu senken: Eine monatliche GPT-5.6-Sol-Last mit 100 Millionen Input-Token und 20 Millionen Output-Token fällt von $800 zum aktuellen Direktpreis von OpenAI auf $400 im derzeitigen Default-Tarif von Vercel. Diese Ersparnis von $400 ist ein zeitlich begrenztes Kaufargument, kein Versprechen für das ganze Jahr, denn der Rabatt von Vercel in Höhe von 50% endet am 18. September 2026.

Die dauerhaft relevante Erkenntnis reicht über diese eine Aktion hinaus. Ein KI-Modell-Gateway senkt die Rechnung nur dann, wenn Routing, Antwort-Caching oder verbindliche Budgets mehr Anbieterkosten einsparen, als das Gateway an Gebühren und Betriebsaufwand verursacht. Vercel ist die Standardwahl ohne eigenen Betriebsaufwand, LiteLLM die Self-Hosting-Option, Cloudflare die Lösung für exakt identische Wiederholungen, TrueFoundry die verwaltete Wahl für semantisches Caching, Portkey die Governance-Option für $49 und OpenRouter der Anbieter-Marktplatz.

AI Gateway im Vergleich: die besten Lösungen auf einen Blick

Alle folgenden Tarifnamen, öffentlichen Preise und Limits wurden am 24. August 2026 auf den live verfügbaren Anbieterseiten geprüft. „Kostenloser Test“ unterscheidet ein dauerhaft kostenloses Angebot von einer befristeten Testphase. Das ist wichtig, weil aus einem kostenlosen Prototyp eine teure Produktionsabhängigkeit werden kann, wenn die tatsächliche Grenze des Tarifs verborgen bleibt.

Der Einstiegspreis allein zeigt noch keinen Sieger. Die LiteLLM-Lizenz kann kostenlos sein, während die Control Plane erhebliche Entwicklungszeit bindet. Der Kern von Cloudflare kann gratis sein, obwohl Unified Billing 5% aufschlägt. TrueFoundry kann durch semantische Wiederverwendung komplette Modellaufrufe vermeiden, doch der erste Produktionstarif kostet $499 im Monat. Entscheidend ist daher, welcher Betrag nach der Arbeit des Gateways auf der Gesamtrechnung übrig bleibt.

Inferenzkosten senken: die Rechnung vor dem Ranking

Die belastbare Budgetformel lautet verbleibende Anbieterkosten + Gateway-Gebühren + kostenpflichtige Kontrollen + Betriebskosten. Ein Gateway lohnt sich erst, wenn diese Summe bei derselben Zahl akzeptierter Ergebnisse unter den Kosten des direkten Zugriffs liegt. Eine große Modellauswahl, ein ansprechendes Dashboard und umfangreiche Failover-Optionen sind Vorteile. Zur Einsparung werden sie aber erst, wenn sie Ausgaben oder kostspielige Fehler aus dem Workflow entfernen.

Eine normierte Rechnung macht den Unterschied sichtbar. OpenAI führt GPT-5.6 Sol derzeit mit $4 je Million Input-Token und $20 je Million Output-Token. Ein Workflow mit 100 Millionen Input-Token und 20 Millionen Output-Token kostet damit vor Rabatten für gecachte Eingaben, Tools oder Long-Context-Multiplikatoren $800: $400 für den Input und $400 für den Output.

Vercels Preisupdate vom August listet dasselbe Modell im rabattierten Default-Service-Tarif bis zum 18. September mit $2 für Input und $10 für Output. Der normierte Monat kostet dadurch $400, also 50% weniger. Flex liegt derzeit bei $1 für Input und $5 für Output, Priority bei $4 für Input und $20 für Output – jeweils pro Million Token für Anfragen mit höchstens 272,000 Token.

Der Modellpreis ist nur der erste Hebel. Ein Treffer im Cache für exakt gleiche Antworten kann den Anbieteraufruf vollständig vermeiden. Das Routing zu einem günstigeren Modell senkt den Stückpreis, sofern die Ausgaben weiterhin die Akzeptanzschwelle erfüllen. Eine Budgetobergrenze kann einen außer Kontrolle geratenen Agenten stoppen. Das ist zwar kein Token-Rabatt, kann aber die größte Ersparnis des Monats sein. Die passende Betriebskennzahl lautet deshalb Kosten pro akzeptiertem Ergebnis, einschließlich Wiederholungsversuchen und Prüfung – nicht isoliert betrachtet Kosten pro Token.

Eine Vorauswahl der zugrunde liegenden Anbieterpreise bietet der Vergleich der günstigsten KI-APIs. Dieses Ranking setzt eine Ebene darüber an und prüft, ob ein Gateway diese Anbieterpreise in der Praxis weiter senken kann.

1. Vercel AI Gateway: insgesamt die beste verwaltete Kostensenkung

Vercel AI Gateway ist insgesamt die beste Wahl für Teams, die ein verwaltetes Gateway ohne Token-Aufschlag suchen und ihre Kosten sofort real senken möchten.

Das stärkste Argument ist ungewöhnlich konkret. Laut aktueller Preisseite verwenden sowohl Free als auch Paid die Listenpreise der Anbieter ohne Aufschlag. Die aktuelle Aktion für GPT-5.6 Sol reduziert den Modellpreis im Default-Tarif zusätzlich um 50%. Wer als Gründer mit Finanzierung einen stark genutzten Extraktions- oder Support-Workflow umzieht, kann die normierte Modellrechnung von $800 auf $400 halbieren, ohne einen selbst gehosteten Proxy betreiben zu müssen.

Der Tarif Free enthält monatlich $5 Guthaben, deckt eine geeignete Teilmenge der Modelle ab, setzt niedrigere modellspezifische Ratenlimits und erlaubt keine eigenen Anbieterschlüssel. Paid arbeitet mit gekauftem Guthaben, schaltet alle verfügbaren Modelle frei, erhöht die Limits und ermöglicht BYOK ohne Gateway-Gebühr oder Vertragsbindung bei Vercel. Mit dem Kauf von Guthaben wechselt das Team zu Paid; das monatliche Free-Guthaben von $5 entfällt dann.

Bei BYOK gibt es eine Besonderheit in der Abrechnung, die ins Betriebshandbuch gehört. Scheitert eine Anfrage mit den Zugangsdaten des Kunden, kann Vercel sie aus Gründen der Zuverlässigkeit mit eigenen Systemzugangsdaten wiederholen. Dieser Fallback wird vom Gateway-Guthaben des Teams abgezogen. Wer erwartet, dass jede Anfrage über ein ausgehandeltes Anbieterkonto läuft, sollte diesen Saldo überwachen und den Fallback-Traffic abgleichen. BYOK garantiert nicht, dass das Vercel-Guthaben unangetastet bleibt.

Die Aussage „ohne Aufschlag“ schließt kostenpflichtige Kontrollen ebenfalls nicht ein. Custom Reporting kostet $0.075 je 1,000 Schreibvorgänge für Tags, Benutzer-IDs oder Kontingentobjekte sowie $5 je 1,000 Reporting-Abfragen. Eine teamweite Positivliste für Anbieter kostet in Pro und Enterprise $0.10 je 1,000 erfolgreiche Anfragen; ein Anbieterfilter pro Anfrage verursacht dagegen keine Zusatzkosten. Die teamweite Durchsetzung von Zero Data Retention kostet weitere $0.10 je 1,000 Anfragen, während ZDR pro Anfrage in Pro und Enterprise kostenlos ist.

Trace Drains kosten zusätzlich $0.05 je 1,000 Traces plus $0.50 pro GB ausgehendem Datenverkehr; ein Pro-Freikontingent gibt es nicht. Bei einer Million erfolgreicher Anfragen schlägt eine teamweite Positivliste mit $100 zu Buche, teamweites ZDR mit weiteren $100 und eine Million Traces mit $50 vor dem Datentransfer. Das Gateway kann trotzdem die günstigste Lösung sein. Verglichen werden sollte jedoch die konfigurierte Rechnung, nicht nur die Überschrift zum fehlenden Token-Aufschlag.

Die ehrliche Grenze ist die Zeit. Der Sol-Rabatt bietet ein hervorragendes Migrationsfenster, taugt aber nicht als dauerhafte Architekturthese. Auch nach der Aktion bleibt Vercel attraktiv, wenn Routing ohne Aufschlag, Budgets, Failover und Beobachtbarkeit Arbeit ersetzen, die das Team sonst selbst übernehmen müsste. Nutzt das Produkt hingegen ein einziges stabiles Anbietermodell und benötigt keine dieser Kontrollen, kann die Direktabrechnung nach Ablauf des Rabatts wieder vorn liegen.

Am besten geeignet für: Kleine und mittelständische Teams, die verwaltetes Routing, Ausgabenkontrollen und keinen öffentlichen Token-Aufschlag wünschen.
Besonderheit: Der aktuelle Default-Preis für GPT-5.6 Sol macht bis zum 18. September aus dem normierten Direktmonat für $800 einen Monat für $400.
Preise: Free enthält $5/Monat für geeignete Modelle; Paid verwendet gekauftes Guthaben zu den Anbieterlistenpreisen ohne Aufschlag; optionale Reporting-, Richtlinien- und Trace-Zähler werden separat berechnet.
Kostenloser Test: Ein dauerhafter Free-Tarif, keine befristete Testphase.

Der sicherste Einführungsweg hält den Vergleich umkehrbar:

1. 1

   Einen akzeptierten Workflow isolieren

   Geeignet ist eine Aufgabe mit einem zählbaren Erfolgskriterium, etwa eine valide strukturierte Extraktion oder eine freigegebene Support-Antwort. Ein eigener Gateway-Schlüssel verhindert, dass Ausgaben und Fehler dieses Workflows im restlichen Produkt untergehen.

2. 2

   Direkte Ausgangsbasis festschreiben

   Für eine repräsentative Woche werden Input-Token, Output-Token, Wiederholungsversuche, Latenz und akzeptierte Ergebnisse auf der direkten Anbieterroute erfasst. Die aktuelle Ersparnis beim Stückpreis zählt nur, wenn die Akzeptanzquote nicht sinkt.

3. 3

   Begrenzte 10% routen

   10% dieses Workflows laufen mit demselben Modell und Service-Tarif über Vercel. Das Budget auf Schlüsselebene sollte zur Stichprobe passen, damit ein Konfigurationsfehler aus dem Vergleich keine offene Rechnung macht.

4. 4

   Alle vier Kostenblöcke abgleichen

   Modellnutzung, kostenpflichtige Reporting- oder Richtlinienkontrollen, Traces sowie Prüf- und Wiederholungskosten werden addiert. Außerdem ist zu prüfen, ob eine fehlgeschlagene BYOK-Anfrage Systemguthaben verbraucht hat.

5. 5

   Im September entscheiden

   Die Route bleibt nur bestehen, wenn die Kosten pro akzeptiertem Ergebnis unter dem direkten Zugriff liegen und die verwalteten Kontrollen ihren Preis nach der Aktion rechtfertigen. Der 18. September gehört in den Budgetkalender; vor diesem Termin wird neu kalkuliert.

2. LiteLLM: bestes Self-Hosting-Gateway bei vorhandenem Plattformteam

LiteLLM ist das beste selbst gehostete Gateway für Unternehmen, die bereits gemeinsame Infrastruktur betreiben und die Gateway-Lizenzkosten bei $0 halten möchten.

Der Open-Source-Tarif ist dauerhaft kostenlos und wird selbst gehostet. Über eine einzige OpenAI-kompatible API bindet er 100+ Anbieter an und umfasst virtuelle Schlüssel, Benutzer und Teams, Ausgabenerfassung, Budgets, Ratenlimits, Fallbacks, Protokollierung und Prometheus. Für die technische Leitung eines mittelständischen Unternehmens, dessen Plattformteam bereits Container, Metriken, Geheimnisse und Bereitschaftsdienste betreibt, kann das die Anbieterlogik bündeln, ohne monatliche Gateway-Lizenzkosten hinzuzufügen.

Das Wort kostenlos endet an der Lizenzgrenze. Rechenleistung, gegebenenfalls ein Datenspeicher, Bereitstellungspipelines, Aktualisierungen, Sicherheitsprüfungen, Beobachtbarkeit und die Person für Gateway-Ausfälle bleiben beim Unternehmen. LiteLLM gewinnt den Kostenvergleich nur, wenn das Plattformteam diese Aufgaben bereits mit geringem Zusatzaufwand übernehmen kann oder Self-Hosting zwingend erforderlich ist.

Der Tarif Enterprise ist ein individueller Jahresvertrag, dessen Umfang sich nach der jährlichen Anfragekapazität des Gateways, der Bereitstellungsarchitektur und dem Supportbedarf richtet – niemals nach dem Token-Volumen. Hinzu kommen SSO und SCIM, OIDC- oder JWT-Kontrollen, Audit-Protokolle, die Einbindung von Secret Managern samt Schlüsselrotation, Organisationsverwaltung, Multi-Region-Optionen, formeller Support und Air-Gapped-Bereitstellung. Die öffentliche Seite bietet einen 30-tägigen Enterprise-Test ohne Kreditkarte, nennt aber keinen Preis.

Diese Abrechnungsgrundlage verändert den Break-even. Ein Team mit sehr hohen Token-Ausgaben, aber moderater Anfragekapazität kann eine prozentuale Abgabe auf teure Modelle vermeiden. Ein Team mit geringen Modellausgaben und ohne Plattformfunktion kann dagegen mehr Mitarbeiterzeit aufwenden, als ein verwaltetes Gateway kosten würde. Die Entscheidung hängt nicht allein vom Anfragevolumen ab. Ausschlaggebend ist, ob die zusätzlichen monatlichen Betriebskosten von LiteLLM unter den Gebühren und dem Betriebsaufwand der gehosteten Alternative liegen, die es ersetzt.

LiteLLM eignet sich außerdem für regulierte Unternehmen, die die Datenebene in der eigenen Umgebung halten müssen. Diese Kontrolle kann die Entscheidung selbst dann rechtfertigen, wenn die reine Modellrechnung nicht sinkt. Die Kostenreduktion entsteht dann nachgelagert durch Anbieter-Routing, Budgets und zentrale Kontrollen; sie ist kein Beleg dafür, dass Self-Hosting grundsätzlich günstig wäre.

Am besten geeignet für: Teams mit vorhandener Plattformfunktion, Self-Hosting-Anforderungen oder genügend Skalierung, um prozentuale Gateway-Gebühren abzulehnen.
Besonderheit: Eine Open-Source-Lizenz für $0 mit Budgets, virtuellen Schlüsseln, Fallbacks, Protokollen und 100+ Anbietern.
Preise: Open Source ist dauerhaft $0; Enterprise erhält einen individuellen Jahrespreis auf Basis von Anfragekapazität, Architektur und Support.
Kostenloser Test: 30 Tage Enterprise ohne Kreditkarte; Open Source bleibt im Self-Hosting dauerhaft kostenlos.

3. Cloudflare AI Gateway: ideal für bytegenau identischen Wiederholungsverkehr

Cloudflare AI Gateway senkt Kosten am besten, wenn ein relevanter Teil der Anfragen sicher wiederverwendbare, bytegenau identische Wiederholungen sind und das Team BYOK einsetzen kann.

Cloudflare macht die Kosten seines Kerns ungewöhnlich leicht nachvollziehbar. Dashboard-Analysen, Caching und Ratenbegrenzung sind kostenlos – und zwar in allen Tarifen. Workers Free speichert insgesamt 100,000 Protokolle über alle Gateways hinweg und erlaubt 10 Gateways pro Konto. Workers Paid speichert 10 Millionen Protokolle je Gateway und erlaubt 20 Gateways. Logpush steht nur in Paid zur Verfügung; enthalten sind 10 Millionen Anfragen im Monat, jede weitere Million kostet $0.05.

Der eigentliche Sparmechanismus ist das Caching, und seine Grenze ist klar definiert. Cloudflares standardmäßiger Cache-Schlüssel umfasst Anbieter, Endpunkt, Modell, Authentifizierungsheader des Anbieters und den vollständigen Anfragekörper. Jede Abweichung bei Nachrichten, Tools oder Modellparametern erzeugt einen neuen Eintrag. Ein Cache-Treffer überspringt den Anbieteraufruf. Zwei inhaltlich gleiche, aber unterschiedlich formulierte Prompts stimmen jedoch nicht überein, sofern das Team nicht bewusst einen eigenen Cache-Schlüssel entwickelt und dessen Sicherheit belegen kann.

Die minimale Cache-Laufzeit beträgt 60 Sekunden, die maximale einen Monat; eine cachefähige Anfrage darf höchstens 25 MB groß sein. Gut passt das zu wiederholten Klassifizierungsaufgaben, gemeinsam genutzten statischen Erklärungen oder deterministischen Batch-Prompts. Für personalisierten Support, veränderliche Quelldaten oder stochastische kreative Ausgaben ist es kein sinnvoller Standard: Eine günstige, aber veraltete Antwort kann dort mehr Schaden anrichten als ein frischer Modellaufruf.

Der Abrechnungsweg ist ebenso wichtig wie die Trefferquote. Mit BYOK bleibt der Gateway-Kern kostenlos, während die Anbieter direkt bezahlt werden. Unified Billing reicht die Inferenzpreise der Anbieter durch, schlägt jedoch 5% auf gekauftes Guthaben auf. Guthaben im Wert von $100 kostet damit $105. Zudem gilt ein Limit von 200 Anfragen je 60 Sekunden und Gateway; laut Cloudflare betrifft dieses Ratenlimit BYOK nicht.

Auf die normierte Rechnung von $800 lässt sich eine ausdrückliche Annahme von 25% exakt identischen Wiederholungen anwenden. Haben diese Anfragen denselben Token-Mix und können sicher wiederverwendet werden, verbleiben mit BYOK-Caching $600 Anbieterkosten – eine Ersparnis von $200. Unified Billing addiert 5% auf die verbleibenden $600, sodass sich $630 und eine Nettoersparnis von $170 ergeben. Bei einer niedrigeren Trefferquote kann der Vorteil verschwinden; eine höhere sichere Trefferquote macht Cloudflare dagegen schwer zu schlagen.

DLP-Scans sind in allen Tarifen kostenlos. Konten ohne Zero-Trust-Abonnement erhalten zwei vordefinierte Profile. Guardrails sind nicht kostenlos: Die Auswertung verwendet ein Workers-AI-Modell und wird zu den Token-Preisen von Workers AI berechnet. Auch hier zeigt sich die richtige Kostengrenze: Der Cache kann kostenlos sein, während die Sicherheitsschicht eigene Inferenzkosten verursacht.

Am besten geeignet für: Cloudflare-Nutzer mit deterministischen, wiederkehrenden Anfragen und einem Team, das die Cache-Sicherheit messen will.
Besonderheit: Kostenloses Caching exakt gleicher Antworten, das bei einem Treffer den Anbieteraufruf vollständig vermeiden kann.
Preise: Kernfunktionen für Analyse, Caching und Ratenbegrenzung sind kostenlos; Unified Billing addiert 5%; Protokollierung, Logpush und Guardrails haben eigene Limits oder Zähler.
Kostenloser Test: Dauerhaft kostenlose Kernfunktionen und Protokollspeicher in Workers Free, keine befristete Testphase.

4. TrueFoundry AI Gateway: bestes verwaltetes semantisches Caching

TrueFoundry AI Gateway ist die beste verwaltete Wahl, wenn unterschiedlich formulierte Anfragen häufig dieselbe Frage stellen und die Antwort sicher wiederverwendet werden kann.

Der Unterschied liegt im semantischen Caching. Laut Cache-Dokumentation von TrueFoundry bildet der exakte Modus einen Hash der vollständigen Anfrage. Der semantische Modus bettet dagegen die letzte Nachricht ein und vergleicht ihre Bedeutung mit früheren Anfragen. Alle anderen Anfrageparameter müssen weiterhin übereinstimmen. Ein Treffer im Cache für vollständige Antworten vermeidet den LLM-Aufruf und verursacht keine LLM-Kosten. Ein Supportteam, das viele Varianten von „Wie setze ich mein Passwort zurück?“ beantwortet, kann daher eine freigegebene Antwort wiederverwenden, statt für jede Formulierung neu zu bezahlen.

Der Cache wird automatisch nach Benutzer oder virtuellem Konto isoliert; optionale Namensräume können Mandanten oder Umgebungen voneinander trennen. Das ist entscheidend, denn eine hohe Trefferquote ist wertlos, wenn die gecachte Antwort eines Kunden bei einem anderen landet. Für einen selbst gehosteten semantischen Cache sind Redis und ein Embedding-Modell nötig. Im SaaS-Angebot wird diese Infrastruktur verwaltet.

Die öffentliche Preisseite umfasst vier Tarife. Developer kostet $0 pro Monat für 50,000 Anfragen und 3 Benutzer. Pro kostet $499 pro Monat für 1 Million Anfragen und 10 Benutzer. Weitere 2 Millionen Anfragen plus 5 API-Schlüssel kosten zusätzlich $499 pro Monat. Pro Plus kostet $2,999 pro Monat für 1 Million Anfragen und 25 Benutzer; zusätzliche Nutzung wird individuell angeboten. Enterprise wird passend zur Anfrage- und Benutzerkapazität individuell kalkuliert und unterstützt VPC- sowie Air-Gapped-Bereitstellungen.

Die Seite wirbt mit einem 7-tägigen kostenlosen Test. Die Gateway-Seite bietet zugleich jeden Monat die ersten 50,000 Anfragen ohne Kreditkarte kostenlos für 1,600+ Modelle an. Das reicht, um vor dem Wechsel zu Pro eine realistische Cache-Trefferquote zu messen. Aus einem synthetischen FAQ-Satz lässt sich damit jedoch noch keine Produktionseinsparung ableiten.

Bei moderaten Ausgaben liegt die Hürde für die reine Modellrechnung hoch. Gegenüber der normierten Anbieterrechnung von $800 muss der Pro-Tarif für $499 mindestens $499 Modellkosten vermeiden – rund 62.4% –, bevor er allein bei den Inferenzkosten gewinnt. Governance, Isolation, Beobachtbarkeit und Mitarbeiterzeit können Pro schon bei einer niedrigeren Trefferquote rechtfertigen. Das sind jedoch eigenständige Vorteile und sollten auch so benannt werden.

Die eigentliche Grenze sind falsche Wiederverwendungen. Ist der semantische Schwellenwert zu großzügig, kann eine frühere Antwort zurückgegeben werden, die zwar passend klingt, aber gegen den Kontext oder die Richtlinien des aktuellen Nutzers verstößt. Ein sicherer Test bewertet gecachte und frische Antworten mit demselben Akzeptanzsatz, segmentiert nach Mandant und schließt Fragen mit aktuellen Konto-, Rechts-, Medizin- oder veränderlichen Bestandsinformationen vom Caching aus.

Am besten geeignet für: Support-, Wissens- und FAQ-Workloads mit wiederkehrender Absicht, aber unterschiedlicher Formulierung.
Besonderheit: Verwaltetes semantisches Caching vollständiger Antworten mit automatischer Kontotrennung und optionalen Namensräumen.
Preise: Developer $0; Pro $499/Monat; Pro Plus $2,999/Monat; Enterprise individuell, jeweils mit den oben veröffentlichten Anfrage- und Benutzerlimits.
Kostenloser Test: Ein 7-tägiger Test plus ein dauerhafter Developer-Tarif mit 50,000 Anfragen/Monat.

5. Portkey: bester verwalteter Governance-Einstieg für $49

Portkey ist die beste verwaltete Einstiegsoption für Teams, die über einen Prototyp hinausgewachsen sind, aber ein Produktions-Gateway für $499 nicht rechtfertigen können.

Die Tarifstaffel beginnt mit Open Source. Dieses Angebot wird ohne Anfragelimit selbst gehostet und enthält eine universelle API, Wiederholungsversuche und Timeouts, Routing, Guardrails, automatische Fallbacks, ein einfaches Dashboard, Lastverteilung und Community-Support. Einen Lizenzpreis nennt die Seite für diese Route nicht. Sie sollte daher wie LiteLLM bewertet werden: Die Kontrolle ist hoch, Infrastruktur und Betriebskosten bleiben aber beim Käufer.

Der gehostete Tarif Developer ist dauerhaft kostenlos, erlaubt 10,000 Anfragen im Monat, bietet keine kostenpflichtige Mehrnutzung und ist ausdrücklich für Prototypen sowie Machbarkeitsnachweise in Unternehmen statt für den Produktionsbetrieb gedacht. Production kostet $49 im Monat, enthält 100,000 Anfragen und berechnet für jeweils weitere 100,000 Anfragen bis zu 3 Millionen zusätzlich $9 im Monat. Enthalten sind einfaches und semantisches Caching, rollenbasierter Zugriff, Schlüssel für Dienstkonten und Produktionssupport.

Bei einer Million Anfragen im Monat kostet Production vor der Modellnutzung $130: $49 für die enthaltenen 100,000 plus neun Blöcke zu je $9 für die verbleibenden 900,000. Das ist der aussagekräftige Vergleichswert. Portkey muss durch Caching, Routing, Budgetdurchsetzung oder eingesparten Betriebsaufwand mehr als $130 zurückholen, um bei der normierten Last ein Gateway ohne Gebühren zu schlagen.

Enterprise verwendet individuelle Preise und Anfragekapazitäten. Hinzu kommen SSO, detaillierte Budgets und Ratenlimits, Private-Cloud- oder VPC-Optionen sowie erweiterte Compliance-Kontrollen. Ein reguliertes Unternehmen kann diesen Tarif wegen der Governance wählen, selbst wenn die Anbieterrechnung unverändert bleibt.

Eine Besonderheit bei der Benennung gehört in die Beschaffungsunterlagen. Die aktuelle Preisseite nennt den Tarif für $49 Production, während die derzeitige Dokumentation denselben Tarif für $49 als Pro bezeichnet. Auf der Preisseite steht außerdem, Portkey heiße nun Prisma AIRS AI Gateway. Diese Namen sollten im Bestellformular geklärt werden, bevor das Team Tarifprüfungen automatisiert oder Verlängerungsregeln daran knüpft.

Bei der Tiefe des semantischen Cachings liegt Portkey hinter TrueFoundry, weil sich der Sparmechanismus anhand der öffentlichen Materialien weniger gut prüfen lässt. Vor OpenRouter liegt es für Teams, die eine berechenbare gehostete Grundgebühr einem Prozentsatz auf jeden Kauf gemeinsamen Guthabens vorziehen. Der Einstieg für $49 macht einen kontrollierten Produktionstest finanziell nachvollziehbar.

Am besten geeignet für: Ein wachsendes KI-Produkt, das gehostetes Caching, Rollen, Schlüssel, Routing und Support mit einem dreistelligen monatlichen Budget für die Control Plane benötigt.
Besonderheit: Production startet bei $49 und erreicht eine Million monatliche Anfragen für $130 vor der Modellnutzung.
Preise: Open Source selbst gehostet; Developer dauerhaft kostenlos; Production $49/Monat plus $9 je weitere 100,000 Anfragen; Enterprise individuell.
Kostenloser Test: Der dauerhafte Developer-Tarif bietet 10,000 Anfragen/Monat, ist aber nicht für den Produktionsbetrieb geeignet.

6. OpenRouter: bester Marktplatz für preisbasiertes Anbieter-Routing

OpenRouter ist das beste Gateway, wenn zwischen vielen Anbietern und Modellen nach Preis gewählt werden soll – nicht, wenn lediglich die Gateway-Kosten einer unveränderten Route minimiert werden sollen.

Der Free-Tarif bietet 25+ kostenlose Modelle über 4 kostenlose Anbieter, 50 Anfragen pro Tag und Community-Support. Pay-as-you-go schaltet ohne Mindestumsatz 500+ Modelle und 80+ Anbieter frei, auf gemeinsam genutztes Guthaben fällt jedoch eine Plattformgebühr von 5.5% an. Für den Guthabenkauf gilt eine Mindestgebühr von $0.80, die Finanzierung mit Kryptowährungen kostet 5%.

Enterprise behält den Katalog mit 500+ Modellen und 80+ Anbietern bei und ergänzt Rechnungsstellung, verwaltete Kontrollen, optionale dedizierte Limits, eine vertragliche SLA sowie einen gemeinsamen Slack-Supportkanal. Der Preis basiert auf individuellen Abnahmezusagen und kann Gebührenrabatte enthalten. Es handelt sich um einen Beschaffungstarif, nicht um ein öffentlich bepreistes Abonnement pro Arbeitsplatz.

BYOK verändert die Entscheidung. Pay-as-you-go enthält monatlich BYOK-Inferenz zum Listenpreis im Wert von $25,000 ohne OpenRouter-Gebühr; oberhalb davon werden 5% berechnet. Enterprise erhöht das gebührenfreie Kontingent auf $200,000 im Monat, danach gelten ebenfalls 5%. Ein Unternehmen mit direkten Anbieterkonten kann die Kontrollebene von OpenRouter somit innerhalb des Kontingents nutzen, ohne den Prozentsatz für gemeinsames Guthaben zu zahlen.

Die Kostenfunktion ist die Anbieterauswahl. OpenRouter kann geeignete Anbieter nach Preis sortieren, einen Höchstpreis durchsetzen und bei Ausfall auf eine andere Route wechseln. Der noch in der Betaphase befindliche Antwort-Cache liefert exakt übereinstimmende Anfragen ohne abrechenbare Nutzung zurück und funktioniert modellübergreifend, ist jedoch kein semantischer Cache. Preisbasiertes Routing spart nur dann Geld, wenn die Anbieter für die Qualitäts-, Datenrichtlinien-, Latenz- und Verfügbarkeitsanforderungen des Workloads austauschbar sind.

Bei einer unveränderten Anbieterrechnung von $800 addiert gemeinsames Guthaben $44; insgesamt entstehen $844. OpenRouter muss daher durch einen günstigeren geeigneten Anbieter, Cache-Treffer, niedrigere Fehlerkosten oder einfacheren Betrieb mehr als $44 einsparen, um den direkten Zugriff zu schlagen. Bedient bereits ein einzelner Anbieter den Workload zuverlässig zum ausgehandelten Preis, ist der Marktplatz optionaler Mehraufwand.

Die detaillierten Mindestgebühren, BYOK-Regeln, Finanzierungsrisiken und der Routing-Vergleich stehen in der Aufschlüsselung der OpenRouter-Preise. Das praktische Urteil ist hier enger gefasst: OpenRouter spart Geld, wenn das Team den Marktplatz tatsächlich nutzt – nicht, wenn dieselbe Anfrage lediglich hinter eine weitere URL verschoben wird.

Am besten geeignet für: Teams, die tatsächlich zwischen Anbietern oder Modellfamilien wechseln und die daraus entstehende Ersparnis messen können.
Besonderheit: Preisbasiertes Routing über 500+ Modelle und 80+ Anbieter mit hohen gebührenfreien BYOK-Kontingenten.
Preise: Free $0; bei Pay-as-you-go Modellpreise plus 5.5% auf gemeinsames Guthaben; Enterprise individuell mit möglichen Gebührenrabatten.
Kostenloser Test: Ein dauerhafter Free-Tarif mit 25+ kostenlosen Modellen und 50 Anfragen/Tag.

Welches AI Gateway passt zu welchem Team?

Vercel ist die Standardwahl für Teams, die verwaltetes Routing ohne öffentlichen Token-Aufschlag suchen. Die Entscheidung fällt gegen Vercel aus, wenn der aktuelle Modellrabatt endet und die verbleibenden Kontrollen gegenüber dem direkten Zugriff nicht mehr genug sparen – oder wenn eine teamweite Richtlinien- und Trace-Konfiguration die Zusatzkosten spürbar erhöht.

LiteLLM ist richtig, wenn Self-Hosting erforderlich ist oder ein vorhandenes Plattformteam das Gateway mit geringen Zusatzkosten übernehmen kann. Die Entscheidung wechselt zu einer verwalteten Lösung, sobald LiteLLM einen neuen Betriebsverantwortlichen, einen neuen Bereitschaftsdienst oder ein Enterprise-Angebot erfordert, das über der vollständigen Rechnung der gehosteten Alternative liegt.

Cloudflare gewinnt, wenn sich Anfragekörper exakt wiederholen, die gecachte Antwort sicher wiederverwendbar ist und BYOK passt. TrueFoundry wird interessanter, wenn unterschiedliche Formulierungen dieselbe Absicht tragen und ein gemessener semantischer Cache die Qualitätsschwelle erreicht. Gegen jedes Caching fällt die Wahl aus, sobald Aktualität, Personalisierung oder Mandantenkontext eine Wiederverwendung unsicher machen.

TrueFoundry gewinnt bei verwalteter semantischer Wiederverwendung erst, wenn eine echte Auswertung genügend akzeptierte Cache-Treffer nachweist, um den Tarif zu decken. Portkey passt, wenn das Team eine günstigere gehostete Produktions-Control-Plane braucht und mit deren Anfragekosten zurechtkommt. OpenRouter gewinnt, wenn die Preissortierung der Anbieter oder die BYOK-Bündelung mehr spart als die Gebühr kostet.

Die stärkste Standardentscheidung kann weiterhin kein Gateway lauten. Ein stabiler, stark genutzter Workload bei einem Anbieter mit guten nativen Budgets, niedrigen Fehlerkosten und wenigen wiederkehrenden Inhalten bietet keine offensichtliche Gateway-Ersparnis. Eine Control Plane lohnt sich erst, wenn ein konkret benannter Vorteil bei Routing, Caching, Governance oder Betrieb ihre Gesamtkosten übersteigt.

Auswahlkriterien für LLM-Gateways

Das Ranking gewichtet die für Käufer überprüfbare Wirtschaftlichkeit: 35% entfallen auf öffentliche Gateway-Kosten und Gebührentransparenz, 30% auf einen glaubwürdigen Mechanismus zur Senkung der Modellausgaben, 20% auf die Hürden im Produktionsbetrieb und 15% auf Betriebsaufwand und Migrationsreibung.

Preisseiten, Tarifvergleiche, Funktionsdokumentation, Cache-Verhalten, Anfragelimits und die Änderung bei GPT-5.6 Sol wurden am 24. August 2026 live geprüft. Die Veröffentlichungspipeline erfasst für jedes platzierte Gateway einen echten Screenshot der Preisseite. Die Tools wurden in diesem Durchlauf nicht mit Produktionstraffic getestet. Daher werden keine Ergebnisse zu Latenz, Verfügbarkeit, Cache-Treffern oder Ausgabequalität als Testwerte dargestellt.

Sechs Gateways haben es in die endgültige Auswahl geschafft, weil jedes eine eigene, überprüfbare Kostenaufgabe erfüllt. Vercel entfernt den Aufschlag einer verwalteten Plattform und rabattiert derzeit ein wichtiges Modell. LiteLLM beseitigt durch Self-Hosting die Lizenzkosten. Cloudflare vermeidet exakt wiederholte Aufrufe. TrueFoundry zielt auf semantische Wiederholungen. Portkey bietet einen nachvollziehbaren verwalteten Einstieg. OpenRouter macht den Preiswettbewerb zwischen Anbietern zugänglich.

Eine Funktion wurde nicht allein deshalb als Ersparnis gewertet, weil ein Anbieter sie als Optimierung bezeichnet. Die Kostenrechnung verwendet eine angegebene Last, einen benannten Preis und eine ausdrückliche Cache-Annahme. Vor einem Jahresvertrag sollte jedes Unternehmen diese Werte durch den eigenen Modell-Mix, die eigene Quote akzeptierter Ausgaben und die eigenen Betriebskosten ersetzen.

Von diesen Optionen ist abzuraten

Kong AI Gateway für eine neue, strikt kostenorientierte Bereitstellung

Kong AI Gateway ist nicht die erste Wahl, wenn ausschließlich die Inferenzkosten sinken sollen. Die aktuellen Preise von Kong sehen für Konnect einen 30-tägigen Test vor. Danach sind kostenpflichtige AI-Gateway-Plug-ins ein Zusatz im Plus-Tarif; für jedes einzigartige, über KI-Plug-ins weitergeleitete Modell fallen monatlich $100 an, bei einem Limit von fünf Modellen. Fünf Modelle verursachen somit bereits vor Inferenznutzung und weiteren Plattformkosten eine monatliche Proxy-Position von $500.

Das macht Kong nicht zu einer schlechten Plattform. Ein Unternehmen, das APIs, Sicherheit und Service-Governance bereits auf Kong standardisiert, kann mit den zusätzlichen KI-Kontrollen günstiger fahren als mit einem weiteren Anbieter. Die Empfehlung ist enger: Eine umfassende API-Plattform sollte nicht allein zur Jagd nach Token-Einsparungen in einen neuen KI-Stack eingeführt werden, solange Gateways ohne Aufschlag und mit kostenlosem Kern verfügbar sind.

Ein selbst gebauter Proxy ohne Verantwortlichen

Ein schlanker interner Proxy wirkt kostenlos, bis er Wiederholungsversuche, Anbieteränderungen, Budgets, Protokolle, Geheimnisse und Störungen verantworten muss. Eigenentwicklung lohnt sich nur, wenn der Workload stabil genug für eine kleine Oberfläche ist und bereits ein klar benanntes Team den Dienst betreibt. Andernfalls versteckt der Proxy seine Kosten in Entwicklungszeit und bietet weniger Kontrollen als die verwalteten Alternativen.

Jedes Gateway für einen Ein-Anbieter-Workload ohne wiederverwendbare Antworten

Eine große Routing-Auswahl ist wertlos, wenn der Traffic nie wechselt. Exakte und semantische Caches helfen nicht, wenn jede Anfrage eine neue Antwort braucht. Reichen die nativen Budgets und Protokolle des Anbieters aus, besitzt die direkte API die wenigsten Abrechnungsebenen und die kleinste Fehlerfläche.

Ein Dauerplan auf Grundlage des September-Rabatts

Die aktuelle Sol-Aktion von Vercel ist das beste kurzfristige Angebot in diesem Ranking und zugleich besonders leicht falsch einzusetzen. Der 18. September muss als verbindlicher Termin für eine neue Kalkulation gelten. Die Architektur sollte auch zu den Listenpreisen des Anbieters funktionieren, selbst wenn die Aktion den Anstoß für den Migrationstest gibt.

Der nächste Montag: einen Workflow nach Kosten pro akzeptiertem Ergebnis bewerten

Ausgewählt wird ein Produktions-Workflow, der in der vergangenen Woche eine nennenswerte Modellrechnung erzeugt hat und sich anhand einer binären Akzeptanzregel beurteilen lässt. Zu exportieren sind Input-Token, Output-Token, Anbieterkosten, Wiederholungsversuche und akzeptierte Ergebnisse. Personenbezogene, vertrauliche und Kundendaten gehören nicht in Auswertungssätze, die für die gewählte Route nicht freigegeben sind.

10% des Traffics der folgenden Woche laufen über das Gateway, dessen Mechanismus zum Workload passt: Vercel für das verwaltete Sol-Preisfenster, Cloudflare für nachgewiesene exakte Wiederholungen, TrueFoundry für unterschiedlich formulierte, aber gleichwertige Fragen, LiteLLM für eine vorhandene Self-Hosting-Plattform, Portkey für eine günstige verwaltete Kontrollebene oder OpenRouter für echten Preiswettbewerb zwischen Anbietern.

Vor der ersten Anfrage werden für den isolierten Schlüssel ein hartes Budget und ein Abbruchkriterium festgelegt. Der Test endet, wenn die Quote akzeptierter Ergebnisse sinkt, die Cache-Sicherheit scheitert, eine Anbieterroute gegen Richtlinien verstößt oder die gesamten Gateway-Kosten die Ersparnis übersteigen. Am Ende der Woche werden Modellausgaben, Plattformgebühren, kostenpflichtige Kontrollen, Wiederholungsversuche und Prüfkosten durch die Zahl akzeptierter Ergebnisse geteilt.

Das Ergebnis am Montag ist eine Entscheidung, die Finanzen und Entwicklung gemeinsam tragen können: Gateway behalten, wechseln oder entfernen. Gewinnt Vercel, kommt eine Neukalkulation zum 18. September in den Kalender. Gewinnt ein Cache, wird er nur für die geprüften Anfrageklassen ausgerollt. Gewinnt keiner, bleibt der direkte Zugriff bestehen – ohne Kosten für optionale Komplexität.

Häufig gestellte Fragen

Was kostet Cloudflare AI Gateway?

Die zentralen Funktionen von Cloudflare AI Gateway für Analyse, Caching und Ratenbegrenzung sind in allen Tarifen kostenlos. Workers Free speichert insgesamt 100,000 Protokolle über alle Gateways hinweg, Workers Paid 10 Millionen je Gateway. Unified Billing addiert 5% auf gekauftes Guthaben, während Anbieterpreise ohne Aufschlag weitergegeben werden. Logpush und die Inferenz für Guardrails können eigene Kosten verursachen.

Welches AI Gateway ist das beste?

Vercel AI Gateway ist am 24. August 2026 insgesamt die beste verwaltete Wahl, weil es keinen öffentlichen Token-Aufschlag mit einem aktuellen Rabatt von 50% für GPT-5.6 Sol bis zum 18. September verbindet. LiteLLM eignet sich besser für Teams mit bereits betriebener Self-Hosting-Infrastruktur, Cloudflare für das Caching exakter Wiederholungen, TrueFoundry für verwaltetes semantisches Caching, Portkey für einen Produktionseinstieg bei $49 und OpenRouter für die Preissortierung von Anbietern.

Gibt es einen kostenlosen Tarif für Cloudflare AI Gateway?

Ja. Analyse, Caching und Ratenbegrenzung im Kern sind kostenlos; das Protokollkontingent von Workers Free speichert insgesamt 100,000 Einträge über alle Gateways hinweg. Das kostenlose Kontolimit beträgt 10 Gateways. Die Inferenz beim Anbieter kostet weiterhin Geld, und optionale Funktionen wie Unified Billing, Guardrails oder kostenpflichtige Protokollierung können zusätzliche Gebühren verursachen.

Die AI Tools Map für Unternehmen herunterladen

Aus dieser Gateway-Entscheidung wird ein vollständiger Einführungs-Stack mit Kostenauslöser und Qualitätsuntergrenze für jedes Tool. Jetzt anmelden und die AI Tools Map kostenlos erhalten.