AI Gateway im Vergleich: Die besten Lösungen für Multi-Model-Apps 2026

LiteLLM ist das beste AI Gateway für Multi-Model-Apps, sofern ein Plattformverantwortlicher den Betrieb übernehmen kann; Vercel AI Gateway ist die beste verwaltete Standardlösung. Die gemeldete Vereinbarung, nach der Stripe OpenRouter für mehr als $8 Milliarden übernehmen will, macht die entscheidende Anforderung deutlich: Eine Produktiv-App braucht ein Gateway, das sie ohne Neuentwicklung umgehen kann.

Axios berichtete am 17. August 2026, Stripe habe der Übernahme von OpenRouter für mehr als $8 Milliarden in bar und Aktien zugestimmt. Laut Axios hatten sich die Unternehmen dazu noch nicht geäußert; eine offizielle Ankündigung wurde weiterhin erwartet. Diese Unterscheidung ist wichtig. Die betriebliche Lehre gilt jedoch unabhängig davon, ob der Abschluss tatsächlich zustande kommt: Ein Gateway beseitigt die Bindung an Modellanbieter nur dann, wenn es nicht selbst zur nächsten Abhängigkeit wird.

Die Kurzantwort: Welches AI Gateway ist die beste Wahl?

LiteLLM bietet die meiste Kontrolle, Vercel AI Gateway die einfachste verwaltete Lösung, Portkey die stärkste Enterprise-Governance. OpenRouter empfiehlt sich nur, wenn ein besonders breiter Katalog die prozentuale Gebühr und eine zusätzliche Anbieterabhängigkeit rechtfertigt. Ein AI Gateway bildet die Anfrageschicht zwischen Anwendung und Modellanbietern. Es kann APIs vereinheitlichen, Zugangsdaten verwalten, Datenverkehr routen, fehlgeschlagene Aufrufe wiederholen, Kosten erfassen und Richtlinien durchsetzen.

Preise und Produktgrenzen wurden am 18. August 2026 auf den jeweils aktuellen Anbieterseiten überprüft. Die Rangliste umfasst 10 Produkte. Bewertet wurde vor allem, an welche produktive Grenze Käufer stoßen – nicht, wie viele Feature-Bezeichnungen auf eine Karte passen.

Die erste Entscheidung betrifft nicht die Zahl der Features, sondern die Frage: Wer besitzt und verantwortet den Anfragepfad? Bei einem selbst gehosteten Gateway verbleiben Prozess, Zugangsdaten, Datenbank, Protokolle und Richtlinien in der eigenen Umgebung. Dafür übernimmt das eigene Team den Bereitschaftsdienst. Ein verwaltetes Gateway erspart diesen Betriebsaufwand, bindet aber dessen Ausfälle, Preisänderungen, Übernahmen und Produktstrategie in jeden Modellaufruf ein.

Die Kostengrenze ist klarer, als es die Feature-Seiten vermuten lassen. Angenommen, ein selbst gehostetes Gateway beansprucht acht Plattformstunden pro Monat zu Vollkosten von $150 je Stunde. Daraus ergeben sich beispielhafte monatliche Betriebskosten von $1,200; es handelt sich nicht um ein Anbieterangebot. Eine Gateway-Gebühr von 5.5% erreicht $1,200 bei monatlichen Modellausgaben von $21,818, eine Gebühr von 5% bei $24,000.

Diese Rechnung bildet nur die Budgetseite ab. Eine feste Bereitstellungsgrenze, ein regulierter Datenpfad, ein Anbietervertrag oder ein vorgeschriebener Audit-Trail kann Self-Hosting schon deutlich vor dem finanziellen Break-even rechtfertigen. Umgekehrt sollte ein kleines Startup keine interne Plattformaufgabe schaffen, um eine Gebühr einzusparen, die weniger als einen Entwicklungstag kostet.

Warum ein LLM-Gateway zugleich Budgetposten und Exit-Plan ist

Ein Gateway ist wertvoll, weil sich Modelle schnell verändern. Gefährlich wird es, sobald die Anwendung ohne dieses Gateway nicht mehr funktioniert. Der Bericht über OpenRouter erschien weniger als drei Monate, nachdem Palo Alto Networks die Übernahme von Portkey abgeschlossen hatte und erklärte, Portkey werde zu einem zentralen Bestandteil von Prisma AIRS. Innerhalb eines Quartals können damit zwei unabhängige Kontrollebenen in größere Plattformen wechseln. Käufer sollten in dieser Kategorie mit Eigentümerwechseln rechnen, statt sie als Ausnahme zu behandeln.

Geschäftlich führt das zu einer Konzentration. Eine Multi-Model-App kann OpenAI für einen Workflow nutzen, Anthropic für einen anderen und ein offenes Modell für einen Hintergrundprozess mit hohem Volumen. Werden alle drei hinter demselben Gateway gebündelt, vereinfachen sich Code, Abrechnung, Richtlinien und Observability. Gleichzeitig kann eine einzige Preis- oder Richtlinienänderung alle drei auf einmal treffen.

Ein belastbares Muster besteht aus drei Schichten:

• Ein interner Modell-Client definiert den kleinen Satz an Operationen, den die App benötigt, etwa Textgenerierung, strukturierte Ausgabe, Embeddings und Tool-Nutzung.
• Ein Gateway-Adapter bildet diese Operationen auf das gewählte Gateway ab, ohne Gateway-spezifische Header im übrigen Code zu verteilen.
• Ein direkter Anbieteradapter bleibt konfiguriert und dokumentiert, auch wenn im normalen Produktivbetrieb kein Datenverkehr darüber läuft.

Diese Struktur ermöglicht den in diesem Leitfaden so genannten 10-Minuten-Exit: Ein Operator sollte einen produktiven Workload per Konfiguration und kontrolliertem Deployment am Gateway vorbeileiten können, ohne die Geschäftslogik zu ändern. Zehn Minuten sind ein redaktionelles Betriebsziel, kein Anbieter-SLA. Erfordert die Umgehung einen neuen Client, ein neues Identitätskonzept oder die Migration sämtlicher Modellnamen, kontrolliert das Gateway größere Teile der Anwendung als die Modellanbieter.

Deshalb verdient auch ein Feature wie automatischer Fallback eine genaue Prüfung. Ein Fallback hilft nur, wenn er Antwortprotokoll, Tool-Schema, Datenrichtlinie und Kostengrenze der Anwendung wahrt. Selbst eine erfolgreiche HTTP-Antwort eines anderen Modells kann für die Anwendung einen Fehler darstellen, wenn sich die strukturierte Ausgabe ändert oder der Tool-Aufruf inkompatibel ist.

Einen tieferen Blick auf die Inferenzschicht unterhalb des Gateways bietet der Vergleich der günstigsten KI-APIs, der Modellpreis und Routing-Gebühr voneinander trennt. Geht es unmittelbar um Entwicklerwerkzeuge statt um eine kundenorientierte Anwendung, behandelt der engere Leitfaden zu AI Gateways für Coding-Agenten Einrichtung und Repository-Zuordnung.

So wurden KI-Gateways und LLM-Router ausgewählt

Die Rangfolge gewichtet Umkehrbarkeit und betriebliche Eignung stärker als die Zahl der Modelle. Ein Katalog mit Hunderten Modellen ist in der Erkundungsphase nützlich und weitgehend bedeutungslos, sobald eine Produktiv-App drei freigegebene Routen standardisiert hat.

Jedes Gateway wurde anhand von fünf Kriterien bewertet:

1. Portabilität: Kann die App eigene Anbieterkonten, Modellnamen, Richtlinien und eine direkte Route behalten?
2. Deterministische Ausfallsicherheit: Können Betreiber Wiederholungen, Anbieterreihenfolge, Fallback-Verhalten und Abbruchbedingungen einer Anfrage steuern?
3. Kostentransparenz: Lassen sich Ausgaben einer Anwendung, einem Kunden, Team oder Schlüssel zuordnen, und ist die Gebühr anhand öffentlicher Preise vorhersehbar?
4. Governance-Grenze: Erfüllt das Gateway die Anforderungen des Käufers an Bereitstellung, Identität, Aufbewahrung, Audit und Datenresidenz?
5. Betriebliche Reife: Ist das Gateway allgemein verfügbar, supportfähig, beobachtbar und passend für die jeweilige Einsatzphase bepreist?

Grundlage dieser Bewertung war die Prüfung von Preisen und Dokumentation, kein als Vergleich getarnter Produkttest. Es werden weder Produktiveinsatz noch Lasttest oder Abonnement behauptet. Jeder Tarif, jede Grenze und jede konkrete Funktion stammt aus einer am 18. August 2026 geöffneten Anbieterseite; die Kostenvergleiche sind Rechenergebnisse aus diesen Angaben.

Berücksichtigt wurden Produkte, die heute im Anfragepfad einer Multi-Model-App eingesetzt werden können. Der Modellkatalog eines einzelnen Cloud-Anbieters kann die richtige Plattform sein, ist aber kein neutrales Routing. Ein Produkt, das ausschließlich auf einer Roadmap steht, kann nicht vor einem Gateway rangieren, das sich bereits bereitstellen und kalkulieren lässt.

1. LiteLLM: Gesamtsieger für eine anwendungseigene Kontrollebene

LiteLLM ist das insgesamt beste AI Gateway, wenn ein klar benannter Plattformverantwortlicher den Betrieb übernehmen kann. Der Open-Source-Proxy stellt 100+ Anbieter hinter einer OpenAI-kompatiblen API bereit und umfasst virtuelle Schlüssel, Teams, Ausgabenverfolgung, Budgets, Ratenlimits, Fallbacks, Anfrage- und Antwortprotokolle sowie Prometheus-Metriken.

Am besten geeignet für: Produktunternehmen, die ein selbst gehostetes, anwendungseigenes Gateway benötigen
Herausragend: Breite Anbieterunterstützung mit Budgets, Schlüsseln, Fallbacks und Metriken im OSS-Tarif für $0
Preis: Open Source $0; Enterprise jährlich und individuell nach Kapazität, Architektur und Support
Kostenloser Test: 30-tägiger Enterprise-Test ohne Kreditkarte; OSS bleibt kostenlos

LiteLLM grenzt auf seiner aktuellen Preisseite die Softwaremodelle klar voneinander ab. Open Source ist für den produktiven Eigenbetrieb kostenlos. Enterprise wird nicht nach Tokens abgerechnet, sondern jährlich auf Basis von Anfragekapazität, Bereitstellungsarchitektur und Supportbedarf angeboten. Hinzu kommen SSO und SCIM, OIDC- oder JWT-Authentifizierung, Audit-Protokolle, Integrationen mit Secret-Managern, Schlüsselrotation, eine Multi-Region-Kontrollebene, Air-Gap-Bereitstellung und Support bis hin zu 24/7.

Die Angabe $0 ist richtig, aber unvollständig. Das eigene Team verantwortet Proxy, Postgres, Secrets, Skalierung, Upgrades, Änderungen an Anbieter-APIs, Protokollspeicher, Dashboards und Vorfälle. Unter der beispielhaften Annahme von acht Stunden zu je $150 entstehen vor Infrastrukturkosten monatlich $1,200. Gegenüber einer Gebühr von 5.5% wird LiteLLM oberhalb von $21,818 monatlicher Modellausgaben zum finanziellen Gewinner. Eine regulierte Umgebung kann sich jedoch schon viel früher für die Kontrolle statt der Einsparung entscheiden.

Der dokumentierte Docker-Schnellstart startet Gateway und Postgres mit curl -sSL https://docs.litellm.ai/docker-compose.yml | docker compose -f - up -d und stellt anschließend die Administrationsoberfläche auf Port 4000 bereit. Das ist ein sinnvoller Evaluationsweg, aber kein vollständiges Produktivkonzept. Derselbe Leitfaden warnt davor, den Platzhalter LITELLM_SALT_KEY vor dem Hinterlegen dauerhafter Zugangsdaten nicht auszutauschen. Danach darf der Wert nicht mehr geändert werden, weil mit dem alten Schlüssel verschlüsselte Anbieterzugänge unter einem neuen nicht wiederhergestellt werden können.

Die produktive Grenze ist eine ungeklärte Zuständigkeit. LiteLLM ist eine ausgezeichnete Plattformkomponente und ein schlechtes Nebenprojekt. Gehört der Proxy lediglich der Person, „die ihn hinzugefügt hat“, kann eine Anbieteränderung einen einzelnen Anwendungsentwickler ohne Budget, Rufbereitschaft oder Upgrade-Richtlinie unfreiwillig zum Gateway-Team machen.

1. 1

   Mit einer kurzlebigen Bereitstellung beginnen

   Den dokumentierten Docker-Compose-Schnellstart in einem nicht produktiven Konto einsetzen. Prüfen, ob Gateway und Postgres starten, Platzhalter-Secrets ersetzen und diese Umgebung vom Kundenverkehr trennen.

2. 2

   Zwei benannte Routen bereitstellen

   Nur das primäre Modell und einen kompatiblen Fallback hinzufügen. Stabile interne Aliasse wie support-primary und support-fallback verwenden, damit der Anwendungscode nicht von jedem öffentlichen Modellnamen eines Anbieters abhängt.

3. 3

   Einen virtuellen Anwendungsschlüssel ausstellen

   Für genau einen Dienst einen virtuellen Schlüssel mit eigenem Modellzugriff, Monatsbudget und Ratenlimit anlegen. Den LiteLLM-Masterschlüssel nicht an Anwendungsworkloads verteilen.

4. 4

   Einen direkten Adapter bereithalten

   Denselben Dienst so konfigurieren, dass er über einen Feature-Flag auch den primären Anbieter direkt aufrufen kann. Die Gateway-Route bleibt Standard, die Anbieterroute der getestete Umgehungsweg.

5. 5

   Das primäre Modell gezielt ausfallen lassen

   Kontrolliert eine nicht verfügbare Route auslösen, den sichtbaren Fallback in den Protokollen prüfen und danach den direkten Adapter aktivieren. Die Umschaltzeit messen. Lässt sich der 10-Minuten-Exit nicht erreichen, muss zunächst die Abstraktion korrigiert werden, bevor zusätzlicher Datenverkehr hinzukommt.

2. Vercel AI Gateway: beste verwaltete Standardlösung

Vercel AI Gateway ist die beste verwaltete Standardlösung für Produktteams, die einen einzigen Endpunkt ohne Token-Aufschlag benötigen. Zu den Routing-Funktionen gehören Anbieterfilter, Reihenfolgen, Modell-Fallbacks sowie eine Anbieterauswahl, die aktuelle Verfügbarkeit und Latenz berücksichtigt.

Am besten geeignet für: Startups und Produktteams, die schnell auf eine verwaltete Lösung umsteigen möchten
Herausragend: Tokens zu Listenpreisen der Anbieter ohne Gateway-Aufschlag
Preis: Free umfasst $5 monatliches Guthaben; Paid nutzt gekauftes Guthaben zu Anbieterlistenpreisen
Kostenloser Test: Dauerhafter Free-Tarif für berechtigte Modelle mit niedrigeren Limits je Modell

Die aktuelle Preisseite trennt den kostenlosen und den bezahlten Status klar. Free enthält jeden Monat $5 Guthaben. Mit dem Kauf von Guthaben wechselt das Konto zu Pay as you go, erhält Zugriff auf alle verfügbaren Modelle und höhere Limits; zugleich entfällt das monatliche Guthaben von $5. Beide Tarife rechnen zu den Listenpreisen der Anbieter und ohne Token-Aufschlag ab.

Bring Your Own Key ist erst verfügbar, nachdem das Konto zu Paid gewechselt ist. Vercel erhebt für BYOK keine Gateway-Gebühr. Eine mit den eigenen Zugangsdaten fehlgeschlagene Anfrage kann jedoch erneut mit Vercel-Systemzugangsdaten ausgeführt und dem Gateway-Guthaben belastet werden. Das erhöht die Verfügbarkeit, kann aber der Finanzannahme widersprechen, sämtliche Nutzung bleibe innerhalb eines bestehenden Anbietervertrags. Vor dem Einsatz von BYOK als Abkürzung in der Beschaffung sollte dieses Verhalten geprüft werden.

Die Token-Schicht bleibt ohne Aufschlag, einige Kontrollfunktionen jedoch nicht. Custom Reporting kostet $0.075 pro 1,000 Schreibvorgänge und $5 pro 1,000 Reporting-Abfragen. Eine teamweite Anbieter-Positivliste kostet $0.10 pro 1,000 erfolgreiche Anfragen; ein Anfragefilter mit only verursacht dagegen keine Zusatzkosten. Teamweites Zero Data Retention kostet ebenfalls $0.10 pro 1,000 Anfragen. Trace Drains werden mit $0.05 pro 1,000 Traces sowie $0.50 pro GB Egress berechnet.

Bei einer Million Anfragen verursachen eine aktivierte teamweite Positivliste, teamweites ZDR und je ein Trace pro Anfrage zusammen $250 zuzüglich Trace-Egress. Für viele Apps ist das im Verhältnis zu den Modellausgaben noch überschaubar. „Kein Aufschlag“ darf dennoch nicht als „jede Kontrollfunktion ist kostenlos“ verstanden werden.

Die Grenze liegt im Besitz der Bereitstellung. Vercel betreibt das Gateway; die Datenebene läuft nicht im eigenen Cluster. Das passt, wenn diese Managed-Grenze akzeptabel ist und betriebliche Geschwindigkeit zählt. LiteLLM oder Bifrost sind vorzuziehen, wenn eine private Bereitstellung zwingend erforderlich und nicht nur wünschenswert ist.

3. Portkey: beste Wahl für verwaltete Enterprise-Governance

Portkey ist die beste verwaltete Lösung, wenn Richtlinien, Guardrails, Budgets und private Bereitstellungsoptionen den Kauf begründen. Das Gateway verbindet eine universelle API mit Wiederholungen, Timeouts, Fallbacks, Lastverteilung, Caching, virtuellen Schlüsseln und Observability.

Am besten geeignet für: Mittelständische und große Unternehmen, die verwaltete Governance einkaufen
Herausragend: Öffentlicher Production-Tarif plus Enterprise-Pfad für Private Cloud und VPC-Hosting
Preis: Open Source selbst gehostet; Developer $0; Production $49/Monat; Enterprise individuell
Kostenloser Test: Developer bleibt für Prototypen und Evaluation dauerhaft kostenlos

Die Preisseite zieht eine ungewöhnlich klare Grenze zwischen den Tarifen. Developer erfasst 10,000 Protokolle pro Monat, bewahrt Protokolle drei Tage und Metriken 30 Tage auf und ist ausdrücklich nicht für die Produktion geeignet. Production kostet $49 pro Monat, umfasst 100,000 erfasste Protokolle und berechnet bis zu drei Millionen für jeweils weitere 100,000 den Betrag von $9. Protokolle werden 30 Tage, Metriken 90 Tage aufbewahrt.

Bei einer Million erfasster Protokolle kostet Production $130 pro Monat: $49 Grundpreis plus neun Zusatzblöcke zu je $9. Für eine wachsende App bleibt das gut zugänglich. Dieselbe Seite weist darauf hin, dass Production nicht empfohlen wird, wenn individuelle Sicherheitskontrollen oder Garantien zur Datenresidenz nötig sind. Diese Käufer wechseln zu Enterprise: Dort gibt es 10 Millionen+ erfasste Protokolle, individuelle Aufbewahrungszeiten, SSO, granulare Budgets und Limits, Private Cloud, VPC-Hosting, Data-Lake-Exporte und erweiterte Compliance.

Die Produktgrenze ist nicht der Funktionsumfang, sondern die Reichweite des Kaufs. Ein Startup, das nur eine Basis-URL und einen Fallback benötigt, nutzt weniger organisatorischen Wert, als Portkey bereitstellen soll. Ein Plattformteam mit mehreren Anwendungen, Freigaberichtlinien für Modelle, PII-Kontrollen und Audit-Anforderungen kann dieselben Funktionen hingegen jede Woche einsetzen.

Auch die Eigentümerfrage gehört in die Beschaffung. Palo Alto Networks schloss die Übernahme von Portkey am 29. Mai 2026 ab und erklärte, Portkey werde ein zentrales AI Gateway für Prisma AIRS. Das kann Sicherheitsintegration und Enterprise-Support stärken, aber ebenso Paketstruktur und Roadmap-Prioritäten verändern. Zu klären ist, welcher Produktname im Vertrag steht, wie eigenständige Konten Prisma AIRS zugeordnet werden und welcher Exportweg eine spätere Konsolidierung überdauert.

4. Cloudflare AI Gateway: günstigste Edge-Kontrolle

Cloudflare AI Gateway ist die beste kostengünstige Wahl, wenn Cloudflare bereits Edge, Sicherheit oder Workers-Laufzeit der Anwendung stellt. Kernfunktionen für Analyse, Caching und Ratenbegrenzung sind in jedem Tarif kostenlos.

Am besten geeignet für: Apps, die bereits Cloudflares Netzwerk- und Sicherheitskontrollen nutzen
Herausragend: Gateway-Kern für $0 mit kostenlosem DLP-Scanning
Preis: Kernfunktionen $0; Guthabenkäufe über Unified Billing zusätzlich 5%; Guardrails nach Workers-AI-Preisen
Kostenloser Test: Kernfunktionen bleiben kostenlos und laufen nicht ab

Cloudflares aktuelle Preisdokumentation nennt konkrete Speichergrenzen für das Gratisangebot. Workers Free speichert kontoweit 100,000 Protokolle über alle Gateways. Workers Paid speichert 10 Millionen Protokolle je Gateway. DLP-Scanning ist kostenlos; ohne Zero-Trust-Abonnement stehen einem Konto allerdings nur zwei vordefinierte DLP-Profile zur Verfügung. Die Auswertung von Guardrails wird separat als Token-Inferenz von Workers AI berechnet.

Unified Billing berechnet 5% beim Kauf von Guthaben, während die Inferenzpreise Dritter ohne Token-Aufschlag weitergegeben werden. Bei monatlich gekauftem Guthaben im Wert von $20,000 beträgt die Gebühr $1,000. Die 5%-Position gilt für Guthaben aus Unified Billing, nicht für das Gateway-Kernangebot zu $0.

Vor dem Start ist eine Durchsatzgrenze zu beachten. Die aktuelle Limit-Seite begrenzt Unified-Billing-Verkehr auf 200 Anfragen pro 60 Sekunden und Gateway; oberhalb davon folgt ein 429-Fehler. Für BYOK-Verkehr gilt diese Grenze nicht. Cloudflare begrenzt außerdem gespeicherte Protokolle auf 500 pro Sekunde und Gateway, cachefähige Anfragen auf 25 MB, die Cache-TTL auf einen Monat und individuelle Metadaten auf fünf Einträge je Anfrage.

Die Grenze ergibt sich aus der Einbettung in die umgebende Plattform. Cloudflare überzeugt, wenn das Team Kontenmodell, Protokolle, DLP, Workers und Edge-Verhalten bereits kennt. Weniger überzeugend ist die Einführung all dieser Konzepte allein, um ein Gateway-Abonnement von $49 zu vermeiden. Das laut Liste günstigste Gateway kann so die höhere Integrationsrechnung verursachen.

5. OpenRouter: bester Modellmarktplatz, aber riskant als einzige Route

OpenRouter ist das beste Gateway, solange die Auswahl von Modellen und Anbietern noch offen ist. Der Pay-as-you-go-Tarif bündelt 400+ Modelle von 80+ Anbietern in einem Konto.

Am besten geeignet für: Schnelle Modellerkundung, Anbietervergleich und breiten Katalogzugang
Herausragend: Detailliertes Anbieter-Routing nach Preis, Durchsatz, Latenz, Richtlinie und Verfügbarkeit
Preis: Free $0; Pay as you go mit 5.5% Plattformgebühr; Enterprise individuell mit Rabatten
Kostenloser Test: Free-Tarif mit 25+ Modellen, 4 Anbietern und 50 Anfragen pro Tag

Die aktuelle Preisseite führt drei Tarife auf. Free bietet 25+ kostenlose Modelle von vier Anbietern bei 50 Anfragen pro Tag. Pay as you go ergänzt 400+ Modelle, 80+ Anbieter, hohe globale Limits und verzichtet auf einen Mindestumsatz; dafür fällt eine Plattformgebühr von 5.5% an. Enterprise behält den Katalog bei und ergänzt Gebührenrabatte, Rechnungsstellung, SSO oder SAML, vertragliche SLAs sowie ein Support-SLA mit gemeinsamem Slack-Kanal.

BYOK verändert die Gebührengrenze. Pay as you go umfasst pro Monat Listenpreis-Inferenz im Wert von $25,000 ohne BYOK-Gebühr; danach werden 5% berechnet. Bei Enterprise steigt dieses Kontingent auf $200,000, anschließend gelten ebenfalls 5%. Käufer mit direkten Anbieterzusagen sollten das BYOK-Kontingent getrennt von gekauftem OpenRouter-Guthaben modellieren.

Die Routing-Tiefe ist OpenRouters Stärke. Laut Dokumentation zur Anbieterauswahl meidet die Standardeinstellung Anbieter mit erheblichen Ausfällen innerhalb der vorangegangenen 30 Sekunden, gewichtet danach stabile günstige Anbieter nach dem inversen Quadrat des Preises und nutzt die übrigen als Fallbacks. Betreiber können stattdessen nach Preis, Durchsatz oder Latenz sortieren, benannte Anbieter anordnen, Fallbacks deaktivieren, Parameterunterstützung verlangen, Anbieter mit Datenerfassung ausschließen, Endpunkte mit Zero Data Retention voraussetzen oder Preisobergrenzen setzen.

Diese Kontrollen können Verfügbarkeit und Wirtschaftlichkeit zugleich verbessern. Sie machen aber auch das Standardverhalten zu einem Teil des Produktivvertrags. Benötigt die Anwendung strukturierte Ausgaben oder Tool-Nutzung, sollten require_parameters und eine Positivliste gesetzt werden, statt identisches Verhalten aller Endpunkte unter demselben Modell-Slug anzunehmen.

Bei gekauftem Guthaben von $20,000 entsprechen 5.5% monatlich $1,100. Das liegt noch unter den beispielhaften monatlichen Self-Hosting-Kosten von $1,200. Die Prozentgebühr wächst jedoch weiter, während sich der Betriebsaufwand eines stabilen selbst gehosteten Gateways möglicherweise abflacht. Sobald die Ausgaben $21,818 überschreiten, gehört die Rechnung erneut auf den Prüfstand.

Die gemeldete Stripe-Vereinbarung erhöht die Kosten der Abhängigkeit, rechtfertigt aber keine überstürzte Migration. OpenRouter bleibt in diesem Vergleich die Marktplatzlösung mit der größten Breite. Klug sind ein direkter Anbieteradapter, exportierte Richtlinien und ein getesteter Umgehungsweg. Die ausführliche OpenRouter-Preisanalyse vertieft Gebühren- und BYOK-Grenzen.

6. Bifrost: beste OSS-Alternative für explizite Wiederholungssteuerung

Bifrost ist die beste Open-Source-Alternative für Teams, die ein explizites Wiederholungsverhalten, OpenTelemetry und eine kleinere Gateway-Oberfläche bevorzugen. Der OSS-Tarif bleibt dauerhaft kostenlos und lässt sich als Docker-Bereitstellung, Kubernetes-Workload oder Go-Binärdatei betreiben.

Am besten geeignet für: Plattformteams, die Self-Hosting mit transparenten Resilienz-Kontrollen benötigen
Herausragend: Verschachtelte Wiederholungs- und Fallback-Logik mit Routing-Verlauf je Anfrage
Preis: OSS $0; Enterprise individuell
Kostenloser Test: 14-tägiger Enterprise-Test

Laut Bifrost-Preisseite umfasst OSS eine einzige OpenAI-kompatible API für 1,000+ Modelle, OTel-Metriken und -Traces, Observability, Budgets und Limits für virtuelle Schlüssel, individuelles Routing, automatische Fallbacks, Caching und ein MCP Gateway. Enterprise ergänzt VPC-, On-Prem- und Air-Gap-Bereitstellung, Cluster-Modus, adaptive Lastverteilung, SAML und OIDC, Vault-Integrationen, Audit-Protokolle, RBAC sowie Support mit SLA.

Die Dokumentation zu Wiederholungen und Fallbacks von Bifrost ist ungewöhnlich konkret. Netzwerkfehler und 5xx-Antworten werden beim selben Anbieter wiederholt. Bei Ratenlimits und schlüsselbezogenen Fehlern können Zugangsdaten rotieren. Erst wenn das Wiederholungsbudget des primären Anbieters ausgeschöpft ist, wechselt die Anfrage zum nächsten Fallback; jeder Fallback erhält dabei sein eigenes vollständiges Wiederholungsbudget.

Gerade diese Klarheit macht die Grenze sichtbar: Wiederholungen können sich vervielfachen. Ein primärer Anbieter mit drei Wiederholungen und zwei Fallbacks, die jeweils ebenfalls drei Wiederholungen erhalten, kann bis zu 12 Versuche auslösen, bevor ein Fehler zurückgegeben wird. In einer interaktiven App kann ein Anbieterausfall so zugleich zu einem Latenzproblem und einer höheren Rechnung werden. Deshalb braucht die gesamte Kette ein Latenzbudget; Sicherheits- oder Compliance-Fehler sollten sie stoppen, statt sie offen fortzusetzen.

Bifrost konkurriert am direktesten mit LiteLLM. LiteLLM punktet mit einem vertrauteren Ökosystem und einer breiten, etablierten Kontrollebene. Bifrost liegt vorn, wenn der Go-native Footprint, der explizite Routing-Verlauf oder die Wiederholungssemantik besser zum Betriebsmodell des Plattformteams passt. Beide verlieren, wenn niemand für den Betrieb des Proxys eingeplant ist.

7. Helicone: bestes Gateway mit Observability-Fokus

Helicone ist die beste Wahl, wenn die Analyse von Sitzungen und die Erklärung von Ausgaben ebenso wichtig sind wie das Routing. Das Angebot verbindet ein Gateway ohne Aufschlag mit Observability, Caching, Ratenlimits, automatischen Fallbacks, Prompt-Verwaltung und Anfragesuche.

Am besten geeignet für: Teams, deren größtes Problem das Verständnis produktiven Modellverhaltens ist
Herausragend: Gateway-Verkehr fließt direkt in ein Produkt für Observability und Fehlersuche
Preis: Hobby kostenlos; Pro $79/Monat; Team $799/Monat; Enterprise individuell
Kostenloser Test: 7 Tage für Pro und Team

Die Preisseite legt die Auslöser für ein Upgrade offen. Hobby umfasst 10,000 Anfragen, 1 GB Speicher, einen Nutzerplatz, eine Organisation, sieben Tage Aufbewahrung und 10 Protokolle pro Minute. Pro kostet $79 pro Monat und bietet unbegrenzte Nutzerplätze, eine Organisation, einen Monat Aufbewahrung, 1,000 Protokolle pro Minute und 10 API-Aufrufe pro Minute. Über enthaltene Anfrage- und Speichermengen hinaus gilt eine nutzungsabhängige Abrechnung.

Team kostet $799 pro Monat und erweitert das Angebot auf fünf Organisationen, drei Monate Aufbewahrung, 15,000 Protokolle pro Minute, 60 API-Aufrufe pro Minute, SOC 2- und HIPAA-Unterstützung sowie einen eigenen Slack-Kanal. Enterprise wird individuell angeboten und ergänzt unbegrenzte Organisationen, unbegrenzte Aufbewahrung, 30,000 Protokolle pro Minute, 1,000 API-Aufrufe pro Minute, SAML SSO, On-Prem-Bereitstellung und individuelle Vertragsbedingungen.

Die Plattformdokumentation beschreibt zwei Betriebsarten: durchgereichtes Guthaben für 100+ Modelle ohne Aufschlag oder BYOK für Teams, die ihre Anbieterabrechnung behalten. Beide bewahren die Observability auf Anfrageebene. Darin liegt der Vorteil von Helicone gegenüber einem schlanken Proxy. Eine fehlgeschlagene Nutzerinteraktion lässt sich über eine Sitzung hinweg verfolgen, statt auf einen Anbieterfehlerzähler reduziert zu werden.

Die Grenze zeigt sich bei Hobby sofort. Zehn Protokolle pro Minute reichen zur Untersuchung eines Prototyps, sind für viele Live-Anwendungen aber zu wenig. Die 1,000 Protokolle pro Minute von Pro bilden die erste realistische Produktivgrenze für mäßigen Verkehr. Da Käufer Observability-Tarif und Gateway gemeinsam wählen, sollte der kombinierte Nutzen bewertet werden, statt die Routing-Schicht isoliert als kostenlos zu betrachten.

8. Braintrust Gateway: ideal für evaluationsgestützte Releases

Braintrust Gateway passt am besten, wenn Traces in Evaluationen, Datensätze, Scores und Release-Prüfungen einfließen müssen. Das Gateway unterstützt OpenAI, Anthropic, Google, AWS und weitere Anbieter über eine einheitliche API mit Caching, Observability und Multi-Provider-Unterstützung.

Am besten geeignet für: KI-Produktteams, deren Routing-Änderungen von Evaluationsergebnissen abhängen
Herausragend: Gateway-Traces sind direkt mit einer Evaluationsplattform verbunden
Preis: Starter $0; Pro $249/Monat; Enterprise individuell; gehostetes Gateway während der Beta kostenlos
Kostenloser Test: Starter erfordert keine Kreditkarte; das Gateway bleibt während der Beta kostenlos

Die Plattformpreise von Braintrust beginnen mit Starter für $0. Enthalten sind 1 GB verarbeitete Daten, danach $4 pro GB; 10,000 Scores, danach $2.50 pro 1,000; 14 Tage Aufbewahrung sowie unbegrenzte Nutzer, Projekte, Datensätze, Playgrounds und Experimente. Pro kostet $249 pro Monat und enthält 5 GB verarbeitete Daten, danach $3 pro GB; 50,000 Scores, danach $1.50 pro 1,000; sowie 30 Tage Aufbewahrung. Zusätzlich aufbewahrte Daten werden mit $0.50 pro GB und Monat abgerechnet. Enterprise ist individuell.

Das Gateway selbst hat einen anderen Status. Laut Gateway-Dokumentation von Braintrust befindet sich der gehostete Endpunkt in der Beta und ist kostenlos nutzbar; Preise sollen vor der allgemeinen Verfügbarkeit bekannt gegeben werden. Der globale Endpunkt verwendet DNS-Latenz-Routing und Zustandsprüfungen über die gehosteten Regionen hinweg. Die Protokollierung kann Gateway-Traces in die konfigurierte Datenebene der Organisation schreiben.

Diese Integration verändert den Kaufgrund. Wenn ein Team Produktiv-Traces stichprobenartig auswählt, Antworten bewertet, Regressionsdatensätze anlegt und Releases bei sinkender Qualität blockiert, spart das Gateway Instrumentierungsschritte und hält die Evidenz mit dem Datenverkehr verbunden. Benötigt ein Team dagegen nur Wiederholungen und Ausgabenlimits, lässt sich die Pro-Plattform für $249 gegenüber einem einfacheren Gateway schwer rechtfertigen.

Die Grenze sind der künftige Preis und der Beta-Status. Eine kostenlose Beta kann für den Produktivbetrieb konzipiert sein, ohne bereits ein stabiles kommerzielles Abrechnungsmodell zu besitzen. Sie sollte nur mit direktem Anbieter-Bypass eingesetzt werden. Außerdem ist vor der allgemeinen Verfügbarkeit eine interne Preisobergrenze festzulegen; ein vorübergehender Gateway-Preis von $0 darf keine dauerhafte Architektur bestimmen.

9. Requesty: beste einfache Kontrollebene mit Prozentpreis

Requesty ist für kleine Teams die beste prozentual bepreiste Managed-Lösung, wenn Routing, Caching, Fallbacks, Budgets und EU-Datenresidenz ohne Abonnement benötigt werden. Pay as you go stellt 600+ Modelle von 20+ Anbietern bereit.

Am besten geeignet für: Startups, die eine direkt an die Modellnutzung gekoppelte Gebühr bevorzugen
Herausragend: Kein Abonnement, keine Nutzerplatzgebühr, kein Mindestumsatz und keine separate Gebühr für zentrale Routing-Kontrollen
Preis: Free $0; Pay as you go zusätzlich 5%; Enterprise individuell
Kostenloser Test: Free-Tarif mit 200 Anfragen pro Tag an kostenlose Modelle, keine Karte nötig

Laut Preisseite umfasst Free täglich 200 Anfragen an kostenlose Modelle sowie Routing, Caching, Fallbacks, Ausgabenanalyse und EU-Datenresidenz. Pay as you go schlägt 5% auf die Grundkosten der Modelle auf und enthält BYOK, Routing-Richtlinien, Caching, Fallbacks, Ausgabenlimits, ein MCP Gateway, erweiterte Observability und E-Mail-Support. Enterprise ergänzt SSO, RBAC, Audit-Protokolle, Richtlinien für freigegebene Modelle, Teambudgets, Guardrails, PII-Erkennung, Dienstkonten, dedizierten Support und individuelle SLAs.

Die Prozentgebühr macht die Budgetierung am Anfang einfach. Bei Modellausgaben von $2,000 kostet das Gateway $100. Bei $20,000 sind es $1,000. Bei $24,000 entspricht die Gebühr den beispielhaften monatlichen Self-Hosting-Kosten von $1,200. Ein Startup kann ein Plattformprojekt vermeiden, solange der Datenverkehr noch ungewiss ist, und die Entscheidung erneut öffnen, sobald sich die Nutzung stabilisiert.

Die Kehrseite ist dieselbe Einfachheit. Die Gebühr wächst mit den Modellausgaben, auch wenn der Betriebsaufwand des Gateways nicht mitwächst. Ein Unternehmen mit hohem Token-Verbrauch, einem Plattformteam und bestehenden Anbieterverträgen sollte das Enterprise-Angebot von Requesty oder einen selbst gehosteten Proxy vergleichen, bevor es dauerhaft 5% akzeptiert.

Requesty liegt hinter Helicone, weil sein stärkstes Argument hier eine effiziente verwaltete Kontrolle und kein differenzierter Evidenzkreislauf für den Produktivbetrieb ist. Dennoch kann es der bessere Kauf sein, wenn ein berechenbarer Prozentsatz ohne Abonnement wichtiger ist als tiefe Evaluation oder Enterprise-Richtlinien.

10. Kong AI Gateway: beste Wahl für bestehende Kong-Umgebungen

Kong AI Gateway ist die beste Wahl, wenn Kong die Unternehmens-APIs bereits verwaltet und der KI-Verkehr dasselbe Betriebsmodell übernehmen soll. Plus umfasst eine universelle LLM-API, bis zu fünf unterschiedliche weitergeleitete Modelle, unbegrenzten Agent-to-Agent-Verkehr, unbegrenzte MCP-Server-Proxys, PII-Bereinigung, Guardrails, Zugriffskontrolle, Token-Ratenlimits, semantisches Caching und Kostenanalysen.

Am besten geeignet für: Unternehmen, die bereits Kong Konnect oder Kong Gateway betreiben
Herausragend: KI-Richtlinien innerhalb einer größeren Plattform für APIs, Identitäten, Portale und Service-Governance
Preis: 30-tägiger Test $0; Plus nutzungsabhängig; Enterprise individuell und jährlich
Kostenloser Test: 30 Tage ohne Kreditkarte und ohne Gateway-Limits

Die aktuelle Preisseite von Kong weist die Plus-Messgrößen aus. Eine serverlose Kontrollebene kostet $25 pro Monat, Hybrid $200 und Dedicated Cloud $500 zuzüglich $0.15 pro GB. Plus umfasst eine Million API-Anfragen; jede weitere Million bis zum monatlichen Maximum von 10 Millionen kostet $200.

Das Proxying von KI-Modellen kostet zusätzlich $100 pro Monat und eindeutigem LLM-Modell; Plus ist auf fünf Modelle begrenzt. Eine App mit vier Modellen und einer serverlosen Kontrollebene beginnt daher bei $425 pro Monat vor Modell-Tokens: $25 für die Kontrollebene plus $400 für die vier Modell-Proxys. Kostenpflichtige KI-Plugins sind bei Plus separate Add-ons und bei Enterprise enthalten.

Enterprise hebt Gateway- und Modelllimits auf, unterstützt vollständig selbst gehostete API-Gateways und ergänzt Audit-Protokolle, SSO, dedizierten Support, Professional Services und höhere SLAs. Der Preis ist individuell und wird jährlich abgerechnet.

Die Grenze ist das Gewicht der Plattform. Kong ergibt Sinn, wenn API-Governance, Kontrollebenen, Identität, Analyse, Servicekatalog und Support bereits im Budget stehen. Bei einer neuen Multi-Model-App entstehen durch die Abrechnung nach Kontrollebene, Modell und Anfrage zusätzliche Konzepte, bevor das Produkt ihren Bedarf belegt hat. Vercel, Cloudflare, Requesty oder ein OSS-Proxy führen schneller zu einer kleineren Entscheidung.

Welches AI Gateway passt zu welchem Einsatz?

Ausgangspunkt ist die Einschränkung, die einen Start verhindern würde; erst danach folgt der Gebührenvergleich. Ausgereiftes Routing gleicht eine falsche Bereitstellungsgrenze nicht aus. Ebenso wenig kompensiert eine niedrige Gebühr fehlende Audit- oder Rollback-Kontrollen.

Vercel AI Gateway eignet sich für ein Startup, das eine kundenorientierte App mit wenigen freigegebenen Modellen und ohne private Bereitstellungsanforderung ausliefert. Cloudflare wird zur besseren Wahl, wenn es Edge- und Sicherheitsschicht bereits stellt. Requesty liegt vorn, wenn sich eine Nutzungsgebühr von 5% leichter finanzieren lässt als ein Plattformabonnement.

LiteLLM passt zu einem Produktunternehmen mit Plattformverantwortlichem, vorhandenen Container- und Datenbankstandards sowie entweder einer zwingenden Datenpfad-Anforderung oder monatlichen Modellausgaben, die unter der genannten Betriebsannahme über ungefähr $22,000 bis $24,000 steigen. Bifrost übernimmt die Führung, wenn dessen Wiederholungssemantik, Go-Bereitstellung oder OTel-orientiertes Modell besser zum Team passt.

Portkey ist für mittelständische und große Käufer gedacht, die verwaltete Identität, Guardrails, Budgets, Aufbewahrung, private Bereitstellungsoptionen und Support benötigen. Kong ist vorzuziehen, wenn es bereits die API-Plattform des Unternehmens bildet und eine gebündelte Kontrolle den Preis je Modell rechtfertigt.

Helicone empfiehlt sich, wenn die Untersuchung von Anfragen, die Fehlersuche über Sitzungen hinweg und die Zuordnung von Ausgaben zur täglichen Arbeit gehören. Braintrust Gateway passt, wenn dieselben Traces Evaluationen und Release-Prüfungen speisen müssen. Aufgrund des Beta-Status von Braintrust sind ein direkter Bypass und eine interne Preisobergrenze zwingend.

OpenRouter ist sinnvoll, solange ein kleines technisches Team viele Modelle vergleicht oder die Breite eines Anbietermarktplatzes braucht. Eine direkte Anbieterroute sollte erhalten bleiben. Sobald die App einen kleinen Satz freigegebener Modelle standardisiert hat, gehört die Kreditgebühr von 5.5% mit Vercels Token-Aufschlag von null, Requestys 5% oder finanziertem Self-Hosting verglichen.

Die konkrete Wechselbedingung ist einfach: Das Gateway sollte gewechselt werden, sobald die fehlende Kosten- oder Kontrollfunktion mehr wiegt als Migration und Betrieb der nächsten Option. Eine längere Feature-Liste eines Wettbewerbers ist kein Migrationsgrund. Messbare Latenzbudgets, Bereitstellungsgrenzen, Audit-Anforderungen, Gebührenobergrenzen oder Exit-Ziele, die das aktuelle Gateway nicht erfüllt, sind es.

Diese Lösungen sollten nicht die einzige Produktivroute sein

Kein Gateway sollte alleiniger Anfrageweg sein, solange sich seine kommerziellen oder betrieblichen Grenzen noch verschieben. Bei drei konkreten Angeboten ist diese Vorsicht aus unterschiedlichen Gründen nötig.

OpenRouter sollte während des gemeldeten Eigentümerwechsels nicht die einzige Produktivroute bilden. Katalog und Routing bleiben hervorragend; es gibt keinen Grund für die Behauptung, die Bedingungen würden schlechter. Das Problem ist die Konzentration: Modellzugang, Anbieterrichtlinien, Guthaben und Fallback-Verhalten liegen hinter demselben Konto. Ein direkter Anbieterschlüssel und ein getesteter externer Adapter sollten erhalten bleiben.

Braintrust Gateway sollte während der Beta nicht die einzige Route sein. Braintrust erklärt, das gehostete Gateway sei für den Produktivbetrieb ausgelegt, veröffentliche seine Verfügbarkeit und sei in der Beta kostenlos. Zugleich sollen die Preise vor der allgemeinen Verfügbarkeit bekannt gegeben werden. $0 ist daher als Pilotpreis zu behandeln. Vorab ist festzulegen, welcher Preis einen Wechsel auslösen würde; der Bypass muss einsatzbereit bleiben.

Kong AI Gateway sollte nicht zur Standardlösung einer neuen App werden, wenn das Unternehmen Kong noch nicht betreibt. Vier weitergeleitete Modelle auf einer serverlosen Plus-Kontrollebene beginnen vor der Inferenz bei $425 pro Monat. Hinzu kommen Kong-Konzepte für Kontrollebenen und API-Programme. Für bestehende Kong-Kunden kann diese Bündelung hervorragend sein, für eine neue App bedeutet sie unnötiges Plattformgewicht.

Auch ein selbst gebauter Passthrough sollte vermieden werden, sobald mehr als eine Anwendung davon abhängt. Ein Basis-URL-Proxy ist schnell erstellt. Korrektes Streaming, Fehlernormalisierung, anbieterspezifische Parameter, Fallbacks, Budgets, Schlüsselisolierung, Protokolle und die Behandlung auslaufender Modelle ergeben ein dauerhaft zu pflegendes Produkt. Eigenentwicklung lohnt sich nur, wenn eine besondere Richtlinie diese dauerhafte Verantwortung rechtfertigt.

Der nächste Montag: die Umkehrbarkeit des Gateways beweisen

Die nächste Woche sollte nicht mit einer unternehmensweiten Migration beginnen. Besser ist eine einzige produktionsnahe Route, an der sich der 10-Minuten-Exit nachweisen lässt. Das Ergebnis soll eine gemessene Betriebsentscheidung sein, kein aufgeräumteres Architekturdiagramm.

1. 1

   Eine Route inventarisieren

   Einen kundenorientierten Workflow auswählen und aktuellen Anbieter, Modell, Authentifizierungsmethode, monatliche Ausgaben, p95-Latenzziel, Anforderungen an strukturierte Ausgaben oder Tools sowie Datenrichtlinie dokumentieren. Die Route muss repräsentativ genug für die schwierigen Teile und klein genug für einen Rollback sein.

2. 2

   Das Gateway hinter einen internen Client setzen

   Nur den Gateway-Adapter in den Anfragepfad verschieben. Anbieterspezifische Header, Modellaliase und Fallback-Richtlinien aus der Geschäftslogik heraushalten. Die bisherige Direktkonfiguration neben der Gateway-Konfiguration speichern.

3. 3

   Ein primäres Modell und einen kompatiblen Fallback festlegen

   Nicht mit einem Routing-Baum beginnen. Einen Fallback wählen, der dasselbe Antwortprotokoll, dieselben strukturierten Ausgaben und Tools sowie dieselbe Datengrenze unterstützt. Oberhalb der Wiederholungskette eine Gesamtlatenzgrenze setzen.

4. 4

   Den Fehler gezielt auslösen

   Das primäre Modell in einem kontrollierten Zeitfenster deaktivieren oder fehlleiten. Prüfen, welche Versuche erfolgt und abgerechnet worden sind, welcher Anbieter geantwortet hat, wie lange die Kette dauerte und ob die Anwendung das erwartete Schema erhielt.

5. 5

   Den 10-Minuten-Exit durchführen

   Das Gateway per Konfiguration und kontrolliertem Deployment umgehen. Kann der Dienst nicht innerhalb von 10 Minuten zur direkten Anbieterroute zurückkehren, ist die blockierende Abhängigkeit zu protokollieren und vor einer Ausweitung zu beseitigen.

6. 6

   Nur entscheidungsrelevante Kontrolle einkaufen

   Das Gateway nur übernehmen, wenn es Anfragen gerettet, eine Richtlinie durchgesetzt, Ausgabenverantwortung sichtbar gemacht, eine Bereitstellungsgrenze erfüllt oder messbare Betriebskosten gesenkt hat. Ein Dashboard, das niemand prüft, ist kein produktives Ergebnis.

Für die meisten kleinen Produktteams sollte der Pilot am Montag mit Vercel AI Gateway beginnen – ohne kostenpflichtige Add-ons, bis eine Anforderung sie rechtfertigt. Ein Plattformteam mit zwingender privater Grenze sollte LiteLLM nutzen und den Verantwortlichen benennen, bevor der Proxy Datenverkehr erhält. Bei einem Enterprise-Governance-Projekt müssen Beschaffung und technische Validierung gleichzeitig starten, weil Aufbewahrung, Identität, Bereitstellung, Support und Exit-Bedingungen die Architektur gemeinsam prägen.

Die gemeldete Übernahme ist der Auslöser, nicht die Entscheidung. Entscheidend ist, ob der nächste Wechsel von Modell, Anbieter oder Gateway als kontrollierte Konfigurationsänderung statt als Neuentwicklung mit Notfallbudget bewältigt werden kann.

Häufig gestellte Fragen

Welches LLM Gateway ist das beste?

LiteLLM ist insgesamt die beste Wahl, wenn ein Plattformverantwortlicher das Gateway betreiben kann und das Unternehmen Wert auf Bereitstellungskontrolle legt. Vercel AI Gateway ist die beste verwaltete Standardlösung. Portkey ist stärker bei verwalteter Enterprise-Governance, OpenRouter während einer breiten Modellerkundung.

Welche Beispiele für AI Gateways gibt es?

Aktuelle Beispiele sind LiteLLM, Vercel AI Gateway, Portkey, Cloudflare AI Gateway, OpenRouter, Bifrost, Helicone, Braintrust Gateway, Requesty und Kong AI Gateway. Das Spektrum reicht von selbst gehosteten Proxys über verwaltete Gateways und Modellmarktplätze bis zu Observability-orientierten Lösungen und Enterprise-API-Plattformen.

Welches Open-Source AI Gateway ist das beste?

LiteLLM ist die beste Open-Source-Standardwahl, weil der Tarif für $0 insgesamt 100+ Anbieter mit virtuellen Schlüsseln, Budgets, Ratenlimits, Fallbacks, Protokollen und Prometheus verbindet. Bifrost ist die bessere Alternative, wenn explizite verschachtelte Wiederholungen, eine Go-Binärdatei oder dessen OpenTelemetry-Implementierung den Ausschlag geben.

Welches AI Gateway passt zu Startup und Enterprise?

Ein Startup sollte üblicherweise mit Vercel, Cloudflare oder Requesty beginnen, um keine interne Plattformaufgabe zu schaffen. Ein Enterprise entscheidet nach Governance und Bereitstellungsgrenze: Portkey für verwaltete Kontrollen, LiteLLM oder Bifrost für eigene Infrastruktur und Kong, wenn der API-Verkehr der Organisation dort bereits standardisiert ist.