LLM 라우터 비교: 2026년 멀티 모델 앱용 AI 게이트웨이 10선

플랫폼 담당자가 직접 운영할 수 있다면 멀티 모델 AI 앱에 가장 적합한 LLM 라우터는 LiteLLM입니다. 관리형 서비스가 필요하다면 Vercel AI Gateway가 가장 무난합니다. Stripe가 OpenRouter를 $8 billion 이상에 인수하기로 했다는 보도는 선택 기준을 분명히 보여줍니다. 프로덕션 앱이라면 코드를 다시 작성하지 않고도 우회할 수 있는 게이트웨이를 써야 합니다.

Axios는 2026년 8월 17일, Stripe가 현금과 주식으로 $8 billion 이상을 지급하고 OpenRouter를 인수하는 데 합의했다고 보도했습니다. 다만 양사는 입장을 밝히지 않았으며 공식 발표도 나오지 않은 상태라고 Axios는 덧붙였습니다. 이 구분은 중요하지만, 거래 성사 여부와 관계없이 운영 측면의 교훈은 같습니다. 게이트웨이가 모델 공급자 종속을 없애려면 게이트웨이 자체가 새로운 종속 지점이 되어서는 안 됩니다.

한눈에 보는 선택: 어떤 LLM 라우터가 맞을까?

통제권이 중요하면 LiteLLM, 관리 편의성이 우선이면 Vercel AI Gateway, 엔터프라이즈 거버넌스가 필요하면 Portkey를 선택하는 것이 좋습니다. OpenRouter는 폭넓은 카탈로그가 사용량 비례 수수료와 공급업체 의존성 증가를 감수할 만큼 가치 있을 때만 선택해야 합니다. AI 게이트웨이는 애플리케이션과 모델 공급자 사이에서 요청을 중개하는 계층입니다. API를 표준화하고, 인증 정보를 보관하며, 트래픽을 라우팅하고, 실패한 요청을 재시도하고, 비용을 기록하고, 정책을 적용할 수 있습니다.

아래 가격과 제품 한도는 각 공급업체의 실제 페이지를 기준으로 2026년 8월 18일 확인했습니다. 총 10개 제품을 비교했으며, 기능 이름의 개수보다 구매자가 프로덕션에서 실제로 마주칠 한계를 중심으로 순위를 매겼습니다.

첫 번째 판단 기준은 기능 수가 아니라 요청 경로를 누가 소유하는가입니다. 셀프 호스팅 게이트웨이는 프로세스, 인증 정보, 데이터베이스, 로그, 정책을 자사 환경에 둘 수 있지만 장애 대응도 자사 팀의 몫입니다. 관리형 게이트웨이는 운영 부담을 덜어주는 대신, 해당 서비스의 장애와 가격 변경, 인수, 제품 로드맵이 모든 모델 호출에 영향을 줍니다.

비용의 경계는 기능 소개 페이지에서 보이는 것보다 선명합니다. 셀프 호스팅 게이트웨이 운영에 매달 플랫폼 업무 8시간이 들고, 시간당 완전 원가가 $150라고 가정해 보겠습니다. 이는 공급업체 견적이 아니라 월 $1,200이라는 예시용 운영 비용입니다. 월 모델 지출이 $21,818이면 5.5% 게이트웨이 수수료가 $1,200에 도달하고, 5% 수수료는 $24,000에서 같은 금액이 됩니다.

이 계산은 예산만 비교한 것입니다. 배포 경계, 규제 대상 데이터 경로, 공급자 계약, 필수 감사 추적 요건이 있다면 재무적 손익분기점보다 훨씬 전에도 셀프 호스팅이 타당할 수 있습니다. 반대로 소규모 스타트업이라면 엔지니어 하루치보다 적은 수수료를 아끼겠다고 내부 플랫폼 업무를 새로 만들 필요는 없습니다.

AI 게이트웨이가 이제 예산 항목이자 탈출 계획인 이유

모델이 빠르게 바뀌기 때문에 게이트웨이는 유용하지만, 게이트웨이 없이는 애플리케이션을 실행할 수 없는 순간 위험해집니다. OpenRouter 보도는 Palo Alto Networks가 Portkey 인수를 완료하고 Portkey를 Prisma AIRS의 핵심 구성 요소로 편입하겠다고 밝힌 지 3개월도 지나지 않아 나왔습니다. 한 분기 안에 독립 제어 계층 두 곳이 더 큰 플랫폼으로 들어갈 수 있다는 뜻입니다. 이 시장에서는 소유권 변경을 예외가 아니라 예상 가능한 일로 봐야 합니다.

사업 측면에서 나타나는 결과는 집중 위험입니다. 멀티 모델 애플리케이션은 한 워크플로에는 OpenAI, 다른 워크플로에는 Anthropic, 대량 백그라운드 작업에는 오픈 모델을 사용할 수 있습니다. 세 모델을 하나의 게이트웨이 뒤에 두면 코드, 결제, 정책, 관측 가능성이 단순해집니다. 동시에 한 번의 가격 또는 정책 변경이 세 모델 모두에 영향을 줄 수도 있습니다.

안전한 구조는 세 계층으로 나뉩니다.

• 내부 모델 클라이언트는 텍스트 생성, 구조화 출력, 임베딩, 툴 사용 등 앱에 필요한 소수의 연산을 정의합니다.
• 게이트웨이 어댑터는 게이트웨이 전용 헤더가 코드베이스 전체로 새어 나가지 않도록 해당 연산을 선택한 게이트웨이에 매핑합니다.
• 공급자 직접 연결 어댑터는 평소 프로덕션 트래픽을 받지 않더라도 설정과 문서를 항상 유지합니다.

이 구조가 이 가이드에서 말하는 10분 내 탈출을 가능하게 합니다. 운영자는 비즈니스 로직을 바꾸지 않고 설정과 통제된 배포만으로 하나의 프로덕션 워크로드를 게이트웨이 밖으로 우회할 수 있어야 합니다. 10분은 공급업체 SLA가 아니라 이 글에서 제시하는 운영 목표입니다. 게이트웨이를 우회하려고 클라이언트를 다시 작성하거나, ID 체계를 새로 설계하거나, 모든 모델 이름을 마이그레이션해야 한다면 게이트웨이가 모델 공급자보다 애플리케이션을 더 강하게 지배하는 셈입니다.

자동 폴백 같은 기능을 꼼꼼히 검토해야 하는 이유도 여기에 있습니다. 폴백은 애플리케이션이 기대하는 응답 프로토콜, 툴 스키마, 데이터 정책, 비용 한계를 그대로 지킬 때만 유용합니다. 다른 모델에서 HTTP 응답을 성공적으로 받아도 구조화 출력이 달라지거나 툴 호출이 호환되지 않으면 애플리케이션 관점에서는 실패입니다.

게이트웨이 아래의 추론 계층을 더 자세히 보고 싶다면 가장 저렴한 AI API 비교에서 모델 가격과 라우팅 수수료를 구분해 확인할 수 있습니다. 고객용 애플리케이션이 아니라 개발자 툴이 당장의 용도라면 코딩 에이전트용 AI 게이트웨이 가이드에서 코딩 에이전트 설정과 저장소별 비용 귀속을 더 집중적으로 다룹니다.

AI 모델 라우팅 도구 10종을 선정한 기준

이 순위는 모델 수보다 전환 가능성과 운영 적합성을 먼저 평가했습니다. 수백 개 모델을 제공하는 카탈로그는 탐색 단계에서는 유용하지만, 프로덕션 애플리케이션이 승인된 경로 3개로 표준화된 뒤에는 대부분 중요하지 않습니다.

각 게이트웨이는 다음 5가지 기준으로 평가했습니다.

1. 이식성: 앱이 자체 공급자 계정, 모델 이름, 정책, 직접 연결 경로를 유지할 수 있는가?
2. 결정론적 복원력: 운영자가 재시도, 공급자 순서, 폴백 동작, 요청 중단 조건을 통제할 수 있는가?
3. 비용 가시성: 애플리케이션, 고객, 팀, 키별로 비용을 귀속할 수 있으며 공개 가격으로 수수료를 예측할 수 있는가?
4. 거버넌스 경계: 구매자의 배포, ID, 보존, 감사, 데이터 레지던시 요건을 충족할 수 있는가?
5. 운영 성숙도: 실제 사용 가능한 상태이며, 지원·관측이 가능하고 도입 단계에 맞는 가격이 책정되어 있는가?

이번 비교는 가격과 문서를 검증한 결과이지, 제품 체험을 가장한 리뷰가 아닙니다. 실제 배포, 부하 테스트, 구독을 했다고 주장하지 않습니다. 모든 요금제, 한도, 구체적 기능은 2026년 8월 18일 확인한 공급업체 페이지를 근거로 하며, 비용 비교는 해당 입력값에 산술 계산을 적용한 것입니다.

현재 멀티 모델 앱의 요청 경로에 실제로 배치할 수 있는 제품만 후보로 좁혔습니다. 단일 클라우드의 모델 카탈로그도 적절한 플랫폼이 될 수 있지만 중립적인 라우팅은 아닙니다. 로드맵에만 있는 제품을 지금 배포하고 가격을 확인할 수 있는 게이트웨이보다 높게 평가할 수는 없습니다.

1. LiteLLM: 앱이 소유하는 제어 계층에 가장 적합

담당 플랫폼 운영자가 있다면 LiteLLM이 종합적으로 가장 좋은 AI 게이트웨이입니다. 오픈소스 프록시로 100+개 공급자를 하나의 OpenAI 호환 API 뒤에 연결하며, 가상 키, 팀, 지출 추적, 예산, 속도 제한, 폴백, 요청·응답 로그, Prometheus 메트릭을 제공합니다.

가장 적합한 대상: 셀프 호스팅 방식으로 앱이 소유하는 게이트웨이가 필요한 제품 회사
차별점: $0 OSS 요금제에 폭넓은 공급자 지원과 예산, 키, 폴백, 메트릭 포함
가격: Open Source $0; Enterprise는 용량, 아키텍처, 지원 범위에 따른 연간 맞춤 견적
무료 체험: 신용카드 없이 Enterprise 30일 체험; OSS는 계속 무료

LiteLLM의 실시간 가격 페이지는 소프트웨어 제공 범위를 명확히 구분합니다. Open Source는 프로덕션 셀프 호스팅에도 무료입니다. Enterprise는 토큰 사용량에 따라 과금하지 않으며 요청 용량, 배포 아키텍처, 지원 요구 사항을 기준으로 연간 견적을 냅니다. Enterprise에는 SSO와 SCIM, OIDC 또는 JWT 인증, 감사 로그, 시크릿 관리자 연동, 키 순환, 멀티 리전 제어 계층, 에어갭 배포, 최대 24/7 지원이 추가됩니다.

$0이라는 표기는 맞지만 전부를 설명하지는 않습니다. 프록시, Postgres, 시크릿, 스케일링, 업그레이드, 공급자 API 변경, 로그 저장소, 대시보드, 장애는 모두 자사 팀이 책임집니다. 시간당 $150로 8시간을 운영한다는 예시에서는 인프라 비용을 제외하고도 소유 비용이 매월 $1,200입니다. 월 모델 지출이 $21,818을 넘으면 5.5% 수수료 방식보다 LiteLLM이 재무적으로 유리해지지만, 규제 대상 배포 환경이라면 비용 절감보다 통제권을 이유로 훨씬 일찍 선택할 수 있습니다.

Docker 빠른 시작 문서에 따르면 curl -sSL https://docs.litellm.ai/docker-compose.yml | docker compose -f - up -d로 게이트웨이와 Postgres를 실행한 뒤 4000번 포트에서 관리자 UI를 열 수 있습니다. 평가용으로는 유용하지만 완성된 프로덕션 설계는 아닙니다. 같은 가이드는 영구 인증 정보를 추가하기 전에 임시 LITELLM_SALT_KEY를 반드시 교체해야 하며, 이후에는 값을 바꾸면 안 된다고 경고합니다. 기존 값으로 암호화한 공급자 키는 새 값으로 복구할 수 없기 때문입니다.

프로덕션에서 부딪히는 가장 큰 벽은 소유 주체가 불명확하다는 점입니다. LiteLLM은 훌륭한 플랫폼 구성 요소지만 틈날 때 관리하는 사이드 프로젝트에는 맞지 않습니다. 프록시가 '처음 추가한 사람'의 몫으로 남으면 공급자 변경 한 번으로 애플리케이션 엔지니어 한 명이 예산, 온콜 체계, 업그레이드 정책도 없이 게이트웨이 팀 역할까지 떠안을 수 있습니다.

1. 1

   폐기 가능한 배포 환경부터 시작합니다

   프로덕션이 아닌 계정에서 공식 Docker Compose 빠른 시작을 사용합니다. 게이트웨이와 Postgres가 실행되는지 확인하고 임시 시크릿을 교체하며, 이 환경을 고객 트래픽과 분리합니다.

2. 2

   이름이 있는 경로 2개만 노출합니다

   기본 모델과 호환되는 폴백 하나만 추가합니다. support-primary, support-fallback처럼 안정적인 내부 별칭을 사용해 애플리케이션 코드가 각 공급자의 공개 모델 문자열에 의존하지 않도록 합니다.

3. 3

   애플리케이션 전용 가상 키를 발급합니다

   서비스 하나에 전용 가상 키를 만들고 모델 접근 범위, 월 예산, 속도 제한을 따로 설정합니다. LiteLLM 마스터 키를 애플리케이션 워크로드에 배포하지 않습니다.

4. 4

   직접 연결 어댑터를 유지합니다

   기능 플래그를 통해 같은 서비스가 기본 공급자를 직접 호출할 수 있도록 설정합니다. 기본값은 게이트웨이 경로이며, 공급자 경로는 테스트를 마친 우회로로 둡니다.

5. 5

   기본 경로를 의도적으로 실패시킵니다

   통제된 방식으로 사용할 수 없는 경로를 만들고 로그에서 폴백을 확인한 뒤, 직접 연결 어댑터를 활성화해 전환 시간을 측정합니다. 우회 경로가 10분 내 탈출 목표를 충족하지 못하면 트래픽을 늘리기 전에 추상화 계층을 수정합니다.

2. Vercel AI Gateway: 가장 무난한 관리형 선택

Vercel AI Gateway는 토큰 마크업 없이 하나의 엔드포인트를 원하는 제품 팀에 가장 무난한 관리형 선택입니다. 공급자 필터링과 순서 지정, 모델 폴백을 제어할 수 있으며 최근 가동 시간과 지연 시간에 따라 공급자를 고를 수도 있습니다.

가장 적합한 대상: 빠른 관리형 도입을 중시하는 스타트업과 제품 팀
차별점: 공급자 정가로 토큰을 제공하며 게이트웨이 마크업 없음
가격: Free는 매월 $5 크레딧 포함; Paid는 구매한 크레딧을 공급자 정가로 사용
무료 체험: 대상 모델에 상시 Free 티어 제공, 모델별 한도는 더 낮음

현재 가격 페이지는 무료와 유료 상태를 명확히 구분합니다. Free에는 매월 $5 크레딧이 포함됩니다. 크레딧을 구매하면 계정이 Pay as you go로 전환되어 사용 가능한 모든 모델이 열리고 한도가 높아지는 대신, 매월 제공되던 $5 크레딧은 끝납니다. 두 티어 모두 공급자 정가를 적용하고 토큰 마크업은 없습니다.

Bring Your Own Key는 계정을 Paid로 전환한 뒤에만 사용할 수 있습니다. Vercel은 BYOK에 게이트웨이 수수료를 부과하지 않지만, 고객 인증 정보로 보낸 요청이 실패하면 Vercel 시스템 인증 정보로 재시도하고 그 비용을 게이트웨이 크레딧 잔액에서 차감할 수 있습니다. 가용성에는 도움이 되지만 모든 사용량이 기존 공급자 계약 안에서 처리된다는 재무 가정에는 어긋날 수 있습니다. BYOK를 구매 절차의 지름길로 활용하기 전에 이 동작을 검토해야 합니다.

토큰 계층에는 마크업이 없지만 일부 제어 기능은 유료입니다. Custom Reporting은 쓰기 1,000건당 $0.075, 리포트 쿼리 1,000건당 $5입니다. 팀 전체 공급자 허용 목록은 성공한 요청 1,000건당 $0.10이지만, 요청별 only 필터는 추가 비용이 없습니다. 팀 전체 zero data retention 역시 요청 1,000건당 $0.10입니다. 트레이스 드레인은 트레이스 1,000건당 $0.05에 송신 1GB당 $0.50이 추가됩니다.

요청 100만 건에 팀 전체 허용 목록과 팀 전체 ZDR을 켜고 요청마다 트레이스 하나를 남기면 트레이스 송신 비용 외에 $250가 추가됩니다. 많은 앱에서 모델 지출에 비하면 여전히 크지 않지만, '마크업 없음'을 '모든 제어 기능이 무료'라는 뜻으로 받아들여서는 안 됩니다.

한계는 배포 소유권입니다. Vercel이 게이트웨이를 관리하므로 자사 클러스터 안에서 데이터 플레인을 직접 운영할 수 없습니다. 관리형 경계를 수용할 수 있고 운영 속도가 중요하다면 적합합니다. 프라이빗 배포가 선호 사항이 아니라 필수 요건이라면 LiteLLM이나 Bifrost를 선택해야 합니다.

3. Portkey: 관리형 엔터프라이즈 거버넌스에 가장 적합

Portkey는 정책, 가드레일, 예산, 프라이빗 배포 옵션이 구매의 핵심이라면 가장 좋은 관리형 선택입니다. 범용 API에 재시도, 타임아웃, 폴백, 로드 밸런싱, 캐싱, 가상 키, 관측 가능성을 결합했습니다.

가장 적합한 대상: 관리형 거버넌스를 구매하려는 중견·엔터프라이즈 팀
차별점: 공개된 Production 티어와 프라이빗 클라우드·VPC 호스팅을 위한 Enterprise 경로
가격: Open Source 셀프 호스팅; Developer $0; Production $49/month; Enterprise 맞춤 견적
무료 체험: 프로토타입과 평가용 Developer는 계속 무료

가격 페이지는 티어별 경계를 이례적으로 명확하게 보여줍니다. Developer는 매월 로그 10,000건을 기록하고, 로그는 3일, 메트릭은 30일 보관하며, 프로덕션에는 적합하지 않다고 명시합니다. Production은 매월 $49이며 기록 로그 100,000건을 포함합니다. 300만 건까지 100,000건이 추가될 때마다 $9를 부과하고, 로그는 30일, 메트릭은 90일 보관합니다.

기록 로그 100만 건을 처리할 때 Production 비용은 월 $130입니다. 기본료 $49에 $9 초과 블록 9개를 더한 값입니다. 성장 중인 앱도 접근하기 쉬운 수준입니다. 같은 페이지는 맞춤 보안 제어나 데이터 레지던시 보장이 필요하다면 Production을 권장하지 않는다고 밝힙니다. 이런 구매자는 1,000만 건 이상의 기록 로그, 맞춤 보존 기간, SSO, 세분화된 예산과 한도, 프라이빗 클라우드, VPC 호스팅, 데이터 레이크 내보내기, 고급 컴플라이언스를 제공하는 Enterprise로 이동해야 합니다.

제품의 한계는 기능이 아니라 구매 범위에서 드러납니다. 기본 URL과 폴백만 필요한 스타트업은 Portkey가 제공하도록 설계된 조직적 가치보다 적은 것만 사용하게 됩니다. 반면 여러 애플리케이션과 승인 모델 정책, PII 제어, 감사 요건을 가진 플랫폼 팀이라면 같은 기능을 매주 활용할 수 있습니다.

소유권 변경과 관련해서는 구매 단계에서 확인할 질문이 있습니다. Palo Alto Networks는 2026년 5월 29일 Portkey 인수를 완료했으며 Portkey가 Prisma AIRS의 핵심 AI Gateway가 될 것이라고 밝혔습니다. 보안 연동과 엔터프라이즈 지원이 강화될 수 있지만 패키징과 로드맵 우선순위가 달라질 수도 있습니다. 계약서에 어떤 제품명이 기재되는지, 독립 계정이 Prisma AIRS에 어떻게 연결되는지, 향후 통합 뒤에도 어떤 내보내기 경로가 유지되는지 확인해야 합니다.

4. Cloudflare AI Gateway: 저비용 엣지 제어에 가장 적합

Cloudflare가 이미 애플리케이션의 엣지, 보안 또는 Workers 런타임을 담당한다면 Cloudflare AI Gateway가 가장 경제적입니다. 핵심 분석, 캐싱, 속도 제한 기능은 모든 요금제에서 무료입니다.

가장 적합한 대상: Cloudflare 네트워크와 보안 제어를 이미 사용하는 앱
차별점: 무료 DLP 검사를 포함한 $0 핵심 게이트웨이
가격: 핵심 기능 $0; Unified Billing 크레딧 구매 시 5% 추가; 가드레일은 Workers AI 가격 적용
무료 체험: 핵심 기능은 만료 없이 계속 무료

Cloudflare의 실시간 가격 문서는 무료 제공 범위의 저장 한도를 구체적으로 밝힙니다. Workers Free는 계정의 모든 게이트웨이를 합쳐 로그 100,000건을 저장합니다. Workers Paid는 게이트웨이마다 1,000만 건을 저장합니다. DLP 검사는 무료이지만 Zero Trust 구독이 없는 계정에는 사전 정의 DLP 프로필이 2개만 제공됩니다. 가드레일 평가는 Workers AI 토큰 추론 비용으로 별도 과금됩니다.

Unified Billing으로 크레딧을 구매하면 5%가 부과되지만, 서드파티 추론 가격에는 토큰 마크업이 붙지 않습니다. 월 $20,000의 크레딧을 구매하면 수수료는 $1,000입니다. 5%는 Unified Billing으로 구매한 크레딧에 적용되며 $0 핵심 게이트웨이에 붙는 비용은 아닙니다.

출시 전에 확인해야 할 처리량 한계도 있습니다. 현재 한도 페이지에 따르면 Unified Billing 트래픽은 게이트웨이당 60초에 200건으로 제한되며 이를 넘으면 429를 반환합니다. BYOK 트래픽에는 이 한도가 적용되지 않습니다. Cloudflare는 저장 로그를 게이트웨이당 초당 500건, 캐시 가능 요청을 25 MB, 캐시 TTL을 1개월, 맞춤 메타데이터를 요청당 5개로 제한합니다.

한계는 주변 플랫폼과의 적합성입니다. 팀이 이미 Cloudflare의 계정 모델, 로그, DLP, Workers, 엣지 동작에 익숙하다면 강력한 선택입니다. 반면 월 $49 게이트웨이 구독을 피하려고 이 개념을 모두 새로 도입한다면 매력이 떨어집니다. 표시 가격이 가장 낮은 게이트웨이가 더 큰 통합 비용을 만들 수 있습니다.

5. OpenRouter: 최고의 모델 마켓플레이스지만 단독 경로로는 위험

모델과 공급자의 폭넓은 선택지가 아직 핵심 과제라면 OpenRouter가 가장 좋은 게이트웨이입니다. Pay-as-you-go 요금제는 하나의 계정으로 80+개 공급자의 400+개 모델을 제공합니다.

가장 적합한 대상: 빠른 모델 탐색, 공급자 비교, 폭넓은 카탈로그 접근
차별점: 가격, 처리량, 지연 시간, 정책, 가용성에 따른 세밀한 공급자 라우팅
가격: Free $0; Pay as you go 플랫폼 수수료 5.5%; Enterprise는 할인 포함 맞춤 견적
무료 체험: 25+개 모델, 4개 공급자, 일 50건 요청을 제공하는 Free 티어

실시간 가격 페이지에는 3개 티어가 있습니다. Free는 4개 공급자의 무료 모델 25+개를 일 50건까지 제공합니다. Pay as you go는 최소 지출 없이 400+개 모델, 80+개 공급자, 높은 글로벌 한도를 제공하고 플랫폼 수수료 5.5%를 받습니다. Enterprise는 같은 카탈로그에 수수료 할인, 청구서 결제, SSO 또는 SAML, 계약상 SLA, 공유 Slack 기반 지원 SLA를 추가합니다.

BYOK는 수수료 경계를 바꿉니다. Pay as you go는 월 $25,000의 정가 추론까지 BYOK 수수료가 없고, 이후에는 5%를 부과합니다. Enterprise는 무료 범위를 $200,000까지 높인 뒤 5%를 부과합니다. 공급자와 직접 약정이 있는 구매자는 BYOK 허용량과 구매한 OpenRouter 크레딧을 분리해 계산해야 합니다.

OpenRouter의 강점은 깊이 있는 라우팅입니다. 공급자 선택 문서에 따르면 기본 설정은 직전 30초 동안 심각한 장애가 있었던 공급자를 제외한 뒤, 안정적인 저비용 공급자에 가격 역제곱 방식으로 가중치를 주고 나머지를 폴백으로 사용합니다. 운영자가 가격, 처리량, 지연 시간으로 정렬하거나, 특정 공급자 순서를 지정하거나, 폴백을 끌 수도 있습니다. 파라미터 지원을 필수화하고, 데이터를 수집하는 공급자를 거부하고, zero-data-retention 엔드포인트를 요구하거나, 가격 상한을 둘 수도 있습니다.

이 제어 기능은 가동 시간과 비용 효율을 함께 높일 수 있습니다. 동시에 기본 동작 자체가 프로덕션 계약의 일부가 됩니다. 애플리케이션에 구조화 출력이나 툴 사용이 필요하다면 한 모델 슬러그 아래의 모든 엔드포인트가 똑같이 동작한다고 가정하지 말고 require_parameters와 허용 목록을 설정해야 합니다.

구매 크레딧이 월 $20,000이면 5.5%는 월 $1,100입니다. 셀프 호스팅의 예시 월 비용 $1,200보다 아직 낮습니다. 안정화된 셀프 호스팅 게이트웨이의 운영 부담은 일정 수준에서 평탄해질 수 있지만 사용량 비례 수수료는 계속 늘어나므로, 지출이 $21,818을 넘으면 비교를 다시 해야 합니다.

보도된 Stripe 합의는 의존성 비용을 높일 뿐, 당장 마이그레이션해야 한다는 뜻은 아닙니다. OpenRouter는 이 순위에서 여전히 가장 폭넓은 마켓플레이스입니다. 공급자 직접 연결 어댑터, 내보낸 정책, 테스트를 마친 우회 경로를 준비하는 것이 합리적인 대응입니다. 수수료와 BYOK의 경계는 OpenRouter 가격 심층 분석에서 더 자세히 다룹니다.

6. Bifrost: 재시도를 명확히 제어하는 최고의 OSS 대안

명확한 재시도 동작, OpenTelemetry, 간결한 게이트웨이 구성을 원하는 팀에는 Bifrost가 가장 좋은 오픈소스 대안입니다. OSS 티어는 계속 무료이며 Docker, Kubernetes 워크로드, Go 바이너리로 실행할 수 있습니다.

가장 적합한 대상: 복원력 동작을 투명하게 통제하면서 셀프 호스팅하려는 플랫폼 팀
차별점: 중첩 재시도·폴백 동작과 요청별 라우팅 추적
가격: OSS $0; Enterprise 맞춤 견적
무료 체험: Enterprise 14일 체험

Bifrost 가격 페이지에 따르면 OSS에는 1,000+개 모델을 위한 단일 OpenAI 호환 API, OTel 메트릭과 트레이스, 관측 가능성, 가상 키별 예산과 한도, 맞춤 라우팅, 자동 폴백, 캐싱, MCP 게이트웨이가 포함됩니다. Enterprise는 VPC, 온프레미스, 에어갭 배포, 클러스터 모드, 적응형 로드 밸런싱, SAML과 OIDC, 볼트 연동, 감사 로그, RBAC, SLA 기반 지원을 추가합니다.

Bifrost의 재시도·폴백 문서는 동작을 이례적으로 구체화합니다. 네트워크 오류와 5xx 응답은 같은 공급자에 재시도합니다. 속도 제한과 키별 실패가 발생하면 인증 정보를 교체할 수 있습니다. 기본 경로가 재시도 예산을 모두 소진한 뒤에야 다음 폴백으로 넘어가며, 각 폴백에는 자체 재시도 예산 전체가 다시 주어집니다.

이처럼 명확한 규칙은 재시도 횟수가 불어날 수 있다는 한계도 드러냅니다. 기본 경로에서 3회 재시도하고 2개 폴백이 각각 3회 재시도한다면 오류를 반환하기까지 최대 12번 시도할 수 있습니다. 대화형 앱에서는 공급자 장애가 지연 시간 증가와 비용 상승으로 번질 수 있습니다. 전체 지연 시간 예산을 설정하고, 보안이나 컴플라이언스 오류는 허용하는 쪽으로 넘어가지 말고 재시도 체인을 중단하게 해야 합니다.

Bifrost와 가장 직접적으로 경쟁하는 제품은 LiteLLM입니다. LiteLLM은 익숙한 생태계와 확립된 제어 계층의 폭에서 앞섭니다. Bifrost는 Go 기반의 가벼운 구성, 명시적인 라우팅 추적, 재시도 의미 체계가 플랫폼 팀의 운영 방식에 더 잘 맞을 때 유리합니다. 어느 쪽이든 프록시 운영 예산을 배정받은 담당자가 없다면 적합하지 않습니다.

7. Helicone: 관측 가능성을 우선하는 최고의 게이트웨이

세션 디버깅과 지출 원인 파악이 라우팅만큼 중요하다면 Helicone이 가장 적합합니다. 마크업 없는 게이트웨이에 관측 가능성, 캐싱, 속도 제한, 자동 폴백, 프롬프트 관리, 요청 검색을 결합합니다.

가장 적합한 대상: 프로덕션 모델 동작을 이해하는 일이 가장 큰 과제인 팀
차별점: 게이트웨이 트래픽이 관측·디버깅 제품으로 바로 연결됨
가격: Hobby 무료; Pro $79/month; Team $799/month; Enterprise 맞춤 견적
무료 체험: Pro와 Team 7일

가격 페이지는 업그레이드 시점을 명확히 보여줍니다. Hobby에는 요청 10,000건, 저장 공간 1 GB, 사용자 1명, 조직 1개, 7일 보존, 분당 로그 10건이 포함됩니다. Pro는 월 $79이며 사용자 수에는 제한이 없고, 조직 1개, 1개월 보존, 분당 로그 1,000건, 분당 API 호출 10건을 제공합니다. 포함된 요청·저장량을 넘으면 사용량 요금이 붙습니다.

Team은 월 $799이며 조직 5개, 3개월 보존, 분당 로그 15,000건, 분당 API 호출 60건, SOC 2와 HIPAA 지원, 전용 Slack 채널을 제공합니다. Enterprise는 맞춤 견적이며 조직 수 무제한, 영구 보존, 분당 로그 30,000건, 분당 API 호출 1,000건, SAML SSO, 온프레미스 배포, 맞춤 상업 조건을 추가합니다.

플랫폼 문서는 2가지 운영 모드를 설명합니다. 100+개 모델에서 마크업 없이 쓰는 패스스루 크레딧과 공급자 결제를 유지하려는 팀을 위한 BYOK입니다. 두 방식 모두 요청 단위 관측 가능성을 유지합니다. 이것이 얇은 프록시와 구별되는 Helicone의 장점입니다. 실패한 사용자 상호작용을 공급자 오류 횟수로만 보는 대신 세션 전체에서 추적할 수 있습니다.

Hobby의 한계는 곧바로 나타납니다. 분당 로그 10건은 프로토타입을 살펴보기에는 충분하지만 실제 애플리케이션 다수에는 너무 적습니다. Pro의 분당 로그 1,000건이 중간 수준 트래픽에서 현실적인 첫 프로덕션 경계입니다. 구매자는 관측 제품과 게이트웨이를 함께 선택하는 것이므로 라우팅 계층이 무료라고 보지 말고 결합된 가치를 비교해야 합니다.

8. Braintrust Gateway: 평가가 출시를 결정할 때 가장 적합

트레이스가 평가, 데이터셋, 점수, 출시 검증으로 이어져야 한다면 Braintrust Gateway가 가장 잘 맞습니다. 하나의 API로 OpenAI, Anthropic, Google, AWS 등 여러 공급자를 지원하며 캐싱, 관측 가능성, 멀티 공급자 기능을 제공합니다.

가장 적합한 대상: 평가 결과로 라우팅 변경을 통제하는 AI 제품 팀
차별점: 게이트웨이 트레이스를 평가 플랫폼에 바로 연결
가격: Starter $0; Pro $249/month; Enterprise 맞춤 견적; 호스팅 Gateway는 베타 기간 무료
무료 체험: Starter는 신용카드 불필요; Gateway는 베타 기간 무료

Braintrust의 플랫폼 가격은 $0인 Starter부터 시작합니다. 처리 데이터 1 GB를 포함하고 이후 GB당 $4, 점수 10,000건을 포함하고 이후 1,000건당 $2.50이며, 보존 기간은 14일입니다. 사용자, 프로젝트, 데이터셋, 플레이그라운드, 실험 수에는 제한이 없습니다. Pro는 월 $249이며 처리 데이터 5 GB 이후 GB당 $3, 점수 50,000건 이후 1,000건당 $1.50, 보존 기간 30일을 제공합니다. 추가 보존 데이터는 월 GB당 $0.50입니다. Enterprise는 맞춤 견적입니다.

게이트웨이 자체의 상태는 다릅니다. Braintrust의 Gateway 문서는 호스팅 엔드포인트가 베타이며 무료로 사용 가능하고, 정식 출시 전에 가격을 발표한다고 밝힙니다. 글로벌 엔드포인트는 DNS 지연 시간 라우팅과 상태 확인을 활용해 여러 호스팅 리전에 연결합니다. 로깅을 켜면 게이트웨이 트레이스를 조직에 설정된 데이터 플레인에 기록할 수 있습니다.

이 연동은 구매 근거를 바꿉니다. 팀이 프로덕션 트레이스를 샘플링하고, 응답을 채점하고, 회귀 데이터셋을 만들고, 품질이 떨어질 때 출시를 차단한다면 게이트웨이가 계측 단계를 줄이고 근거를 트래픽에 계속 연결해 줍니다. 재시도와 지출 상한만 필요하다면 월 $249 Pro 플랫폼은 더 단순한 게이트웨이에 비해 정당화하기 어렵습니다.

한계는 향후 가격과 베타 상태입니다. 무료 베타도 프로덕션을 염두에 두고 설계할 수 있지만 안정적인 상업 과금 체계는 아직 없습니다. 공급자 직접 연결 우회 경로를 함께 두고, 정식 출시 전에 내부 가격 상한을 정하며, 일시적인 $0 게이트웨이 가격이 영구 아키텍처를 결정하게 해서는 안 됩니다.

9. Requesty: 사용량 비례 과금이 단순한 최고의 제어 계층

구독 없이 라우팅, 캐싱, 폴백, 예산, EU 데이터 레지던시를 원하는 소규모 팀에는 Requesty가 가장 좋은 사용량 비례 관리형 옵션입니다. Pay as you go는 20+개 공급자의 600+개 모델을 제공합니다.

가장 적합한 대상: 모델 사용량에 직접 연동되는 수수료를 선호하는 스타트업
차별점: 구독료, 좌석 요금, 최소 지출, 핵심 라우팅 제어의 별도 비용이 없음
가격: Free $0; Pay as you go 5% 추가; Enterprise 맞춤 견적
무료 체험: 신용카드 없이 무료 모델을 일 200건까지 쓰는 Free 티어

가격 페이지에 따르면 Free는 무료 모델을 일 200건까지 제공하고 라우팅, 캐싱, 폴백, 지출 분석, EU 데이터 레지던시도 포함합니다. Pay as you go는 기본 모델 비용에 5% 마크업을 적용하며 BYOK, 라우팅 정책, 캐싱, 폴백, 지출 한도, MCP Gateway, 고급 관측 가능성, 이메일 지원을 제공합니다. Enterprise는 SSO, RBAC, 감사 로그, 승인 모델 정책, 팀 예산, 가드레일, PII 탐지, 서비스 계정, 전담 지원, 맞춤 SLA를 추가합니다.

사용량 비례 방식은 초기 예산 계산이 단순합니다. 모델 지출이 $2,000이면 수수료는 $100입니다. $20,000이면 $1,000입니다. $24,000이면 예시로 든 월 셀프 호스팅 비용 $1,200과 같아집니다. 스타트업은 트래픽이 불확실한 동안 플랫폼 프로젝트를 피하고, 사용량이 안정되면 결정을 다시 검토할 수 있습니다.

단순한 과금 방식이 그대로 한계이기도 합니다. 게이트웨이 운영 업무가 늘지 않아도 수수료는 모델 지출에 따라 커집니다. 토큰 지출이 많고 플랫폼 팀과 기존 공급자 계약이 있는 회사라면 5%를 계속 지불하기 전에 Requesty의 Enterprise 견적이나 셀프 호스팅 프록시를 비교해야 합니다.

Requesty가 Helicone보다 낮은 순위인 이유는 이 비교에서 차별화된 프로덕션 근거 순환보다 효율적인 관리형 제어가 더 강한 장점이기 때문입니다. 그래도 구독 없이 예측 가능한 비율로 과금되는 것이 깊이 있는 평가나 엔터프라이즈 정책보다 중요하다면 더 나은 선택일 수 있습니다.

10. Kong AI Gateway: 기존 Kong 환경에 가장 적합

Kong이 이미 회사의 API를 관리하고 있고 AI 트래픽도 같은 운영 모델을 따라야 한다면 Kong AI Gateway가 가장 적합합니다. Plus에는 범용 LLM API, 최대 5개의 고유 프록시 모델, 무제한 에이전트 간 트래픽, 무제한 MCP 서버 프록시, PII 정제, 가드레일, 접근 제어, 토큰 속도 제한, 시맨틱 캐싱, 비용 분석이 포함됩니다.

가장 적합한 대상: Kong Konnect 또는 Kong Gateway를 이미 운영하는 엔터프라이즈
차별점: 더 넓은 API, ID, 포털, 서비스 거버넌스 플랫폼 안에서 AI 정책 적용
가격: 30일 체험 $0; Plus는 사용량 과금; Enterprise는 연간 맞춤 견적
무료 체험: 신용카드와 게이트웨이 한도 없이 30일

Kong의 실시간 가격 페이지는 Plus 과금 단위를 공개합니다. Serverless 제어 계층은 월 $25, Hybrid는 $200, Dedicated Cloud는 $500에 GB당 $0.15가 추가됩니다. Plus에는 API 요청 100만 건이 포함되며, 그 뒤에는 추가 100만 건당 $200를 부과하고 월 최대 1,000만 건까지 지원합니다.

AI 모델 프록시는 고유 LLM 모델마다 월 $100이 추가되며 Plus에서는 최대 5개로 제한됩니다. 따라서 Serverless 제어 계층 하나에서 모델 4개를 쓰는 앱은 모델 토큰 비용을 제외하고 월 $425부터 시작합니다. 제어 계층 $25에 모델 프록시 4개 비용 $400을 더한 값입니다. 유료 AI 플러그인은 Plus에서 별도 추가 상품이며 Enterprise에는 포함됩니다.

Enterprise는 게이트웨이와 모델 한도를 없애고 완전한 셀프 호스팅 API 게이트웨이를 지원합니다. 감사 로그, SSO, 전담 지원, 전문 서비스, 더 높은 SLA도 추가합니다. 가격은 맞춤 견적이며 연 단위로 청구합니다.

한계는 플랫폼의 무게입니다. API 거버넌스, 제어 계층, ID, 분석, 서비스 카탈로그, 지원 예산이 이미 있다면 Kong이 합리적입니다. 신규 멀티 모델 앱이라면 제품에 필요하다는 사실을 입증하기도 전에 제어 계층, 모델, 요청 단위로 과금되고 관련 개념까지 늘어납니다. Vercel, Cloudflare, Requesty 또는 OSS 프록시라면 더 작은 결정부터 빠르게 시작할 수 있습니다.

팀과 상황별로 어떤 게이트웨이를 골라야 할까?

출시를 막을 수 있는 제약부터 찾고, 그다음 수수료를 비교해야 합니다. 아무리 라우팅이 정교해도 배포 경계가 맞지 않으면 소용없고, 수수료가 저렴해도 감사나 롤백 제어가 빠져 있다면 좋은 선택이 아닙니다.

프라이빗 배포가 필요하지 않고 승인 모델 수가 적은 고객용 앱을 출시하는 스타트업이라면 Vercel AI Gateway를 선택합니다. Cloudflare가 이미 엣지와 보안 계층을 담당한다면 Cloudflare로, 플랫폼 구독보다 5% 사용량 수수료가 예산에 더 잘 맞는다면 Requesty로 선택이 바뀝니다.

플랫폼 담당자와 기존 컨테이너·데이터베이스 표준이 있는 제품 회사라면 LiteLLM을 선택합니다. 명확한 데이터 경로 요건이 있거나, 앞서 밝힌 운영 가정에서 월 모델 지출이 약 $22,000~$24,000을 넘어가는 경우도 해당합니다. Bifrost의 재시도 의미 체계, Go 배포, OTel 우선 모델이 팀에 더 잘 맞는다면 Bifrost로 선택이 바뀝니다.

관리형 ID, 가드레일, 예산, 보존, 프라이빗 배포 옵션, 지원이 필요한 중견·엔터프라이즈 구매자라면 Portkey를 선택합니다. 회사의 API 플랫폼이 이미 Kong이고 제어 통합이 모델별 과금보다 중요하다면 Kong으로 바뀝니다.

요청 조사, 세션 디버깅, 지출 귀속이 일상 업무라면 Helicone을 선택합니다. 같은 트레이스를 평가와 출시 검증에 사용해야 한다면 **Braintrust Gateway**가 맞습니다. Braintrust는 베타이므로 공급자 직접 우회 경로와 내부 가격 상한을 반드시 둬야 합니다.

소규모 기술 팀이 여러 모델을 비교하는 단계이거나 폭넓은 공급자 마켓플레이스가 필요하다면 OpenRouter를 선택합니다. 공급자 직접 연결 경로도 유지해야 합니다. 앱에서 승인 모델 몇 개가 표준으로 자리 잡으면 5.5% 크레딧 수수료를 Vercel의 토큰 마크업 없음, Requesty의 5%, 또는 예산을 배정한 셀프 호스팅과 다시 비교합니다.

전환 조건은 명확합니다. 현재 부족한 비용 또는 통제의 가치가 다음 옵션으로 옮기고 운영하는 부담보다 커지는 순간 게이트웨이를 바꿉니다. 경쟁사의 기능 목록이 더 길다는 이유로 마이그레이션해서는 안 됩니다. 현재 게이트웨이가 측정된 지연 시간 예산, 배포 경계, 감사 요건, 수수료 상한, 탈출 목표를 충족하지 못할 때 옮겨야 합니다.

프로덕션의 유일한 경로로 피해야 할 선택

상업적 조건이나 운영 경계가 아직 변하는 중인 게이트웨이를 유일한 경로로 두지 마십시오. 서로 다른 이유로 특별히 주의해야 할 선택은 3가지입니다.

보도된 소유권 전환이 진행되는 동안에는 OpenRouter를 프로덕션의 유일한 경로로 쓰지 않는 편이 좋습니다. 카탈로그와 라우팅은 여전히 훌륭하며, 약관이 악화될 것이라고 단정할 근거도 없습니다. 문제는 모델 접근, 공급자 정책, 크레딧, 폴백 동작이 모두 하나의 계정에 집중된다는 점입니다. 그 바깥에 공급자 직접 연결 키 하나와 테스트를 마친 어댑터를 유지해야 합니다.

Braintrust Gateway가 베타인 동안에는 유일한 경로로 쓰지 마십시오. Braintrust는 호스팅 게이트웨이가 프로덕션을 고려해 설계되었고 가동 시간을 공개적으로 추적하며 베타 기간 무료라고 밝힙니다. 동시에 정식 출시 전에 가격을 발표한다고도 합니다. $0를 파일럿 가격으로 보고, 얼마가 되면 옮길지 미리 정하며, 우회 경로를 언제든 쓸 수 있게 유지해야 합니다.

회사가 Kong을 이미 운영하지 않는다면 Kong AI Gateway를 신규 환경의 기본 선택으로 삼지 않는 편이 좋습니다. Serverless Plus 제어 계층 하나에서 프록시 모델 4개를 쓰면 추론 비용 전에 월 $425부터 시작하고, 구매자는 Kong의 제어 계층과 API 프로그램 개념도 함께 도입해야 합니다. 기존 Kong 고객에게는 훌륭한 통합이 될 수 있지만 새 앱에는 불필요하게 무거울 수 있습니다.

또한 2개 이상의 애플리케이션이 의존하게 된 자체 제작 패스스루를 피해야 합니다. 기본 URL 프록시는 만들기 쉽습니다. 하지만 올바른 스트리밍, 오류 표준화, 공급자별 파라미터, 폴백, 예산, 키 격리, 로그, 모델 지원 중단 처리는 유지·보수할 제품에 해당합니다. 고유 정책의 가치가 영구 소유 비용을 감당할 때만 직접 구축해야 합니다.

월요일에 할 일: 게이트웨이를 되돌릴 수 있는지 증명합니다

다음 주를 전사 마이그레이션으로 시작하지 마십시오. 프로덕션과 유사한 경로 하나로 시작해 10분 내 탈출을 입증해야 합니다. 목표는 보기 좋은 아키텍처 다이어그램이 아니라 측정 가능한 운영 결정을 얻는 것입니다.

1. 1

   경로 하나를 목록화합니다

   고객용 워크플로 하나를 골라 현재 공급자, 모델, 인증 방식, 월 지출, p95 지연 시간 목표, 구조화 출력 또는 툴 요건, 데이터 정책을 기록합니다. 어려운 부분이 드러날 만큼 대표적이면서도 롤백하기에는 충분히 작은 경로를 선택합니다.

2. 2

   내부 클라이언트 뒤에 게이트웨이를 둡니다

   게이트웨이 어댑터만 요청 경로로 옮깁니다. 공급자 전용 헤더, 모델 별칭, 폴백 정책이 비즈니스 로직에 들어가지 않게 합니다. 기존 직접 연결 설정은 게이트웨이 설정 옆에 그대로 보관합니다.

3. 3

   기본 모델 하나와 호환 폴백 하나를 설정합니다

   처음부터 복잡한 라우팅 트리를 만들지 않습니다. 같은 응답 프로토콜, 구조화 출력, 툴, 데이터 경계를 지원하는 폴백을 고릅니다. 재시도 체인 전체에 지연 시간 상한을 둡니다.

4. 4

   의도적으로 실패시킵니다

   통제된 시간대에 기본 경로를 비활성화하거나 잘못 연결합니다. 어떤 시도를 했고, 어떤 요청에 비용이 발생했으며, 어느 공급자가 응답했고, 체인이 얼마나 걸렸으며, 애플리케이션이 예상 스키마를 받았는지 확인합니다.

5. 5

   10분 내 탈출을 실행합니다

   설정과 통제된 배포로 게이트웨이를 우회합니다. 10분 안에 공급자 직접 연결 경로로 돌아가지 못한다면 막힌 의존성을 기록하고, 배포 범위를 확대하기 전에 해당 의존성을 수정합니다.

6. 6

   실제 결정을 바꾼 제어 기능만 구매합니다

   게이트웨이가 요청을 복구하거나, 정책을 적용하거나, 지출 주체를 드러내거나, 배포 경계를 충족하거나, 측정 가능한 운영 비용을 줄였을 때만 도입합니다. 담당자가 보지 않는 대시보드는 프로덕션 성과가 아닙니다.

대부분의 소규모 제품 팀이라면 월요일 파일럿에 Vercel AI Gateway를 사용하고, 필요성이 입증될 때까지 유료 추가 기능은 켜지 않는 것이 좋습니다. 프라이빗 경계가 필수인 플랫폼 팀은 LiteLLM을 쓰되 프록시에 트래픽을 보내기 전에 담당자를 지정해야 합니다. 엔터프라이즈 거버넌스 프로젝트라면 조달과 기술 검증을 동시에 시작해야 합니다. 보존, ID, 배포, 지원, 탈출 조건이 모두 아키텍처에 영향을 주기 때문입니다.

보도된 인수는 검토를 시작하게 한 계기이지 결정 그 자체가 아닙니다. 판단해야 할 것은 다음 모델, 공급자 또는 게이트웨이 변경을 재작성과 긴급 예산 요청 없이 통제된 설정 변경으로 처리할 수 있느냐입니다.

자주 묻는 질문

가장 좋은 LLM 게이트웨이는 무엇인가요?

플랫폼 담당자가 운영할 수 있고 회사가 배포 통제권을 중시한다면 LiteLLM이 종합적으로 가장 좋습니다. Vercel AI Gateway는 가장 무난한 관리형 선택입니다. 관리형 엔터프라이즈 거버넌스에는 Portkey가, 폭넓은 모델 탐색이 핵심 과제인 동안에는 OpenRouter가 더 강합니다.

AI 게이트웨이에는 어떤 제품이 있나요?

현재 선택지로는 LiteLLM, Vercel AI Gateway, Portkey, Cloudflare AI Gateway, OpenRouter, Bifrost, Helicone, Braintrust Gateway, Requesty, Kong AI Gateway가 있습니다. 셀프 호스팅 프록시, 관리형 게이트웨이, 모델 마켓플레이스, 관측 중심 플랫폼, 엔터프라이즈 API 플랫폼에 걸친 제품군입니다.

가장 좋은 오픈소스 AI 게이트웨이는 무엇인가요?

$0 요금제 하나로 100+개 공급자, 가상 키, 예산, 속도 제한, 폴백, 로그, Prometheus를 제공하는 LiteLLM이 가장 좋은 기본 선택입니다. 명시적인 중첩 재시도, Go 바이너리, OpenTelemetry 구현이 결정 요인이라면 Bifrost가 더 나은 대안입니다.

스타트업과 엔터프라이즈는 각각 어떤 AI 게이트웨이를 선택해야 하나요?

스타트업은 내부 플랫폼 업무를 새로 만들지 않도록 보통 Vercel, Cloudflare, Requesty부터 시작하는 편이 좋습니다. 엔터프라이즈는 거버넌스와 배포 경계를 기준으로 선택해야 합니다. 관리형 제어에는 Portkey, 소유 인프라에는 LiteLLM이나 Bifrost, 조직의 API 트래픽이 이미 Kong으로 표준화되어 있다면 Kong이 적합합니다.