저지연 AI 에이전트를 위한 최적의 AI 추론 하드웨어 비교 2026

자체 가중치(custom weights) 모델이 필수적인 상황이 아니라면, GPU를 직접 대여하기 전에 Groq나 Cerebras를 먼저 고려하는 것이 유리합니다. 월 1억 5,000만 토큰(150M) 사용을 가정한 예시에서 GPT OSS 120B의 청구액은 각각 $76.50와 $100.50에 불과하지만, 상시 가동되는 단일 B200 인스턴스는 엔지니어링 비용을 제외하고도 $5,102.70에 달합니다. 워크로드 제어와 지속적인 가동률이 고정 용량을 정당화할 수 있다면 NVIDIA Blackwell이 최적의 하드웨어 기본값이 되며, 최근 OpenAI의 Jalapeño 결과는 구매 평가 지표가 초당 토큰 수(TPS)가 아닌 엔드투엔드 에이전트 지연 시간이어야 함을 명확히 보여줍니다.

한눈에 보는 최적의 추천 하드웨어

저지연 추론을 위한 최적의 하드웨어는 먼저 구매 방식에 따라 달라집니다. 호스팅형 특화 실리콘은 카탈로그 내 모델이 요구 사항과 일치할 때 가장 유리합니다. 대여형 GPU는 커스텀 가중치, 폭넓은 프레임워크 지원, 서빙 스택에 대한 직접적인 제어가 필요할 때 강점을 보입니다. 클라우드 전용 ASIC은 기존 AWS나 Google 약정이 소프트웨어 전환 및 할당량(quota) 관리에 따르는 마찰 비용을 상쇄할 수 있을 때 적합합니다.

이 순위는 실험실의 최고 성능이 아니라 실제 배포 가능한 비즈니스 가치를 기준으로 산정되었습니다. 초당 토큰 수가 놀라울 정도로 높더라도 원하는 모델을 실행할 수 없거나, 트래픽을 감당하지 못하거나, 운영 예산 범위를 벗어난다면 당장 업무 환경에서 에이전트를 더 빠르게 만들 수 없습니다.

Jalapeño가 바꾼 기준: 에이전트 루프 전반에서 누적되는 지연 시간

Jalapeño는 평가 기준을 단순 칩 연산 속도에서 전체 요청 완료 시간으로 전환시켰습니다. OpenAI는 동일한 사용자 경험 조건에서 공개 벤치마크인 InferenceX를 통해 첫 번째 맞춤형 추론 칩을 측정했으며, GPT OSS 120B, DeepSeek R1 670B, Kimi K2.5 1T 전반에서 1.7배에서 3.6배 더 낮은 엔드투엔드 지연 시간을 보고했습니다. 이 측정값은 단순 연산 속도가 아니라 전체 서빙 요청 과정을 포함합니다.

GPT OSS 120B의 경우, OpenAI에 따르면 GB200에서의 1.80초 대비 Jalapeño에서는 1.03초가 소요됩니다. 단일 호출에서 0.77초가 절감됩니다. 12단계의 순차적 모델 호출을 수행하는 전형적인 에이전트라면, 툴이나 네트워크 개선 없이도 9.24초를 단축할 수 있습니다.

DeepSeek R1에서는 격차가 더 크게 벌어집니다. 5.99초 대 1.65초로, 동일한 12단계 루프를 적용하면 단순 계산으로만 52.08초의 차이가 발생합니다. 에이전트 자체의 지능이 높아진 것은 아니지만, 각 후속 호출이 더 빨리 시작되므로 사용자의 대기 시간은 거의 1분 가까이 줄어듭니다.

이를 **직렬 지연 시간 승수(serial latency multiplier)**라고 부릅니다. 에이전트는 흔히 계획을 세우고, 툴을 호출하고, 결과를 검토한 뒤, 계획을 수정하여 다시 호출하는 과정을 거칩니다. 한 단계가 이전 단계의 완료를 기다려야 하는 환경에서는 요청 단위의 작은 지연이 작업 전체에 걸쳐 반복 누적됩니다. 전체 처리량 수치가 뛰어나더라도 개별 사용자가 시스템을 느리다고 체감하는 이유가 바로 여기에 있습니다.

물론 처리량(throughput)도 여전히 중요합니다. 대기열(queue)이 형성되기 전까지 시스템이 동시에 얼마나 많은 에이전트를 처리할 수 있는지를 결정하기 때문입니다. OpenAI는 피크 처리량에서 와트당 1.5배에서 1.9배 더 많은 작업을 수행하며, 높은 인터랙티브 작업 부하에서 2.1배에서 4.1배 더 높은 성능을 보인다고 보고했습니다. 여기서 얻을 수 있는 유용한 교훈은 모든 기업이 Jalapeño를 기다려야 한다는 것이 아니라, 구매 벤치마크가 사용자의 반응성과 동시 처리 능력을 함께 평가해야 한다는 점입니다.

투자 유치를 받은 스타트업 창업자라면 50명의 사용자가 동시 접속한 상태에서 p95 작업 완료 시간이 20초 미만으로 유지되는 것이 합격 기준이 될 수 있습니다. 중견기업 CTO에게는 랙당 킬로와트 대비 수용 가능한 지원 해결 건수가 기준일 것이며, 실무 운영 책임자에게는 에이전트가 작업을 마치기 전에 세션이 이탈되는 비율이 핵심일 수 있습니다. FLOPs나 초당 토큰 수는 이러한 결과를 설명하는 지표일 뿐, 비즈니스 결과 그 자체는 아닙니다.

선정 및 평가 기준

순위 선정은 엔드투엔드 지연 시간, 모델 적합도, 워크로드 제어권, 구매 가능한 최소 경제 단위, 소프트웨어 마이그레이션 비용, 공개 가용성이라는 6가지 기준을 바탕으로 이루어졌습니다. 전력 효율과 피크 처리량은 시스템이 개별 에이전트의 응답 시간 목표를 충족한 이후에만 의미를 가집니다.

가격, 티어, 모델 카탈로그, 인스턴스 규격, 접근 한도 및 벤더 벤치마크 조건은 2026년 8월 27일 기준 벤더 공식 페이지를 통해 검증되었습니다. 본 비교는 실제 상용 트래픽을 배포하거나 인스턴스를 직접 대여하여 벤더 벤치마크를 자체 재현한 것은 아닙니다. 여기서 "최적"이란 공개된 데이터와 정규화된 산출 방식을 바탕으로 명시된 워크로드에 가장 적합한 구매 선택지를 의미합니다.

상위 랭킹에 오른 퍼블리셔 페이지가 7개 공급업체를 다루고 있으므로 7개의 하드웨어 경로를 선정했습니다. 다만 본 아키텍처 가이드는 실리콘과 실제 구매 가능한 경로에 집중하여 구성했습니다. 일반 GPU, 특화 추론 프로세서, 하이퍼스케일러 ASIC, 미판매 참조 디자인이 모두 포함되었습니다. 단순한 수식어로만 설명되는 플랫폼은 제외했습니다.

이 하드웨어 레이어는 관리형 실시간 AI 추론 플랫폼의 기반을 이룹니다. 특정 공급업체는 라우팅, 오토스케일링, 관측 가능성(observability), 정형 출력, 전용 용량을 칩셋과 함께 패키지로 묶어 제공하기도 합니다. 이러한 운영 계층이 필요하다면 더 빠른 가속기 도입 시 기본 포함된다고 가정하지 말고 명확한 의도를 가지고 별도로 검토해야 합니다.

1. Lambda를 통한 NVIDIA Blackwell: 전반적인 하드웨어 기본 선택지

Lambda를 통한 NVIDIA Blackwell은 모델 카탈로그의 제약 없이 셀프서비스 방식으로 B200 용량을 확보할 수 있어 가장 강력한 하드웨어 기본값입니다. 자체 가중치를 서빙하는 모델 개발팀, 런타임 제어가 필수적인 규제 산업군 기업, 가속기를 유휴 상태 없이 지속 활용할 수 있을 만큼 트래픽이 충분한 제품에 가장 적합합니다. 한계점은 고정 용량 비용입니다. 요청이 인입되지 않는 시간에도 요금은 계속 부과됩니다. 즉, Blackwell은 가장 저렴한 초기 테스트용이 아니라 유연성 측면에서 1위를 차지합니다.

최적 활용 대상: 커스텀 모델, 폭넓은 프레임워크 호환성, 통제권 기반의 프로덕션 서빙
주요 특징: GPU당 180 GB VRAM을 탑재한 1개~8개 단위의 셀프서비스 B200 GPU
가격: 1x 기준 GPU당 $6.99/시간, 2x $6.89, 4x $6.79, 8x $6.69
무료 체험: 전용 B200 체험 프로모션 없음

Lambda의 단일 B200 가격은 GPU당 시간당 $6.99이며, 2개 구성 시 개당 $6.89, 4개 구성 시 $6.79, 8개 구성 시 $6.69입니다. 과금은 분 단위로 이루어지며 네트워크 아웃바운드(egress) 비용은 청구되지 않는 것으로 안내됩니다. 대량 구매 할인은 완만하기 때문에, 단순히 GPU 대수를 늘리기보다는 단 한 대라도 감당할 수 있을 만큼 충분한 지속 작업을 확보하는 것이 관건입니다.

월 730시간 동안 단일 B200을 상시 가동하면 $5,102.70가 소요됩니다. 8대를 운영하면 $39,069.60에 달합니다. 이 비용에는 엔지니어링 인건비, 인스턴스 기본 제공 용량을 초과하는 스토리지, 관측 시스템 구축, 로드 밸런싱, 장애 또는 트래픽 급증을 대비한 여유 용량 비용이 포함되어 있지 않습니다.

NVIDIA의 공식 추론 페이지에서는 훨씬 낮은 서빙 단가를 제시합니다. TensorRT-LLM 기반의 B200은 GPT OSS 120B 토큰 100만 개당 $0.02, GB300 NVL72는 사용자당 초당 116 토큰을 처리하면서 100만 개당 $0.123를 보고하고 있습니다. 이는 최적화된 스택을 전제로 한 벤치마크 결과일 뿐, 대여형 GPU에 청구되는 실제 청구서 금액이 아닙니다. 실제 인프라의 가동률과 소프트웨어 튜닝 수준이 이 수치에 근접할 수 있는지를 좌우합니다.

랙 스케일 구성에서 GB300 NVL72는 288 GB HBM3e를 탑재한 72대의 B300 GPU를 130 TB/s NVLink 패브릭으로 연결합니다. NVIDIA는 저지연 에이전트 워크로드에서 Hopper 아키텍처 대비 메가와트당 최대 50배 높은 처리량과 최대 35배 낮은 토큰 비용을 제공한다고 보고합니다. 이러한 구조는 가속기 간의 통신 병목이 칩 단위의 연산 우위를 상쇄할 수 있는 대규모 MoE(Mixture-of-Experts) 모델에서 중요한 의미를 갖습니다.

Blackwell 도입 검증을 위한 1주일 단계별 가이드

1. 1

   대표 트레이스 100개 확정

   가장 긴 프롬프트, 대규모 툴 출력 결과, 멀티턴 상태, 재시도 케이스, 가장 느리게 완료된 작업 로그를 포함합니다. 모델, 정밀도, 출력 상한, 프롬프트, 툴 스키마는 모든 후보군에 동일하게 고정합니다.

2. 2

   단일 B200으로 시작

   모델 크기가 초과되지 않는 한 시간당 $6.99의 1x 인스턴스를 먼저 사용합니다. 인스턴스 규격을 올리는 것은 측정된 메모리나 동시성 한계를 해소하기 위함이어야지 초기부터 큰 규모를 과시할 필요는 없습니다.

3. 3

   전체 루프 지연 시간 측정

   p50 및 p95 TTFT(Time to First Token), 토큰 간 생성 시간, 전체 작업 완료 지연 시간, 큐 대기 시간, 작업 승인 비율, 재시도 횟수, GPU 사용률, 총비용을 빠짐없이 기록합니다.

4. 4

   예상 동시성 수준에서 재현

   단일 요청의 빠른 속도는 실질적인 검증이 되지 못합니다. p95 지연 시간이 목표 한계치를 넘어설 때까지 동시 트레이스를 점진적으로 늘려가며, 그 임계점에서의 처리량과 가동률을 확인합니다.

5. 5

   최종 전환 기준 수립

   핵심 지표에서 API 후보를 앞서고, 예상 가동률이 인프라 소유 비용과 고정 비용을 충분히 회수할 수 있는 경우에만 Blackwell로 전환합니다. 그렇지 않다면 API 방식을 유지하고 차후 재검토 일정을 잡으십시오.

2. GroqCloud를 통한 Groq LPU: 지원되는 오픈 모델을 위한 최적의 저지연 API

GroqCloud를 통한 Groq LPU는 별도의 인스턴스 임대 없이 GPT OSS 모델을 사용할 수 있고 커스텀 가중치가 필요하지 않을 때 가장 우선적으로 고려할 저지연 선택지입니다. Groq는 머신 대여가 아닌 API 호출 기준으로 GPT OSS 120B의 경우 초당 약 500 토큰, GPT OSS 20B의 경우 초당 약 1,000 토큰의 속도를 공표하고 있습니다. 한계점은 카탈로그 제어권입니다. 엔터프라이즈 전용 모델은 영업팀 문의가 필요하며, 프리뷰 모델은 사전 통보 없이 중단될 수 있습니다. 지원 모델에 한해서는 GPU 대여를 검토하기 전에 Groq를 먼저 벤치마크하는 것이 정답입니다.

최적 활용 대상: 트래픽이 불확실하거나 급증하기 쉬운 대화형 GPT OSS 에이전트
주요 특징: GPT OSS 120B 기준 공표 초당 500 토큰, GPT OSS 20B 기준 초당 1,000 토큰
가격: GPT OSS 120B 입력 1M당 $0.15, 출력 1M당 $0.60 / GPT OSS 20B 입력 1M당 $0.075, 출력 1M당 $0.30
무료 체험: 무료 티어 제공

현재 Groq 모델 카탈로그에 따르면 두 GPT OSS 프로덕션 모델 모두 131,072 토큰의 컨텍스트 윈도우와 65,536 토큰의 최대 완료 길이를 제공합니다. Developer 티어의 속도 제한은 분당 250,000 토큰 및 분당 1,000회 요청입니다. 단일 호출 응답이 아무리 빨라도 트래픽이 벤더의 대기열에 갇히면 무용지물이 되므로, 에이전트 서비스에서는 이러한 제한을 면밀히 살펴야 합니다.

Groq의 Free 티어는 초기 연동 개발에 적합합니다. Developer 티어는 종량제 방식으로 더 높은 용량을 제공하며, $1, $10, $100, $500, $1,000의 누적 결제 단계를 거친 후 월별 청구 방식으로 정착됩니다. 현재 카탈로그에서 Llama 3.1 8B, Llama 3.3 70B, MiniMax M2.7은 Enterprise 등급으로 분류되어 별도 영업 문의(Contact Sales)로 표기되어 있습니다.

월간 입력 3,000만 토큰, 출력 1억 2,000만 토큰의 GPT OSS 120B 워크로드를 가정할 경우 Groq의 비용은 $76.50입니다. 이는 엔지니어링 오버헤드를 제외하고도 상시 가동 Lambda B200 인스턴스보다 $5,026.20 저렴합니다. 워크로드에 대한 통제권, 모델 선택의 자유, 프라이버시, 지속적인 대규모 트래픽이 고정 머신 비용을 정당화할 수 있을 때에만 하드웨어 직접 대여로의 전환이 성립합니다.

3. Cerebras 웨이퍼 스케일 추론: 최고의 순수 생성 속도

Cerebras 웨이퍼 스케일 추론은 긴 텍스트 출력이 병목이고 GPT OSS 120B가 요구 품질을 충족할 때 가장 탁월한 선택입니다. Cerebras는 해당 모델에 대해 Groq의 공표치(초당 500 토큰)보다 6배 빠른 초당 약 3,000 토큰을 발표했습니다. 다만 이는 동일 조건의 대조군 테스트가 아닌 각 사의 독립적 발표치입니다. 토큰당 단가는 약간 높지만 긴 분량의 응답을 훨씬 빠르게 반환합니다. 한계점은 모델 선택의 폭과 용량 제어입니다. 우선순위 서비스 티어는 여전히 프라이빗 프리뷰 상태이며, 전용 엔드포인트는 엔터프라이즈 계약이 필요합니다.

최적 활용 대상: 지원 모델 기반의 긴 출력을 요구하는 리서치, 코딩, 추론 에이전트
주요 특징: GPT OSS 120B 기준 초당 약 3,000 토큰 처리
가격: GPT OSS 120B 입력 1M당 $0.35, 출력 1M당 $0.75 / Gemma 4 31B 입력 1M당 $0.99, 출력 1M당 $1.49
무료 체험: 결제 수단 인증 후 30일간 유효한 $5 크레딧 지급

공식 Cerebras 가격 페이지에는 세 가지 상용 티어가 안내되어 있습니다. Free Trial은 $5 크레딧을 제공합니다. Developer 티어는 $10 선결제로 시작하여 무료 티어 대비 10배 높은 요청 한도를 제공하며 공표된 토큰 가격을 따릅니다. Enterprise 티어는 최상위 요청 한도, 전용 큐 우선권, 커스텀 가중치, 모델 파인튜닝, 학습 서비스 및 별도 계약 조건을 제공합니다.

Developer 티어에서 GPT OSS 120B는 입력 100만 토큰당 $0.35, 출력 100만 토큰당 $0.75입니다. 동일한 입력 3,000만 토큰, 출력 1억 2,000만 토큰 기준 월 비용은 $100.50입니다. Groq보다 $24 더 높으므로, 출력 대기 시간을 단축하는 대가로 하루 80센트를 더 지불할 가치가 있는지가 구매 판단의 핵심입니다.

Developer 티어의 공개 GPT OSS 120B 한도는 분당 100만 토큰 및 분당 1,000회 요청입니다. Cerebras는 priority, default, auto, flex 등 요청 클래스를 문서화하고 있으나 이는 현재 Private Preview 단계입니다. Priority는 전용 엔드포인트에 한정됩니다. 엄격한 p95 지연 시간 SLA가 필요한 팀이라면 공개 API 속도를 계약된 성능이라기보다는 성능 검증용 수치로 접근해야 합니다.

4. AWS Inferentia2: AWS 내부에서 가장 경제적인 고정 비용 선택지

AWS Inferentia2는 이미 AWS 환경에 정착해 있고 Neuron SDK를 다룰 준비가 된 기업에 가장 낮은 고정 비용을 제공하는 하드웨어 경로입니다. 가장 작은 Inf2 인스턴스는 온디맨드 기준 시간당 $0.76이며, 32 GB 가속기 메모리를 갖춘 단일 Inferentia2 칩을 제공합니다. 최대 12개 칩과 384 GB까지 확장 가능하여 소규모 전용 서비스부터 대규모 분산 모델 추론까지 대응합니다. 한계점은 이식성입니다. CUDA 환경에서 잘 돌아가는 모델이라고 해서 곧바로 Neuron 기반 프로덕션 환경에 배포될 수 있는 것은 아닙니다.

최적 활용 대상: 안정적인 모델을 저비용 전용 인스턴스로 서빙하려는 AWS 네이티브 엔지니어링 팀
주요 특징: 시간당 $0.76 온디맨드 시작가, 최대 12개 칩 384 GB까지 확장
가격: 온디맨드 기준 시간당 $0.76~$12.98의 4가지 인스턴스 크기 (1년 및 3년 약정 할인 제공)
무료 체험: 전용 Inf2 체험 프로모션 없음

공식 EC2 Inf2 페이지의 티어별 가격은 다음과 같습니다. Inf2.xlarge는 온디맨드 $0.76, 1년 예약 $0.45, 3년 예약 $0.30입니다. Inf2.8xlarge는 각각 $1.97, $1.81, $0.79입니다. 6개 칩을 탑재한 Inf2.24xlarge는 $6.49, $3.89, $2.60이며, 12개 칩의 Inf2.48xlarge는 $12.98, $7.79, $5.19입니다.

월 730시간 기준, 가장 작은 인스턴스는 온디맨드로 $554.80, 3년 약정 시 $219입니다. 가장 큰 인스턴스는 온디맨드 $9,475.40, 3년 약정 시 $3,788.70에 달합니다. 약정 할인율은 매우 높지만, 최적화되지 않은 컴파일 그래프를 안고 3년 약정을 맺는 것은 결코 비용 절감이 아닙니다.

Neuron은 PyTorch 및 TensorFlow와 통합되며, AWS는 동적 입력 형태(dynamic shapes)와 맞춤형 C++ 연산자 지원을 제공합니다. 대형 규격 인스턴스는 CPU를 거치지 않고 칩 간 데이터를 교환하는 192 GB/s NeuronLink를 지원합니다. 이러한 기능이 포팅 장벽을 낮춰주지만, 정확한 모델 구조, 양자화 방식, 입력 시퀀스 분포, 커스텀 연산자에 대한 면밀한 적합성 검증이 반드시 선행되어야 합니다.

5. Google TPU v6e: Google 네이티브 트랜스포머 서빙을 위한 최적의 선택

Google TPU v6e는 이미 Google Cloud를 메인으로 사용 중이며 멀티 칩 트랜스포머 모델을 서빙하려는 팀에 가장 적합합니다. Trillium 아키텍처는 칩당 32 GB HBM, 1,638 GB/s의 메모리 대역폭, 추론에 최적화된 8칩 풀호스트(full-host) 구성을 지원합니다. 표기상의 칩당 시간당 가격은 저렴해 보이지만 실제 배포 구성을 곱하면 비용이 빠르게 증가합니다. 할당량 승인 절차, TPU 전용 소프트웨어 환경, 노드가 준비 상태(READY)로 유지되는 동안에도 지속 과금되는 정책이 주요 장벽입니다.

최적 활용 대상: Google 네이티브 트랜스포머 스택 및 TPU 토폴로지에 익숙한 엔지니어링 팀
주요 특징: 추론에 최적화된 v6e-8 풀호스트 구성
가격: 미국 지원 리전 기준 칩-시간당 온디맨드 $2.70, Flex-start $1.35, Calendar $1.89, 1년 약정 $1.89, 3년 약정 $1.22
무료 체험: 전용 TPU 체험 프로모션 없음

공식 Cloud TPU 가격 정책은 칩-시간(chip-hour) 단위로 과금됩니다. us-east1 및 us-east5 리전 기준 Trillium은 온디맨드 $2.70, DWS Flex-start $1.35, DWS Calendar Mode $1.89, 1년 약정 $1.89, 3년 약정 $1.22입니다. 스팟(Spot) 가격은 30일 주기로 변동될 수 있습니다.

문서에 명시된 v6e-8은 추론에 최적화된 풀호스트 VM 규격입니다. 8개 칩 구성이므로 온디맨드 비용은 시간당 $21.60이며, 730시간 환산 시 월 $15,768입니다. 3년 약정을 적용하면 시간당 $9.76, 월 $7,124.80로 낮아집니다.

하드웨어 스펙으로는 칩당 BF16 기준 918 TFLOPs, Int8 기준 1,836 TOPs와 800 GB/s의 양방향 칩 간 대역폭을 제공합니다. 이는 트랜스포머 모델 서빙에 매우 훌륭한 사양이지만, 토폴로지 설계가 애플리케이션 구조와 밀접하게 연동되어야 합니다. 8개 칩 중 일부만 비효율적으로 사용하는 워크로드라면 추론 규격의 스케일 이점을 얻지 못한 채 비용만 부담하게 됩니다.

6. OCI를 통한 AMD Instinct MI355X: 대규모 오픈 GPU 환경을 위한 대안

OCI를 통한 AMD Instinct MI355X는 ROCm 최적화 역량을 갖추고 8-GPU 베어메탈 인스턴스를 도입할 수 있는 대규모 환경에 가장 적합한 오픈 GPU 대안입니다. GPU당 288 GB HBM3e와 8 TB/s의 메모리 대역폭을 탑재하여 대형 모델을 연산 유닛 가까이에 유지할 수 있습니다. AMD의 발표에 따르면 대화형 운영 지점에서도 높은 비용 경쟁력을 입증했습니다. 한계점은 조달 현실입니다. 퍼블릭 클라우드의 GPU당 시간 요금은 벤치마크 모델에서 가정한 수치보다 훨씬 높습니다.

최적 활용 대상: ROCm 활용 역량과 대용량 메모리를 요구하는 대규모 오픈 GPU 배포
주요 특징: GPU당 288 GB HBM3e 메모리 및 8 TB/s 대역폭
가격: 8-GPU OCI 베어메탈 구성 기준 GPU당 시간당 $8.60
무료 체험: 전용 MI355X 체험 프로모션 없음

OCI의 BM.GPU.MI355X.8 규격은 8대의 MI355X 가속기, 2.3 TB의 HBM3e, 400 Gbps 프론트엔드 네트워크, 3,200 Gbps 클러스터 네트워크를 결합합니다. Oracle 글로벌 가격표에 따르면 MI355X는 GPU당 시간당 $8.60로 책정되어 있습니다. 따라서 8개 GPU 풀 구성 시 시간당 $68.80, 월 730시간 기준 $50,224가 발생합니다.

반면 AMD는 2026년 5월 TCO 분석 보고서에서 사뭇 다른 경제적 수치를 발표했습니다. DeepSeek-R1 대상 사용자당 초당 129 토큰 환경에서 MoRI, SGLang, 멀티 토큰 예측(MTP)을 적용한 24-GPU MI355X 시스템은 100만 토큰당 $0.173 및 GPU당 초당 2,378 토큰을 기록했습니다. 반면 Dynamo와 TensorRT-LLM을 적용한 28-GPU B200 시스템은 100만 토큰당 $0.178 및 GPU당 초당 3,128 토큰을 기록했습니다.

그러나 이 벤치마크 모델은 시간당 단가를 MI355X는 $1.48, B200은 $1.95로 가정한 것입니다. Oracle의 공개 가격은 이 가정한 $1.48의 5.81배에 달합니다. 연산 성능 결과 자체는 참고할 만하지만, 하드웨어 단가를 현실화하지 않고 토큰당 비용 수치를 퍼블릭 클라우드 예산에 그대로 대입해서는 안 됩니다.

ROCm 소프트웨어 스택도 중요한 분기점입니다. ROCm은 오픈소스이며 Oracle은 CUDA 애플리케이션 포팅 경로를 제시하고 있지만, AMD의 성능 지표는 MoRI, SGLang, 통신 양자화, 멀티 토큰 예측이 정교하게 결합된 결과입니다. 이미 해당 스택에 숙련된 엔지니어링 조직이라면 MI355X를 통해 큰 이점을 얻을 수 있지만, CUDA 기반으로 작업해 온 소규모 플랫폼 팀이라면 하드웨어 비용 절감액 이상의 리소스를 마이그레이션과 커널 튜닝에 소모할 수 있습니다.

7. OpenAI Jalapeño: 구매가 아닌 주목해야 할 참조 하드웨어

OpenAI Jalapeño는 최근 가장 파급력이 큰 결과물이지만, OpenAI 외부에서는 누구도 구매할 수 없기 때문에 실제 인프라 조달 순위에서는 마지막에 위치합니다. 이 맞춤형 칩은 3개의 주요 공개 모델에서 훨씬 낮은 엔드투엔드 지연 시간과 높은 와트당 작업량을 달성했습니다. OpenAI는 2026년 말까지 자사 내부 컴퓨팅 인프라에 이를 배포할 계획입니다. 따라서 이 결과는 실제 예산 편성이 아니라 자체 벤치마크의 평가 기준을 고도화하는 데 활용해야 합니다.

최적 활용 대상: 차세대 에이전트 추론 평가의 표준 벤치마크 수립
주요 특징: 3개 주요 공개 모델에서 엔드투엔드 지연 시간을 1.7배에서 3.6배 단축
가격: 공개 판매 가격 없음
무료 체험: 일반 접근 권한 없음

OpenAI는 GPT OSS 120B, DeepSeek R1 670B, Kimi K2.5 1T를 대상으로 테스트를 진행했습니다. Jalapeño는 피크 처리량에서 와트당 1.5배에서 1.9배 더 많은 AI 연산을 수행했습니다. 패키지 정격 전력은 700 W이지만, 실제 테스트 워크로드에서 측정된 지속 소비 전력은 550 W 이하로 유지되었습니다.

이 아키텍처는 생성 단계에서 사용되는 KV 캐시를 포함한 모델 상태를 각 연산 단계에 할당된 프로세서 바로 근처에 유지합니다. OpenAI는 사전 충전(prefill), 디코딩(decode), 메모리 이동, 인터커넥트 통신을 유기적으로 통합하여 네트워킹을 시스템의 핵심 요소로 설계했습니다. 이러한 풀스택 최적화 설계야말로 벤치마크 수치 뒤에 숨겨진 실질적인 엔지니어링 교훈입니다.

OpenAI는 외부 판매 가격, 클라우드 인스턴스, API 하드웨어 선택 옵션 등 고객 조달 경로를 일체 공개하지 않고 있습니다. 내부 배포를 앞두고 프로덕션 검증과 소프트웨어 성숙화가 계속 진행 중이라고 밝히고 있습니다. 로드맵에 언급되었다고 해서 당장 구매 가능한 하드웨어는 아닙니다.

사용자 유형별 최적의 선택 기준

GPT OSS가 요구 품질을 충족하고, 출력 비용 절감이 중요하며, 빠르고 경제적인 연동이 목표라면 Groq를 선택하십시오. 긴 텍스트 출력이 대기 시간의 대부분을 차지하고 월간 예시 기준 $24의 추가 비용이 문제 되지 않는다면 Cerebras를 선택하는 것이 좋습니다. 개별 작업 완료 시간의 단축 효과가 약간의 토큰 요금 차이보다 크다면 Cerebras가 더 매력적인 대안이 됩니다.

자체 모델 가중치, 특화 모델 카탈로그, 엄격한 프라이버시 경계, 세밀한 서빙 제어가 필요하여 호스팅형 전문 실리콘을 사용할 수 없다면 NVIDIA Blackwell을 선택하십시오. 단일 B200의 상시 가동 비용(월 $5,102.70 이상)과 운영 인력 및 시스템 유지 비용을 상회할 만큼 지속적인 수요와 통제 가치가 확보될 때 API에서 전용 GPU로 전환하는 것이 옳습니다.

사용 모델이 Neuron 환경에서 문제없이 컴파일되고 이미 AWS 기반 인프라를 운영 중이라면 AWS Inferentia2가 적합합니다. 시간당 $0.76의 진입 단가는 범용 GPU 이전 단계에서 훌륭한 전용 서비스 선택지가 될 수 있지만, 이는 타 클라우드로의 이식성이 핵심 요구 사항이 아닐 때만 유효합니다.

TPU 토폴로지와 Google Cloud 운영 워크플로가 이미 엔지니어링 팀의 표준으로 자리 잡았다면 Google TPU v6e를 선택하십시오. 8칩 추론 규격과 준비 상태(READY) 과금 정책 때문에 초기 탐색용으로는 부적합하며, 고정된 트레이스를 통해 적합성이 입증된 후 확정 인프라로 도입하는 것이 좋습니다.

GPU당 288 GB 메모리, ROCm 오픈 생태계, 대규모 클러스터 네트워킹을 기반으로 8-GPU 베어메탈 인스턴스를 소화할 수 있다면 AMD MI355X를 검토하십시오. 다만 벤치마크 가상 수치인 $1.48가 아니라 공개 단가인 시간당 $8.60 또는 실제 서명된 프라이빗 견적가를 기반으로 TCO 모델을 수립해야 합니다.

고객이 직접 구매하거나 인스턴스를 선택할 수 있게 되기 전까지 Jalapeño는 관심 목록에만 머물러야 합니다. Jalapeño의 가치는 다른 모든 벤더들에게 더 정확한 질문을 던지게 만드는 데 있습니다. 즉, 귀사의 에이전트가 요구하는 동시성과 전력 예산 내에서 전체 작업 요청이 실제로 얼마나 빨리 끝나는가를 따져보아야 합니다.

피해야 할 선택과 주의 사항

프로덕션 환경에서 Groq 프리뷰 모델 의존 지양

Groq는 프리뷰 모델이 사전 공지 없이 지원 중단될 수 있으며 프로덕션 용도로 적합하지 않다고 명시하고 있습니다. 프리뷰는 내부 평가 및 테스트용으로는 유용하지만, 대고객 서비스의 핵심 툴 호출이나 복구 모델로 사용해서는 안 됩니다.

실시간 대화형 지연 시간 보장을 위한 Google TPU 스팟 용량 사용 주의

Google은 스팟 또는 선점형 TPU 용량을 주로 배치 작업이나 장애 허용성이 높은 워크로드에 권장합니다. p95 응답 시간을 보장해야 하는 대화형 에이전트에는 예측 가능한 웜(warm) 인스턴스가 필수적입니다. 중단 가능한 하드웨어는 오프라인 평가, 색인 생성, 재생 테스트에 국한하여 사용하십시오.

2026년 Jalapeño 구매 계획 수립 금지

OpenAI는 연말까지 내부 배포만을 계획하고 있으며 외부 판매 단가나 접근 권한을 공개하지 않았습니다. 이를 구매 가능한 하드웨어로 취급하여 예산을 책정하는 것은 현실적이지 않습니다. 그 대신 이 아키텍처의 벤치마크 방법론을 상용 하드웨어 평가에 적용하십시오.

GPU 시간 단가를 수정하지 않은 AMD 토큰 비용 모델 맹신 주의

AMD가 발표한 100만 토큰당 $0.173 결과는 시간당 $1.48의 GPU TCO 가정을 바탕으로 산출된 것입니다. 실제 Oracle의 MI355X 정가는 시간당 $8.60입니다. 이 벤치마크는 성능 우수성을 판단하는 용도로만 참고하고, 비용 모델은 실제 조달 가능한 가격으로 재계산해야 합니다.

트래픽이 예측 가능해지기 전 전용 하드웨어 도입 지양

전용 가속기는 테일 지연 시간(tail latency) 제어와 시스템 통제력을 높여주지만, 작업이 없는 유휴 시간에도 쉬지 않고 비용이 발생합니다. 모델이 적합하다면 먼저 종량제 API 엔드포인트로 시작하고, 트래픽 규모, 큐 적체, 세밀한 제어 요구가 확인된 후에 전용 머신으로 전환하십시오. 가장 저렴한 AI API를 사용하는 것이, 겉보기 토큰 단가가 낮아 보여도 대부분 유휴 상태로 방치되는 프리미엄 칩을 대여하는 것보다 훨씬 경제적입니다.

다음 주 월요일 실행 과제: 용량 계약 전 단일 트레이스 세트 실행

다음 주 월요일, 실제 에이전트 작업을 대변하는 100개의 대표 트레이스를 확보하십시오. 일반적인 작업, 가장 긴 프롬프트, 대규모 검색 문서, 툴 호출 실패, 재시도, 가장 오래 걸렸던 성공 세션 등을 포함해야 합니다. 모델, 프롬프트, 툴 스키마, 최대 출력 토큰, 결과 평가 기준은 동일하게 유지합니다.

현재 운영 중인 시스템과 2곳의 최종 후보군을 대상으로 테스트를 실행합니다. p50 및 p95 전체 작업 완료 지연 시간, TTFT, 토큰 간 소요 시간, 큐 대기 시간, 작업 승인 비율, 잘못된 툴 인자 발생률, 재시도 횟수, 입출력 토큰 수, 가동률, 총비용을 빠짐없이 측정하십시오. 단순 모델의 첫 바이트부터 마지막 바이트까지가 아니라, 사용자 요청부터 최종 결과 승인까지의 전 과정을 측정해야 합니다.

금요일에 다음 세 가지 중 하나의 결정을 내립니다. 최종 후보가 품질 기준을 통과하고 목표 지연 시간이나 비용을 사전에 정한 기준 이상으로 개선한다면 전환합니다. 특정 전문 실리콘이 긴 코딩 출력이나 빠른 툴 선택 등 특정 작업 영역에서만 월등한 성능을 보인다면 트래픽을 분할 라우팅합니다. 개선 폭이 마이그레이션 및 운영 비용보다 작다면 현재 구조를 유지하십시오.

새로운 하드웨어 결과가 나왔다고 해서 당장 새로운 인프라 계약을 맺을 필요는 없습니다. 지금 필요한 것은 더 엄밀한 승인 테스트 체계를 갖추는 것입니다.

자주 묻는 질문 (FAQ)

AI 추론에 가장 적합한 하드웨어는 무엇인가요?

자체 커스텀 모델 서빙 관점에서는 NVIDIA Blackwell이 가장 폭넓은 프로덕션 기본 선택지입니다. 지원되는 모델을 사용하는 경우라면 종량제 과금으로 유휴 손실이 없는 Groq와 Cerebras가 초기 단계에서 더 경제적입니다. AWS Inferentia2, Google TPU v6e, AMD MI355X는 기존 클라우드 인프라 및 소프트웨어 스택이 이미 준비되어 있을 때 진가를 발휘합니다.

AI 에이전트의 지연 시간을 줄이려면 어떻게 해야 하나요?

큐 대기, 프리필, 디코딩, 네트워크 통신, 툴 실행, 재시도, 오케스트레이션 등 직렬 루프 전체를 측정해야 합니다. 가장 지연이 심하고 반복되는 단계를 먼저 줄여야 합니다. 모델 서빙 자체가 실질적인 병목일 때에만 더 빠른 연산 칩으로의 교체가 체감 성능 개선으로 이어집니다.

2026년 기준 로컬 LLM 구동에 가장 적합한 하드웨어는 무엇인가요?

로컬 하드웨어 구축은 데이터 프라이버시, 오프라인 환경 접근, 고정 용량 확보가 주된 목적입니다. 사용하려는 정확한 모델, 양자화 방식, 컨텍스트 길이, 동시성 수준에 맞춰 사양을 구성하고 전체 에이전트 루프 완료 시간을 측정해야 합니다. 본 프로덕션 서빙 가이드는 워크스테이션 벤치마크를 다중 사용자 서비스 테스트의 대체물로 다루지 않습니다.

로컬 LLM 구동에 24GB VRAM이면 충분한가요?

소형 모델이나 고도화된 양자화 모델 구동에는 충분할 수 있습니다. 그러나 가중치 크기는 전체 메모리 사용량의 일부에 불과합니다. KV 캐시 크기, 컨텍스트 길이, 동시 요청 수, 런타임 오버헤드, 출력 설정에 따라 메모리 부족(OOM)이나 연산 지연 없이 처리 가능한지가 결정됩니다.

하드웨어를 둘러싼 서빙, 게이트웨이, 워크플로 계층 전반을 종합적으로 비교하려면 비즈니스 소유자를 위한 AI 툴 맵을 확인해 보시기 바랍니다.