GPU 대여 서비스 7곳 비교: 2026년 용도별 GPU 클라우드 선택 가이드

GPU 대여 서비스를 고를 때는 하려는 작업부터 정해야 합니다. 직접 파인튜닝하려면 Runpod, 자체 코드로 서버리스 추론을 운영하려면 Modal, 관리형 모델 API가 필요하면 Together AI, 중단 후 재개할 수 있는 작업을 마켓플레이스에서 실행하려면 Vast.ai를 검토할 만합니다. 이 글에서 비교하는 7개 업체에는 GPU 가상 머신을 제공하는 Lambda, 계획된 클러스터 용량을 확보하기 위한 CoreWeave, 기존 애플리케이션이 이미 해당 인프라에 의존할 때 적합한 Google Cloud도 포함됩니다. 광고에 나온 최저 GPU 요금보다 먼저 살펴볼 것은 모델에 필요한 메모리와 실제 과금되는 실행 시간입니다.

가격과 제품 문서는 2026년 10월 30일에 확인했습니다. 아래 가격은 확인 당일 각 업체의 공식 요금 페이지에 표시된 미국 달러(USD) 금액입니다. 이 비교는 문서를 바탕으로 작성했으며, 직접 사용한 성능 벤치마크는 아닙니다. 가용 용량, 세금, 최종 배포 구성에 따라 실제 지불액은 달라질 수 있습니다.

작업별로 고르는 GPU 대여 서비스

모델을 직접 파인튜닝하려는 개발자라면 Runpod을 우선 검토할 만합니다. GPU 머신을 상시 관리하지 않고 모델을 서비스하려면 Modal과 Together AI가 첫 후보입니다. 다만 특정 리전, 지속적으로 확보된 용량, 중단 후 복구하기 쉬운 배치 환경이 필요하다면 선택은 달라집니다.

GPU 서버 가격 비교: 금액보다 과금 단위를 먼저 확인합니다

각 시작 요금에는 해당 제품과 하드웨어를 함께 표기했습니다. 서로 다른 서비스의 진입 가격이므로 같은 성능을 제공하는 상품으로 비교해서는 안 됩니다. GPU만 추가하는 요금에는 호스트 가상 머신이 포함되지 않습니다. 서버리스 GPU의 초당 요금에는 별도로 측정하는 리소스 비용이 빠져 있으며, 전용 추론 요금은 토큰 기반 API 가격과 다릅니다.

마켓플레이스 매물은 사라질 수 있고, 목록에서 가장 저렴한 GPU의 메모리가 모델을 담기에 부족할 수도 있습니다. 무료 체험 항목은 확인한 공개 혜택을 설명하며, 개별 협의로 제공되는 모든 크레딧 프로그램까지 포함하지는 않습니다. Together AI는 선불 결제가 필요합니다. Google의 GPU 제한은 Free Trial 약관에 명시되어 있습니다.

서버리스 추론: 자체 코드를 실행할까, 모델 API를 쓸까

GPU를 고르기 전에 모델 런타임을 직접 제어해야 하는지부터 결정해야 합니다. 추론은 학습된 모델로 응답을 생성하는 과정입니다. 관리형 API를 사용하면 그 응답을 요청할 수 있고, 자체 코드 기반 서버리스 컴퓨팅을 사용하면 응답을 만드는 코드를 직접 제공합니다. 두 제품 모두 ‘서버리스’라는 표현을 쓰더라도 이 차이가 더 중요합니다.

1. Modal: 트래픽 변동이 큰 Python 기반 자체 추론에 적합합니다

Modal은 Python으로 컨테이너 애플리케이션을 배포하는 서버리스 컴퓨팅 플랫폼입니다. 모델 서빙 코드 자체가 제품의 일부인 개발자에게 잘 맞습니다. 예를 들어 문서 처리 서비스에서는 자체 전처리, 모델 호출, 후처리를 같은 배포 안에서 실행해야 할 수 있습니다. Modal은 수요에 맞춰 애플리케이션을 확장할 수 있지만, 유용한 모델 연산 시간뿐 아니라 초기화와 컨테이너를 준비된 상태로 유지하는 유휴 시간에도 비용이 발생합니다. VM을 상시 운영하지 않으면서 런타임은 직접 제어하고 싶다면 Modal을 검토할 만합니다.

추천 대상: 수요가 변하는 자체 추론 서비스나 대기열 기반 GPU 작업을 배포하는 Python 팀입니다.
주요 특징: 애플리케이션 단위 배포와 자동 확장을 지원하며, 연산 리소스는 각각 과금합니다.
가격: T4 GPU 연산은 초당 $0.000164부터이며 CPU와 메모리는 별도입니다. 2026년 10월 30일 Modal 요금 페이지에서 확인했습니다.
무료 체험: Starter에는 월 $30의 연산 크레딧이 포함됩니다. 토큰 단위로 과금하는 Shared Endpoints는 이 크레딧의 적용 대상이 아닙니다.

실무에서 부딪히는 문제는 한동안 요청이 없다가 다시 들어왔을 때의 지연 시간입니다. 콜드 스타트는 새 컨테이너가 응답할 수 있도록 준비하는 과정입니다. 컨테이너 시작, 라이브러리 가져오기, 모델 가중치 로딩은 서로 다른 단계입니다. 컨테이너가 빠르게 부팅된다고 모델도 즉시 준비되는 것은 아닙니다.

Modal은 컨테이너를 준비된 상태로 유지하고 여유 용량을 확보하는 설정을 제공합니다. 응답 속도를 개선할 수 있지만 그만큼 리소스가 계속 할당됩니다. 고객이 사용하는 어시스턴트라면 요청이 몰리는 동안의 응답과 함께, 유휴 상태 이후 첫 요청도 테스트해야 합니다. 반면 야간에 실행하는 추출 작업 대기열이라면 초기화 시간을 기다려도 괜찮을 수 있습니다. Modal 콜드 스타트 가이드에서 이 절충 관계를 설명합니다.

Starter 요금제에는 워크스페이스 사용자 3명, 동시 GPU 10개라는 구체적인 확장 한도도 있습니다. 유용한 파일럿을 진행하기에는 충분하지만, 독립적인 워커가 한꺼번에 늘면 월 지출이 커지기도 전에 동시 실행 한도에 도달할 수 있습니다. 영구 볼륨과 네트워크 송신에는 기본 제공량이 있고 이를 넘으면 별도 요금이 붙으므로, 데이터가 오가는 경로도 견적에 포함해야 합니다.

지역도 별도로 설정해야 합니다. Modal은 컨테이너 실행 리전과 요청 라우팅 리전을 구분합니다. 특정 리전으로 고정하면 요금에 배수가 적용됩니다. 모델을 데이터베이스 가까이에서 실행하는 이점은 요청 경로까지 지연 시간과 데이터 보관 지역 요건을 충족할 때 의미가 있습니다. 리전 선택 문서에서 두 설정을 모두 설명합니다.

2. Together AI: 필요한 결과물이 모델 엔드포인트일 때 적합합니다

Together AI는 관리형 추론·학습 플랫폼입니다. GPU 인프라 관리에 앞서 모델 기반 기능부터 출시하려는 팀에 맞습니다. 필요한 모델이 카탈로그에 있다면 서버리스 API부터 시작하는 것이 자연스럽고, 전용 추론을 선택하면 서빙 하드웨어에 대한 제어 범위가 넓어집니다. 다만 커스터마이징에는 경계가 있습니다. 지원되는 모델 API를 쓰는 것과 원하는 학습 환경을 직접 실행하는 것은 서로 다른 제품입니다. 필요한 것이 모델 엔드포인트라면 Together AI를 선택하고, 트래픽이나 제어 요건이 뒷받침될 때 전용 용량을 구매하는 편이 좋습니다.

추천 대상: 지원 모델을 서비스하거나 관리형 파인튜닝과 전용 추론을 이용하는 팀입니다.
주요 특징: 토큰 단위 API에서 전용 모델 서빙으로 확장할 수 있습니다.
가격: 전용 NVIDIA HGX H100 추론은 GPU당 시간당 $5.49부터이며, 서버리스 API 요금은 모델마다 다릅니다. 2026년 10월 30일 Together AI 요금 페이지에서 확인했습니다.
무료 체험: 무료 체험은 없으며, 선불 크레딧 구매가 필요합니다.

과금 방식은 구분해서 봐야 합니다. 서버리스 언어 추론은 모델이 처리하는 텍스트 조각인 입력·출력 토큰을 기준으로 과금합니다. 전용 추론은 모델 서비스의 실행 복사본인 레플리카가 준비 상태일 때 각각 분 단위로 과금합니다. 문서에 따르면 전용 연산 과금에서 프로비저닝과 콜드 스타트 시간은 제외되지만, 준비된 레플리카는 요청이 적어도 계속 비용이 발생합니다. 레플리카 수를 0으로 줄이면 해당 연산 과금이 멈춥니다. 정확한 기준은 전용 추론 과금 문서에 나와 있습니다.

대화가 간헐적으로 발생하는 고객 지원 애플리케이션이라면 서버리스를 사용해 놀고 있는 모델 용량에 비용을 쓰지 않을 수 있습니다. 트래픽 패턴이 자리 잡은 바쁜 애플리케이션이라면 같은 프롬프트와 응답 길이로 전용 레플리카를 비교할 만합니다. GPU당 요금이 더 낮아 보인다는 이유만으로 전환해서는 안 됩니다. 응답 한 건을 완성하는 데 드는 비용으로 환산하려면 실제 처리량을 측정해야 합니다.

관리형 파인튜닝도 별도의 비용 계산이 필요합니다. Together는 어댑터 기반 LoRA와 전체 파인튜닝을 제공하며, 학습 반복과 평가를 반영한 토큰 단위 요금을 안내합니다. 에포크는 학습 데이터셋 전체를 한 차례 처리하는 것을 뜻합니다. 데이터셋을 반복해서 학습하면 처리 토큰이 늘어나므로 업로드한 파일 크기만으로 비용을 계산할 수 없습니다.

GPU 클러스터는 또 다른 제품입니다. 온디맨드와 예약 용량을 제공하며 영구 스토리지는 별도 과금합니다. 클러스터 예약은 선불이며 환불되지 않습니다. 클러스터를 삭제해도 남겨 둔 모든 볼륨이 자동으로 무료가 되는 것은 아닙니다. 클러스터 문서에는 수신·송신 데이터 전송료가 없다고 명시되어 있습니다. 이 규칙을 모든 API 제품에 그대로 적용해서는 안 됩니다. 자세한 내용은 클러스터 과금 문서에서 확인할 수 있습니다.

모델을 서비스할 때는 모델과 리전을 함께 확인해야 합니다. 일부 서버리스 모델은 미국 내 추론을 지원하지만, 다른 지역 요건이 있다면 전용 엔드포인트를 검토해야 합니다. 공유 API의 응답 시간은 수요에 따라 달라질 수 있으며, 애플리케이션에는 여전히 재시도 처리가 필요합니다. 서버리스 문서에 이러한 제한이 명시되어 있습니다.

파인튜닝용 GPU 서버 임대: 온디맨드 Pod와 VM

학습 스크립트, 의존성, 모델을 계속 바꾸는 단계라면 직접 제어할 수 있는 환경을 빌리는 것이 좋습니다. 파인튜닝은 기존 모델을 자체 데이터에 맞게 조정하는 작업입니다. Pod나 가상 머신에서는 실패 원인을 살펴보고 작업을 다시 실행하기 쉽습니다. 다만 연산을 중지하고 결과를 보존하는 책임도 직접 져야 합니다.

3. Runpod: 직접 파인튜닝을 시작할 때 우선 검토할 만합니다

Runpod은 전용 GPU Pods와 함께 Serverless 및 클러스터 제품을 제공합니다. 자체 모델 워크플로를 개발하는 소규모 팀이 처음 검토하기에 실용적인 선택지입니다. GPU와 컨테이너 템플릿을 골라 파인튜닝을 진행한 뒤, 추론용으로 별도의 Serverless 배포를 평가할 수 있습니다. 한계도 분명합니다. Community Cloud의 안정성은 호스트마다 다르고, 영구 스토리지는 자체 수명 주기를 가지며, Pod를 중지했다가 재개할 때 같은 GPU를 다시 쓸 수 있다는 보장도 없습니다. Runpod의 강점은 제어권과 유연한 배포 선택지입니다. 모든 워크로드에서 가장 저렴하다는 보장 때문은 아닙니다.

추천 대상: 실험, 어댑터 파인튜닝, 자체 추론 개발에 GPU 컨테이너가 필요한 개발자입니다.
주요 특징: 개발 단계의 Pod와 서빙 단계의 Serverless를 별도 제품으로 제공합니다.
가격: 확인한 페이지에는 VRAM 24 GB인 RTX A5000 Pods가 시간당 $0.27부터 표시되어 있습니다. 2026년 10월 30일 Runpod 요금 페이지에서 확인했습니다.
무료 체험: 확인한 요금 페이지에는 무료 GPU 체험이 안내되어 있지 않았습니다.

눈에 띄는 칩 이름보다 메모리부터 확인해야 합니다. Runpod은 24 GB 카드, A40과 RTX A6000 같은 48 GB 옵션, 80 GB A100 및 H100 모델을 안내합니다. 소규모 팀도 처음부터 클러스터를 설계하지 않고 여러 메모리 등급을 평가할 수 있습니다. 다만 이 목록이 처리량 순위를 뜻하지는 않습니다. 추론 엔진, 모델 정밀도, 배치 구성에 따라 더 유리한 카드가 달라질 수 있습니다.

Secure Cloud와 Community Cloud도 따로 판단해야 합니다. Runpod은 Secure Cloud를 데이터센터 인프라로, Community Cloud를 안정성에 편차가 있는 P2P 공급 방식으로 설명합니다. 다시 수행해도 되는 실험과 고객 요청을 처리하는 서비스가 감수할 수 있는 장애 수준은 다릅니다. 작업의 복구 및 지원 요건에 맞춰 풀을 선택해야 합니다. 이 차이는 Runpod Pod 선택 가이드에 설명되어 있습니다.

첫 배포에서 예상치 못한 제약이 되기 쉬운 것은 스토리지입니다. 컨테이너 디스크는 임시 저장소입니다. 볼륨 디스크는 Pod를 중지해도 유지되지만 삭제하면 사라집니다. 네트워크 볼륨은 독립적으로 유지되지만 Secure Cloud의 Pods에서만 사용할 수 있으며, 볼륨 위치에 따라 선택할 수 있는 하드웨어가 제한됩니다. 체크포인트를 임시 저장소에만 두면 저장한 의미가 없어집니다. 네트워크 볼륨 문서에서 배치 위치 제약을 설명합니다.

확인한 Pod 요금 규칙에 따르면 Pods의 연산은 초 단위로 과금하며 수신·송신 데이터 전송료는 없습니다. 중지 상태의 스토리지에는 계속 요금이 붙을 수 있습니다. Serverless는 수명 주기가 다릅니다. 워커가 초기화되고 실행된 뒤 종료되기 전까지 유휴 상태로 기다리는 시간에도 비용이 발생합니다. Flex 워커는 실행 수를 0까지 줄일 수 있고, Active 워커는 계속 실행됩니다. 이는 같은 시간당 요금에 이름만 달리 붙인 것이 아니라, 리소스를 유료로 유지하는 시간을 선택하는 문제입니다. Pod 과금과 Serverless 과금 문서를 참고하면 됩니다.

전체 요금과 스토리지 비용 계산표는 이 사이트의 Runpod 요금 가이드에 있습니다. 이 계산표로 반복 실행과 상시 서빙 비용을 산정할 수 있습니다.

1. 1

   배포 전에 작업을 정의합니다

   정확한 모델 체크포인트, 추론 또는 파인튜닝 방식, 정밀도, 최대 입력 길이, 예상 동시 처리 수를 적습니다. 모델 파일뿐 아니라 런타임까지 담을 여유가 있는 GPU 메모리 등급을 선택합니다.

2. 2

   스토리지 위치부터 정합니다

   네트워크 볼륨이 필요하다면 GPU를 고르기 전에 원하는 데이터센터에서 볼륨을 생성하거나 선택합니다. 그곳에 적합한 GPU 용량이 있는지 확인합니다. 대체할 수 없는 학습 데이터와 체크포인트는 별도 사본으로 보관합니다.

3. 3

   호환되는 템플릿을 배포합니다

   Pods에서 GPU와 컨테이너 템플릿을 선택하고 GPU 수를 설정한 뒤 온디맨드로 배포합니다. 호스트 CUDA 호환성 필터를 확인해 템플릿과 맞는지 살펴봅니다. CUDA는 많은 NVIDIA GPU 애플리케이션이 사용하는 소프트웨어 플랫폼입니다.

4. 4

   작게 시험하고 종료 절차를 확인합니다

   실제 작업과 같은 로딩, 학습, 체크포인트 저장 과정을 시험합니다. GPU 메모리 최대 사용량과 소요 시간을 기록합니다. 연산을 중지하거나 종료하기 전에 체크포인트가 영구 스토리지에 있는지 확인하고, 이후 남아 있는 스토리지 요금을 점검합니다.

이러한 배포 설정은 Pods 관리 문서에 정리되어 있습니다. 사전 시험은 복구 테스트도 겸해야 합니다. 다음 실행에서 이전의 특정 머신에 의존하지 않고 작업을 이어 갈 수 있어야 합니다.

4. Lambda: 익숙한 GPU 가상 머신 환경이 필요할 때 적합합니다

Lambda는 Linux 가상 머신과 예약 클러스터를 제공하는 GPU 클라우드입니다. 장시간 학습에 일반적인 머신 환경을 원하는 팀에 맞습니다. 실행 환경에는 NVIDIA 도구가 포함되어 있으며, 인스턴스 카탈로그는 단일 GPU부터 더 큰 규모의 구성까지 갖추고 있습니다. 구매할 때 주의할 점은 할당 규모 자체입니다. 같은 GPU라도 몇 개를 빌리는지에 따라 GPU당 요금이 달라질 수 있습니다. 직접 제어하는 학습 환경이 필요하다면 Lambda를 선택하되, 표시 요금을 청구액으로 받아들이기 전에 GPU 수 선택 항목부터 확인해야 합니다.

추천 대상: SSH로 GPU VM에 접속하는 방식을 선호하는 학습·파인튜닝 팀입니다.
주요 특징: 단일 GPU 인스턴스와 별도의 예약 클러스터 선택지를 제공합니다.
가격: Single-GPU Instances는 VRAM 24 GB인 Quadro RTX 6000 기준 GPU당 시간당 $0.69부터입니다. 2026년 10월 30일 Lambda 요금 페이지에서 확인했습니다.
무료 체험: 확인한 요금 페이지에는 무료 GPU 체험이 안내되어 있지 않았습니다.

GPU 카탈로그에는 48 GB A6000과 80 GB H100 PCIe 및 SXM 모델이 포함됩니다. 이 이름을 정확히 구분해야 합니다. ‘RTX 6000’, ‘A6000’, 그리고 이름이 비슷한 더 최신 카드는 서로 대체 가능한 상품이 아닙니다. 나중에 다시 실행할 때 알지 못한 채 다른 장치를 쓰는 일이 없도록 배포 기록에 GPU 전체 이름과 메모리 용량을 명시해야 합니다.

Lambda의 온디맨드 연산 요금은 시간당 가격으로 표시되지만, 정상적으로 시작된 시점부터 종료될 때까지 1분 단위로 청구됩니다. 머신이 실행 중이면 아무 작업을 하지 않아도 비용이 발생합니다. 학습 작업에서는 Python 프로세스가 끝나면 대여도 끝난다고 가정하지 말고, 업체의 인스턴스 종료 절차에 맞춰 종료 과정을 구성해야 합니다. Lambda 과금 문서에 과금 기준이 설명되어 있습니다.

영구 파일시스템도 미리 계획해야 합니다. 인스턴스를 만들 때 연결해야 하고, 인스턴스와 같은 리전에 있어야 합니다. 마운트를 해제해도 파일시스템이 존재하는 동안에는 계속 과금됩니다. 과금 문서에 따르면 파일시스템의 수신·송신 데이터 전송료는 없습니다. 대규모 데이터셋을 올리기 전에 원하는 위치에서 GPU와 파일시스템을 함께 사용할 수 있는지 확인해야 합니다. Lambda 인스턴스 문서에 리전과 스토리지 규칙이 나와 있습니다.

예약 클러스터는 구매 규모부터 다릅니다. 공개된 1-Click Cluster 표는 GPU 16개, 2주 약정부터 시작합니다. 집중적인 학습 프로젝트에는 맞을 수 있지만, 단일 장치에서 모델을 조정하는 것만으로 문제를 해결할 수 있는지 알아보는 개발자에게는 적절한 출발점이 아닙니다. 실행 가능한 최소 규모의 실험부터 시작하고, 필요한 처리량을 확인한 뒤에 확장하는 편이 좋습니다.

마켓플레이스와 중단형 GPU

작업을 복구할 수 있다는 사실을 확인한 뒤에만 중단 위험을 감수해야 합니다. 마켓플레이스는 여러 호스트의 상품을 모아 제공합니다. 중단형 인스턴스는 일시 정지되거나 회수될 수 있습니다. 두 개념이 겹치는 부분은 있지만, 마켓플레이스의 온디맨드 상품이라고 해서 모두 중단형인 것은 아닙니다.

5. Vast.ai: 실행 위치를 유연하게 정할 수 있는 재개 가능한 작업에 적합합니다

Vast.ai는 호스트가 가격을 정하는 GPU 마켓플레이스입니다. 매물의 조건을 직접 확인하고 머신 공급이 달라지는 상황을 감수할 수 있는 개발자에게 유용합니다. 입력 데이터와 체크포인트를 인스턴스 수명과 별개로 보존할 수 있다면 배치 임베딩 작업이나 반복 가능한 파인튜닝 실험에 잘 맞습니다. 주의할 점은 호스트마다 비용 구조가 다르다는 것입니다. 연산, 스토리지, 양방향 데이터 전송에 각각 요금이 붙을 수 있습니다. 모든 매물이 똑같이 동작해야 하는 환경보다는, 매물 조건에 맞춰 시스템을 설계할 수 있을 때 Vast.ai를 선택하는 편이 좋습니다.

추천 대상: 비용에 민감한 실험, 배치 작업, 체크포인트에서 재개할 수 있는 학습입니다.
주요 특징: 온디맨드·예약·중단형 대여 중에서 호스트 단위로 선택할 수 있습니다.
가격: 호스트가 정한 GPU 요금을 초 단위로 청구하며 스토리지와 전송료는 별도입니다. 필요한 구성의 시작 매물 가격은 Vast.ai 실시간 요금 페이지에서 확인해야 합니다. 2026년 10월 30일에 검토했습니다.
무료 체험: 확인한 요금 페이지에는 무료 GPU 체험이 안내되어 있지 않았습니다.

가장 저렴한 매물도 하드웨어가 작업에 맞아야 의미가 있습니다. Vast.ai의 실시간 카탈로그에는 24 GB RTX 3090 및 RTX 4090, 48 GB L40S, 80 GB H100 SXM이 올라와 있습니다. 먼저 작업에 필요한 메모리와 소프트웨어 조건으로 필터링해야 합니다. 그런 다음 해당 호스트의 CPU, 시스템 메모리, 스토리지, 전송 조건, 위치를 비교합니다.

연산은 실행 중에 초 단위로 측정합니다. 스토리지는 인스턴스가 존재하는 동안 중지 상태에서도 계속 과금됩니다. 업로드와 다운로드 요금은 호스트마다 다릅니다. 따라서 대형 모델이나 데이터셋을 반복해서 내려받는다면, GPU가 저렴해도 짧은 작업에는 비용상 불리할 수 있습니다. 그래픽카드만 보지 말고 데이터가 이동하는 전체 경로를 비교에 넣어야 합니다. Vast.ai 요금 문서에 각 비용 항목이 설명되어 있습니다.

중단형 학습을 정확히 재개하려면 모델 파일을 저장하는 것만으로는 부족할 수 있습니다. 학습 프레임워크에 필요한 상태를 보존하고, 실제로 재시작할 수 있는지 확인한 뒤에 의존해야 합니다. 배치 대기열에서는 작업 식별자를 일관되게 부여해 재시도 때문에 고객에게 보이는 결과가 중복되지 않도록 해야 합니다. 이는 중단형 용량을 선택하기 위한 검증 기준이며, 업체가 복구를 대신 수행한다는 뜻은 아닙니다.

Vast.ai는 서버리스 인프라도 제공합니다. 다만 서버리스가 있다고 해서 호스트와 데이터 비용을 따질 필요가 사라지지는 않습니다. 확인한 문서는 서버리스 비용을 인스턴스의 연산·스토리지·대역폭 비용으로 설명합니다. 이 글에서는 이러한 절충을 직접 관리할 수 있는 소규모 팀에 가장 명확하게 맞는 용도인 마켓플레이스 대여에 초점을 맞춥니다.

예약 클러스터와 기존 클라우드 인프라 활용

지속적인 수요를 측정한 뒤 용량을 예약해야 합니다. 워크로드를 옮기는 데 드는 일이 절감 효과보다 크다면 기존 인프라 가까이에 두는 편이 좋습니다. 규모가 큰 플랫폼을 선택하는 서로 다른 이유입니다. 소규모 팀도 초대형 클라우드 고객이 되지 않고 이러한 이유로 선택할 수 있습니다.

6. CoreWeave: 클러스터 요구 사항이 명확할 때 적합합니다

CoreWeave는 베어메탈 GPU 노드에서 관리형 Kubernetes를 제공하는 AI 인프라 클라우드입니다. 실험 단계를 지나 필요한 연산 자원을 계획할 수 있는 팀에 맞습니다. Kubernetes는 여러 머신에 걸쳐 컨테이너를 조율합니다. 배포에 이런 오케스트레이션이 필요하고 이를 책임질 사람이 있을 때 유용합니다. 소규모 팀에서의 제약은 자원 할당과 운영입니다. 노드 단위로 구매하고 관리형 클러스터를 쓰더라도 명확한 워크로드, 스토리지 계획, 운영 담당자가 필요합니다. CoreWeave는 용량 계획이 실제로 필요할 때 후보에 넣는 편이 좋습니다. 모델에 무엇이 필요한지 알아보는 단계의 기본 선택지는 아닙니다.

추천 대상: 클러스터 수요를 파악하고 있으며 Kubernetes 워크로드를 운영할 수 있는 팀입니다.
주요 특징: 클러스터 네트워킹과 격리를 지원하는 베어메탈 노드 기반 관리형 Kubernetes입니다.
가격: 북미 요금표의 단일 GPU GH200 인스턴스는 시간당 $6.50이며, 예약 용량은 견적이 필요합니다. 2026년 10월 30일 CoreWeave 요금 페이지에서 확인했습니다.
무료 체험: 확인한 요금 페이지에는 무료 GPU 체험이 안내되어 있지 않았습니다.

CoreWeave 요금표의 열을 주의 깊게 읽어야 합니다. H100, H200, A100, L40, L40S 항목을 비롯한 여러 공개 GPU 인스턴스에는 GPU 8개가 들어 있습니다. 페이지에는 단일 GPU 추론 요금이 별도로 표시되어 있고, 각주에서는 해당 요금을 추론 플랫폼 고객에게만 적용한다고 명시합니다. 노드 가격을 GPU 수로 나누는 것은 비용 계산에는 유용하지만, 일반적인 클러스터 작업을 위해 노드의 일부만 빌릴 수 있다는 근거는 아닙니다.

요금 페이지는 북미와 유럽을 구분하며 온디맨드, 스팟, 예약 옵션을 안내합니다. 예약할 때는 정확한 노드 구성, 배포 위치, 약정 기간, 용량 제공 조건을 확인해야 합니다. 견적에서 실제 청구 단위도 확인해야 합니다. 공개 가격이 시간당으로 표시되어 있다는 사실만으로 초 단위 과금이라고 판단할 수는 없습니다.

CoreWeave는 인터넷 및 내부 데이터 전송을 무료로 안내하지만, 스토리지와 공인 IP 서비스에는 각각 요금이 있습니다. 따라서 데이터 이동량이 많은 워크로드라면 검토할 가치가 있습니다. 다만 약정한 연산 용량을 유용하게 써야 한다는 조건은 그대로입니다. 예약 기간 대부분을 유휴 상태로 보내는 클러스터의 비용을 저렴한 전송료로 상쇄할 수는 없습니다.

CoreWeave Kubernetes Service 문서는 관리형 컨트롤 플레인, 베어메탈 노드, 사설 네트워크, GPU 네트워킹을 설명합니다. 소규모 AI 팀에서 결정적인 질문은 책임을 누가 맡는가입니다. 작업 패키징, 장애 감시, 시크릿 관리, 서비스 복구는 누가 담당할까요? 아직 애플리케이션을 검증 중인 사람이 이 일까지 맡아야 한다면, 더 단순한 Pod나 API를 써야 동작하는 기능을 더 빨리 만들 수 있습니다.

7. Google Cloud: 기존 앱 가까이에서 GPU 작업을 실행해야 할 때 적합합니다

Google Cloud는 GPU를 사용하는 Compute Engine 가상 머신을 제공합니다. 애플리케이션과 데이터가 이미 이곳에 있다면 합리적인 후보입니다. 전문 GPU 클라우드의 견적이 매력적이더라도, 모델 실행을 나머지 시스템 가까이에 두면 배포 결정을 단순화할 수 있습니다. 관건은 실제 사용 가능 여부입니다. 머신 유형, 리전, 할당량, 물리적 가용 용량이 모두 맞아야 합니다. Google Cloud의 위치와 기존 운영 환경이 워크로드에 이점을 줄 때 선택하는 편이 좋습니다. 최저 GPU 가격을 서버 전체 가격으로 받아들여서는 안 됩니다.

추천 대상: 이미 Google Cloud에서 운영하는 애플리케이션에 GPU 작업을 추가하는 개발자입니다.
주요 특징: 리전별 가용성과 할당량 제어를 명시한 GPU 머신 제품군입니다.
가격: 아이오와의 T4 추가 요금은 GPU만 시간당 $0.35부터이며 VM 비용은 별도입니다. 2026년 10월 30일 Google 가속기 요금 페이지에서 확인했습니다.
무료 체험: Free Trial에서는 GPU를 추가할 수 없으며 유료 계정으로 업그레이드해야 합니다.

Google Cloud GPU 요금: VM 비용도 포함해야 합니다

추가하는 GPU는 부가 리소스이지 머신 전체가 아닙니다. 위에 인용한 T4의 GPU 메모리는 16 GB입니다. 더 많은 메모리나 다른 가속기가 필요한 애플리케이션이라면 이 시작 요금에 맞춰 예산을 세우기보다 다른 구성을 선택해야 합니다.

Google은 GPU가 통합된 머신 제품군도 안내합니다. L4를 사용하는 G2, A100 모델을 사용하는 A2, H100 또는 H200을 사용하는 A3 모델 등이 있습니다. 통합 머신 가격과 GPU 추가 가격은 포함 범위가 다릅니다. 스토리지·네트워크 비용과 함께 선택한 머신 유형을 견적에 명시해야 합니다.

Compute Engine은 최소 1분을 과금한 뒤 초 단위로 청구합니다. 실행 중인 VM은 유휴 상태여도 비용이 발생합니다. 예약한 리소스는 시작하지 않았을 때도 과금될 수 있으므로, 가용 용량을 예약하는 것과 작업을 시작하는 것은 별개의 결정입니다. 정확한 기준은 Compute Engine 과금 규칙에 설명되어 있습니다.

Google Cloud GPU 가용성: 할당량 승인만으로는 충분하지 않습니다

GPU 유형이 공개 목록에 있다는 사실이 원하는 존에서 자신의 계정으로 당장 실행할 수 있다는 뜻은 아닙니다. Google은 존별 GPU 지원을 문서화하며, 할당량 제어와 실제 용량은 별개로 작동합니다. GPU 리전 및 존 목록에서 원하는 머신을 확인한 뒤, 필요한 GPU 할당량을 확인해야 합니다.

예를 들어 기존 데이터베이스 가까이에서 고객 요청을 처리하는 팀이라면 GPU 구성을 요청하기 전에 허용 가능한 인근 위치부터 정해야 합니다. 원하는 존에 용량이 없어 모델 서버만 더 먼 곳으로 옮기면 응답 시간과 데이터 전송 경로가 모두 달라질 수 있습니다. 이런 대안 배치는 테스트가 필요한 애플리케이션 변경으로 다뤄야 합니다.

Free Trial에는 별도 제한이 있습니다. GPU 추가와 할당량 상향 요청을 허용하지 않습니다. Google의 상시 무료 등급인 Free Tier에서도 GPU는 제외됩니다. 따라서 신규 가입 크레딧이 있다는 안내만으로 새 계정에서 곧바로 GPU 실험을 시작할 수 있다고 판단해서는 안 됩니다. 기준은 Google 공식 약관입니다.

AI용 GPU 클라우드는 어떤 기준으로 골라야 할까요?

워크로드를 실행할 수 없는 하드웨어부터 제외한 뒤, 남은 하드웨어를 제공하는 업체를 비교해야 합니다. 흔히 VRAM이라고 부르는 GPU 메모리에는 모델과 실행에 필요한 상태가 들어갑니다. 모델을 간신히 로딩한 구성이라면 더 긴 프롬프트나 동시 요청이 추가되는 순간 실패할 수 있습니다.

먼저 가중치만 계산해 봅니다. 16비트에서는 파라미터당 2바이트가 필요하고, 4비트의 원시 가중치는 파라미터당 반 바이트입니다. 따라서 8B 파라미터 모델의 가중치는 16비트에서 약 16 GB, 원시 4비트에서는 4 GB입니다. 32B 파라미터 모델은 각각 64 GB와 16 GB, 70B 파라미터 모델은 140 GB와 35 GB입니다. 이는 이 글에서 십진법 GB 기준으로 계산한 값이며, 실제 측정한 서빙 요구량은 아닙니다. 메모리 계산의 기본 원리는 Runpod 용량 산정 가이드에 나와 있습니다.

이 계산에 빠진 공간이 중요합니다. 추론 런타임에는 작업용 메모리가 필요하고, KV 캐시는 생성이 진행되는 동안 어텐션 상태를 저장합니다. 컨텍스트 길이와 동시 요청 수에 따라 이 상태의 크기가 달라집니다. ‘35 GB 모델’이라고 해서 배포 메모리 예산도 35 GB인 것은 아닙니다. 캐시를 별도의 메모리 항목으로 고려해야 하는 이유는 Hugging Face 캐시 문서에 설명되어 있습니다.

24 GB, 48 GB, 80 GB 카드는 평가를 나누는 기준으로 사용해야 하며, 실행을 보장하는 기준으로 삼아서는 안 됩니다. 작은 양자화 모델은 24 GB 장치에서도 유용한 여유 공간을 남길 수 있습니다. 모델이 더 크거나 컨텍스트가 길거나 동시 요청이 많으면 다른 메모리 등급이 필요할 수 있습니다. 성공했던 가장 작은 요청에 맞추지 말고, 관측한 최대 메모리 사용량에 명확한 여유분을 더해야 합니다.

파인튜닝에서는 조건이 달라집니다. 전체 학습에는 그래디언트, 옵티마이저 상태, 저장된 활성값이 추가됩니다. 어댑터 기반 방법은 더 적은 파라미터를 갱신하므로 요구량을 줄일 수 있지만, 모든 메모리 비용이 사라지는 것은 아닙니다. 추론에 성공했다고 같은 카드에서 전체 파인튜닝도 가능하다고 볼 수는 없습니다. 학습 메모리 구성과 파라미터 효율적 파인튜닝 개요를 참고하면 됩니다.

이어서 GPU 세부 모델과 소프트웨어 호환성을 확인합니다. 업체가 H100을 제공한다고 해서 모든 H100 상품의 폼팩터, 메모리 구성, CPU 할당량, 인터커넥트가 같다는 뜻은 아닙니다. 여러 GPU를 사용할 때도 작업을 효과적으로 나눌 수 있는 프레임워크가 필요합니다. 카드를 더 구매하는 것만으로 느리거나 너무 큰 작업이 자동으로 해결되지는 않습니다.

마지막으로 과금되는 전체 수명 주기를 확인합니다. 최종 후보마다 연산 시작, 유효 작업, 준비 상태의 대기, 종료, 남겨 둔 스토리지를 구분합니다. 유휴 시간과 재시도를 포함한 예상 일정으로 한 달 비용을 산정해야 합니다. 표시된 시간당 요금이 같아도 상시 할당 머신과 매일 짧게 실행하는 배치 작업에 필요한 예산은 다릅니다.

상황별로 어떤 서비스를 선택해야 할까요?

선택을 가르는 첫 기준은 런타임을 직접 제어해야 하는지이고, 다음은 그 런타임을 준비된 상태로 유지할 가치가 있는지입니다. 지원 API로 기능을 구현할 수 있다면 Together AI부터 평가합니다. 자체 추론 코드가 필수이고 트래픽 변동이 크다면 Modal과 Runpod Serverless를 비교합니다. 대화형 작업 환경이나 지속적인 파인튜닝 실행이 필요하다면 Runpod Pods와 Lambda 인스턴스부터 검토하는 편이 좋습니다.

배치 작업을 재개할 수 있고 실행 위치도 유연하게 정할 수 있다면 Vast.ai를 추가합니다. 클러스터 워크로드가 명확하고 운영 담당자가 있다면 CoreWeave를 추가합니다. 애플리케이션이 이미 특정 Google Cloud 위치와 운영 환경에 의존한다면, 다른 업체로 옮기는 비용을 지불하기 전에 그곳의 GPU 용량부터 평가해야 합니다.

예약 용량은 약정 기간 내내 하드웨어를 유용하게 쓸 수 있다는 것을 알고, 가용성 자체도 중요할 때 합리적입니다. 사용률을 알아보기 위해 예약해서는 안 됩니다. 먼저 워크로드를 실행해 한가한 시간에도 유지되는 수요를 파악하고, 그 기준으로 정당화할 수 있는 용량만 예약해야 합니다.

지연 시간에 민감한 서비스는 요청량이 비교적 적어도 전용 용량이나 준비된 상태의 용량이 더 나을 수 있습니다. 요청이 뜸해질 때마다 고객이 기다리는 비용이 유휴 워커 비용보다 클 수 있기 때문입니다. 유휴 상태 이후 첫 응답과 트래픽이 몰릴 때 가장 느린 응답을 측정해야 합니다. 평균 지연 시간만 보면 두 문제 모두 놓칠 수 있습니다.

GPU 런타임을 직접 운영할지부터 고민 중이라면, 에이전트 워크로드용 추론 칩과 GPU 비교 가이드에서 하드웨어 제어 범위에 관한 더 넓은 선택 기준을 확인할 수 있습니다.

비교 대상과 평가 기준은 어떻게 정했나요?

평가 기준은 워크로드 적합성, 확인 가능한 구매 단위, 메모리 적합성, 데이터 비용, 시작 시 동작, 리전별 사용 가능 여부입니다. 이 일곱 업체는 관리형 모델 API, 자체 코드 기반 서버리스 애플리케이션, GPU 직접 대여, 마켓플레이스, 계획된 클러스터를 아우릅니다. 각 업체의 위치는 작업별 추천이며, 모든 용도에 통하는 속도 순위가 아닙니다.

가격과 기능에 관한 내용은 2026년 10월 30일 업체 공식 페이지를 기준으로 확인했습니다. 이 비교를 위해 GPU를 대여하거나 처리량·가동률 테스트를 수행하지는 않았습니다. 가중치 추정치는 계산 과정을 밝힌 산술 결과이며, 플랫폼 추천은 문서화된 동작을 분석한 판단입니다.

후보군은 개발자나 소규모 AI 팀에 초점을 맞췄습니다. 더 넓은 클라우드 목록, 조달 중개업체, 다른 하이퍼스케일러를 추가해도 이름만 늘어날 뿐, 모델 엔드포인트·머신·클러스터 중 무엇이 필요한지 먼저 정해야 한다는 점은 바뀌지 않습니다. 사용할 수 있는 위치에서 필요한 구성을 제공하는 업체만 최종 평가에 포함해야 합니다.

이런 조건에서는 피하는 편이 좋습니다

업체 자체는 다른 용도에 잘 맞더라도, 현재 워크로드에 맞지 않는 구매 방식은 피해야 합니다.

• Vast.ai 중단형 용량: 재개하거나 안전하게 재시도할 수 없는 작업에는 맞지 않습니다. 중단 위험을 감수하기 전에 복구부터 검증해야 합니다.
• Runpod Community Cloud: Runpod 네트워크 볼륨 연결을 전제로 한 계획에는 맞지 않습니다. 이 스토리지 옵션은 Secure Cloud Pods용입니다.
• 실행 수를 0으로 줄인 Modal: 모든 첫 응답이 엄격한 지연 시간 목표를 충족해야 하는데 초기화 시간을 측정하지 않았다면 적합하지 않습니다. 준비 상태로 유지할 용량의 예산을 잡거나 배포 방식을 바꿔야 합니다.
• Lambda 1-Click Clusters 또는 CoreWeave 예약: 유용하게 쓸 GPU 수와 작업 시간이 아직 추측에 불과하다면 이릅니다. 먼저 더 작은 규모로 대여해 수요를 확인해야 합니다.
• Together AI 서버리스: 필요한 체크포인트나 런타임 동작이 지원 API 제품의 범위를 벗어나면 맞지 않습니다. 전용 제품이나 직접 프로그래밍할 수 있는 GPU 환경을 평가해야 합니다.
• 유료로 업그레이드하지 않은 Google Cloud Free Trial: 즉시 GPU를 사용하려는 계획에 맞지 않습니다. GPU 제한이 명시되어 있습니다.

GPU 클라우드에 대해 자주 묻는 질문

GPU 대여 업체에는 어떤 곳이 있나요?

이 글에서는 Runpod, Lambda, CoreWeave, Vast.ai, Modal, Together AI, Google Cloud의 일곱 업체를 비교합니다. 먼저 관리형 모델 API, 자체 코드 기반 서버리스 컴퓨팅, 온디맨드 머신, 마켓플레이스 대여, 예약 클러스터 용량 중 필요한 제품 유형을 정해야 합니다. 각 업체 설명에서 이러한 유형이 어떻게 겹치는지 확인할 수 있습니다.

클라우드 GPU를 무료로 쓸 수 있나요?

Modal의 Starter 요금제에는 제한된 월간 연산 크레딧이 포함되지만 GPU를 무제한으로 사용할 수 있는 것은 아닙니다. Shared Endpoint의 토큰 요금도 별도입니다. Google Free Trial은 유료 계정으로 업그레이드하기 전까지 GPU 추가를 막으며, 상시 Free Tier에서도 GPU는 제외됩니다. Together AI는 선불 결제가 필요하다고 명시합니다. 크레딧은 워크로드를 평가하는 수단으로 봐야 하며, 프로덕션 용량 확보 계획으로 삼아서는 안 됩니다.

GPU 클라우드는 어떻게 비교해야 하나요?

정확히 같은 GPU 세부 모델과 할당 규모에서 동일한 체크포인트, 정밀도, 입력 길이, 동시 처리 수를 비교해야 합니다. 과금되는 시작·유휴 시간, 스토리지, 전송, 실패한 작업까지 포함해야 합니다. 유용한 지표는 ‘GPU당 시간당’ 옆에 표시된 최솟값이 아니라, 지연 시간과 복구 요건을 충족하면서 작업을 완수하는 데 든 비용입니다.

다음 주에는 최종 후보 두 곳에 같은 소규모 워크로드와 통과 기준을 적용해 보길 권합니다. 메모리 최대 사용량, 첫 유용한 결과까지 걸린 시간, 완료 작업 처리량, 과금된 리소스 유지 시간, 중지 후 남는 비용을 기록합니다. 학습에서는 저장된 체크포인트로 복구하는 과정을 시험하고, 서빙에서는 유휴 상태 이후의 요청과 요청 급증 상황을 테스트합니다. 이 근거가 뒷받침될 때만 배포 규모를 늘려야 합니다.

AI 비즈니스 워크플로 점검 체크리스트와 운영자를 위한 뉴스레터를 받아 보세요.