로컬 AI 모델부터 호스팅 API까지, 2026년 Jev 대안 비교

Jev 대안으로 로컬 AI 모델과 호스팅 API를 비교한다면, 호스팅 비용을 줄이기 위해 먼저 검토할 후보는 입력 토큰 100만 개당 $0.02인 Perplexity API입니다. 이미 Cloudflare에서 애플리케이션을 운영한다면 Clef-flash가 더 잘 맞고, 로컬에서 이미지를 바탕으로 판단해야 한다면 Liquid AI d1-3B부터 검토할 만합니다. 월 100만 건의 판단에 건당 과금 대상 입력 토큰 1,000개를 쓴다고 가정하면, Jev에서 Perplexity로 옮겨 절약하는 기본 입력 요금은 $22에 불과합니다. 애플리케이션이 받아들인 판단의 오류율을 유지하면서 필요한 환경에서 실행할 수 있는 대안을 선택해야 합니다.

요금, 라이선스, 배포 문서는 2026년 10월 11일에 확인했습니다. 아래 요금은 각 제공사가 공개한 수치입니다. 월간 비용은 명시한 가정에 따른 계산값이며 실제 운영 테스트의 청구액이 아닙니다. 이 비교를 위해 모델을 직접 실행하지는 않았습니다.

로컬 AI 모델과 호스팅 API, 어떤 Jev 대안이 맞을까요?

먼저 배포 환경의 제약을 확인하고, 실제 업무의 판단 사례로 품질을 비교합니다. 호스팅 API는 제공사가 모델을 운영하는 방식입니다. 가중치 공개는 라이선스에 따라 모델 파일을 받아 직접 추론할 수 있다는 뜻이며, 연산 자원까지 무료로 제공한다는 의미는 아닙니다.

호스팅 요금은 자체 호스팅 추론의 가격을 뜻하지 않습니다. 다운로드할 수 있는 Liquid와 Strands 모델의 미공개 표기는 제공사 페이지에 고정된 입력 토큰 요금이 없다는 의미입니다. 하드웨어, 전력, 호스팅, 운영 비용은 여전히 부담해야 합니다. 라이선스와 체크포인트의 세부 사항은 각 모델 설명에서 다룹니다.

현재 비교 기준이 되는 TypeSafe 모델은 Jev 1.13이며, 모델 ID는 jev-1.13.0입니다. 요금은 입력 토큰 100만 개당 $0.042이고 출력은 무료입니다. 입력으로는 텍스트와 JSON 같은 구조화된 텍스트를 받으며, 이미지·오디오·동영상은 받지 않습니다. 따라서 공개된 기본 입력 요금만 보면 Microsoft는 Jev와 같고, OpenAI는 더 비싸며, Perplexity와 Clef-flash는 더 저렴합니다. TypeSafe 모델 목록

이미 Jev를 연동했다면 애플리케이션에 필요한 판단의 정의라는 중요한 자산이 있습니다. 이 정의를 유지해야 합니다. 결제 문의는 재무 부서로, 계정 접근 문제는 지원 부서로 보내야 한다면, 눈에 띄는 벤치마크 점수보다 먼저 이런 실제 사례에서 대체 모델의 적합성을 확인해야 합니다.

비교 대상은 어떤 기준으로 골랐나요?

제공사가 관리하는 API, 모델 카드 또는 저장소가 있고, 배포 여부를 결정할 만큼 문서가 갖춰진 모델을 우선했습니다. 제공사 페이지를 확인할 수 없는 커뮤니티 복제 모델은 비교에서 제외했습니다. 여섯 제공사의 제품을 일곱 가지 도입 선택지로 정리했습니다. Cloudflare 제품군은 한 절에서 함께 다루고, Liquid의 두 모델은 권장 용도가 달라 각각 설명합니다.

기준은 실무에 필요한 항목입니다. 필요한 입력 유형, 호스팅과 로컬 운영 중 어떤 방식인지, 가중치 라이선스, 업무를 막을 수 있는 문서상의 제한, 실제로 쓸 수 있는 판단 한 건의 비용을 살폈습니다. 쓸 수 있는 판단이란 비용이 큰 수정이나 불필요한 상위 담당자 이관 없이 애플리케이션이 받아들일 수 있는 결과입니다.

먼저 저렴한 호스팅 후보 중 가장 유력한 모델을 다루고, 기존 플랫폼에 맞는 선택지와 로컬 모델로 이어갑니다. 정확도 순위는 아닙니다. 제공사별 테스트는 데이터셋, 하드웨어, 입력 길이, 네트워크 경로가 다릅니다. 여기 인용한 성능 수치는 모두 제공사가 보고한 값이며, 어느 것도 실제 고객 문의에서 Jev보다 낫다는 보장은 아닙니다.

용도의 경계도 분명히 해야 합니다. 이 모델들은 정해진 결과 중 하나를 고르거나 점수를 매깁니다. 고객에게 보낼 답변이나 설명문이 필요하다면 생성 단계를 유지해야 합니다. 이보다 넓은 선택 기준은 Jev와 GLM-5.3-Flash 비교에서 다룹니다.

도입을 검토할 일곱 가지 선택지

1. Perplexity pplx-decider-v1.1-27b: 호스팅 요금을 낮추려면 먼저 검토할 모델

Perplexity pplx-decider-v1.1-27b는 Perplexity의 호스팅 Decisions API와 다운로드 가능한 체크포인트로 제공되는 의사결정 모델입니다. 일반적인 고객 문의 라우팅이나 대량 라벨링에서 Jev 입력 비용을 줄이는 것이 목적이라면 가장 먼저 평가할 후보입니다. 이 비교에 포함된 호스팅 서비스 중 공개 요금이 가장 낮습니다. 다만 요청 한도, 로컬 서빙 요구 사항, 오류율이 실제 업무에 맞지 않으면 다른 선택이 필요합니다.

적합한 용도: 저렴한 호스팅 라우팅, 라벨링, 평가 기준에 따른 점수 산정.
핵심 특징: 직접 호출하는 API와 별도의 공개 가중치 배포 경로.
요금: 입력 토큰 1M당 $0.02, 출력 무료, 요청당 별도 요금 없음.
무료 체험: 인용한 Decisions 가이드에는 공개되어 있지 않습니다.
입력과 실행 환경: Perplexity API에서 텍스트, JSON, 인라인 이미지를 지원합니다. 제공된 로컬 구현에는 CUDA 하드웨어가 필요합니다.
라이선스: 다운로드 가능한 체크포인트는 Apache-2.0이며, 호스팅 이용은 별도 서비스입니다. API 가이드, 체크포인트 라이선스

호스팅에서 먼저 확인할 제약은 처리량입니다. Perplexity는 모든 요금제에서 조직당 초당 10개 요청을 허용한다고 명시합니다. 공통 근거 자료를 바탕으로 최대 128개 질문을 보낼 수 있고, 총 입력은 262,144토큰 미만이어야 합니다. 요청 제한 서로 다른 고객 문의에 모두 라벨이 필요하다고 해서 그 묶음이 자동으로 하나의 공통 상태 요청이 되는 것은 아닙니다. 무관한 사례를 한데 넣어 판단 과제 자체를 바꾸지 않도록 해야 합니다. 호스팅 제한

이 요청 한도에서는 스케줄링이 완벽하고 재시도가 전혀 없어도 개별 요청 100만 건에 최소 27.8시간이 걸립니다. 이는 계산으로 구한 최소 소요 시간이며 속도 측정값이 아닙니다. 밤사이 밀린 데이터를 일괄 처리하는 작업과 문의가 조금씩 꾸준히 들어오는 작업은 같은 저렴한 API에도 전혀 다른 부하를 줍니다.

자체 호스팅에는 다른 제약이 있습니다. 제공사의 참조 구성은 가중치 약 49 GiB에 더해 작업 메모리를 요구하며, prepare 구현은 합산 입력이 8,192토큰을 넘으면 거부합니다. 평가에 사용된 어텐션 및 보정 설정도 유지해야 합니다. 모델 카드에는 인증이 필요한 비공개 저장소 접근에 관한 설명도 남아 있으므로, 로컬 도입을 확정하기 전에 해당 계정으로 체크포인트를 다운로드할 수 있는지 확인해야 합니다. Perplexity 모델 카드

호스팅의 컨텍스트 한도를 로컬 배포 요구 사항에 그대로 옮기면 안 됩니다. 로컬 구성은 실제 전처리, 메모리 사용량, 모델 리비전을 포함해 별도 실행 환경으로 평가해야 합니다. 그렇지 않으면 기본 서비스가 처리하기 어려웠던 긴 기록에서 대체 경로마저 실패할 수 있습니다.

처음 비교할 때는 오류를 직접 살펴볼 수 있을 만큼 과제의 범위를 좁힙니다.

1. 1

   기존 처리 큐의 정의를 유지합니다

   Jev 구현에서 쓰던 라벨과 경계 사례를 가져옵니다. 정의에 들어맞지 않는 문의를 위해 기타 또는 검토 필요 결과를 명시적으로 유지합니다. 비교 기준이 될 워크플로는 Jev 고객 문의 라우팅 가이드를 참고할 수 있습니다.

2. 2

   Perplexity의 고유 요청 형식을 사용합니다

   모델을 pplx-decider-v1.1-27b로 지정하고, state와 이름이 있는 questions를 POST /v1/decisions로 보냅니다. choice 질문을 사용하고 criteria에 각 큐의 기준을 설명합니다. 요청과 응답의 규격은 공식 API 레퍼런스를 따릅니다.

3. 3

   실제 배정은 유지하고 응답만 기록합니다

   질문 이름에 해당하는 응답을 읽습니다. 선택된 라벨, 반환된 확률, 과금 대상 입력 사용량, 요청 상태를 현재 Jev 결과와 함께 저장합니다. 제공사 측 요청 실패와 유효하지만 신뢰도가 낮은 판단은 구분합니다.

4. 4

   결과를 보기 전에 전환 조건을 정합니다

   허용 가능한 오배정률, 검토량, 응답 기한을 정합니다. 대표성 있는 라벨링 데이터에서 이 조건을 충족한 후보만 실제 운영에 적용합니다. 입력 요금이 낮다는 이유만으로는 전환 기준을 충족하지 못합니다.

2. Cloudflare Clef, Clef-flash, Clef-omni: 필요한 입력 유형에 맞춰 선택

판단 기능을 기존 Workers 애플리케이션 안에 넣으려면 Cloudflare Clef-flash가 실용적인 첫 후보입니다. 이 제품군은 Workers AI 호스팅과 Apache-2.0 가중치를 함께 제공하므로, 관리형 배포를 평가하면서 이후 자체 호스팅으로 옮길 가능성도 열어 둘 수 있습니다. 모델이 읽어야 할 근거 자료와 호스팅 엔드포인트의 제한에 따라 버전을 선택해야 합니다. 가장 저렴한 모델이라고 해서 오디오 지원이나 충분한 컨텍스트를 대신할 수는 없습니다.

적합한 용도: Workers 애플리케이션과 가까운 환경에서의 라우팅 및 분류.
핵심 특징: Workers AI 바인딩과 REST 접근, 다운로드 가능한 가중치.
요금: 입력 토큰 1M당 Clef-flash $0.038, Clef $0.240, Clef-omni $0.150.
무료 체험: Workers AI의 공용 일일 무료 할당량을 제공합니다. Clef 전용 무제한 체험은 아닙니다.
입력과 실행 환경: Clef와 Clef-flash는 텍스트, JSON, 이미지, 동영상 프레임을 처리합니다. Clef-omni는 오디오와 소리가 포함된 동영상의 직접 입력을 추가로 지원합니다. Workers AI 호스팅 또는 자체 서빙 환경에서 실행합니다.
라이선스: 세 모델 모두 가중치에 Apache-2.0을 적용합니다. Workers AI 요금, 최초 출시 안내, Clef-omni 모델 카드

Clef와 Clef-flash는 2026년 10월 1일에 출시됐습니다. 10월 9일 업데이트에서는 Clef-omni가 추가되고 호스팅 선택 시 따져야 할 조건도 바뀌었습니다. 특히 중요한 변화는 Clef-flash의 현재 호스팅 컨텍스트 윈도가 24,576토큰이라는 점입니다. 한도에 맞추기 위해 텍스트 상태가 잘릴 수 있습니다. 따라서 긴 장애 이력에서는 애플리케이션이 응답을 받더라도 판단에 필요한 근거가 이미 빠졌을 수 있습니다. 현재 Clef-flash 문서, 10월 업데이트

그래서 flash의 첫 적용 대상으로는 끝없이 쌓이는 대화 기록보다 짧은 접수 양식이 적합합니다. 입력 예산을 정하고 그 안에 큐 배정 정책과 결정적인 고객 근거를 담아야 합니다. 전송 전에 기록을 줄인다면 평가에도 그 축약본을 사용해야 합니다. 실제로 보내지 않을 완전한 대화록으로 평가해서는 안 됩니다.

Cloudflare Clef는 더 큰 텍스트·이미지 모델이며, 호스팅 컨텍스트는 65,536토큰입니다. 실제 평가에서 의미 있는 개선이 확인되거나 flash의 호스팅 컨텍스트가 부족하다면 더 높은 요금을 감수할 이유가 있습니다. 크기가 더 크다는 사실만으로 품질 우위를 인정할 수는 없습니다. Clef 문서

판단 근거에 소리가 포함된다면 Cloudflare Clef-omni를 검토할 차례입니다. 현장 서비스 앱에서 기술자의 설명과 기계 녹음 파일을 함께 분류해야 하는 경우가 한 예입니다. 핵심은 오디오·동영상을 직접 입력한다는 점입니다. 정지 프레임만 추출한 뒤 그 안에 답이 있기를 기대하는 방식과는 다릅니다. 문서에는 64,000토큰 컨텍스트가 명시되어 있으며, 미디어별 제한으로 오디오 클립 최대 300초, 동영상 최대 60초, 그 밖에 개수와 바이트 한도가 있습니다. Clef-omni 문서

가중치가 공개됐다고 omni 모델을 휴대전화에 바로 배포할 수 있는 것은 아닙니다. Cloudflare의 참조 구성은 bfloat16 백본에 GPU 메모리 약 64 GB가 필요하다고 설명합니다. 이는 예산에 반영할 서빙 요구 사항이며 호스팅 토큰 요금이 아닙니다. Clef-omni 모델 카드

Cloudflare의 하루 10,000 Neurons 무료 할당량은 Workers AI에서 함께 사용하는 용량입니다. Neurons는 Cloudflare의 연산 과금 단위입니다. 할당량을 넘겨 사용하려면 Workers Paid가 필요합니다. 토큰 단가는 모델 요금으로 보고, 배포 예산에는 나머지 Workers 구독료와 애플리케이션 사용료도 포함해야 합니다. 할당량과 과금 규칙

3. Microsoft-Decision-1: Foundry의 라벨링과 에이전트 실행 제어에 적합

Microsoft-Decision-1은 이미 Microsoft Foundry를 사용하는 개발자를 위한 호스팅 의사결정 점수 모델입니다. 입력 토큰 100만 개당 $0.042로 Jev의 현재 공개 요금과 같으므로, 직접적인 토큰 절감보다 플랫폼 적합성과 과제별 품질을 기준으로 평가해야 합니다. 피드백 라벨링이나 에이전트의 계속 진행·재시도·상위 단계 이관 여부를 판단하는 용도부터 시작할 만합니다. 문서상 요청은 텍스트 또는 JSON을 받습니다. 기반 모델 계열만 보고 이미지도 지원한다고 추정해서는 안 됩니다. Microsoft 발표, Foundry 가이드

적합한 용도: Foundry 배포 환경의 라벨링, 우선순위 지정, 에이전트 실행 제어.
핵심 특징: Entra ID 또는 API 키를 사용하는 Foundry 배포 경로가 문서화되어 있습니다.
요금: 입력 토큰 1M당 $0.042, 출력 무료.
무료 체험: 인용한 의사결정 모델 페이지에는 공개되어 있지 않습니다.
입력과 실행 환경: 텍스트 또는 JSON, Microsoft Foundry와 OpenRouter.
라이선스: 호스팅 서비스입니다. 해당 제공사 페이지에는 다운로드 가능한 가중치의 라이선스가 공개되어 있지 않습니다. Microsoft 요금 및 접근 방식, 배포 요구 사항

Microsoft의 2026년 10월 9일 게시물은 기반 모델을 Qwen3.5-9B로 명시합니다. 다른 모델로 기반을 바꾸겠다는 설명은 향후 계획이며 현재 도입하는 아키텍처가 아닙니다. 마찬가지로 기반 모델이 공개되어 있다고 해서 Microsoft가 후속 학습한 모델을 다운로드할 권한까지 주어지는 것은 아닙니다. Microsoft가 가중치를 별도로 공개하기 전까지는 호스팅 후보로 봐야 합니다. 아키텍처 출처

운영상 이점은 애플리케이션이 이미 쓰는 플랫폼 안에서 평가할 수 있다는 것입니다. 예를 들어 제품 관리자가 주간 보고서를 읽기 전에 범용 모델로 고객 피드백에 라벨을 붙이고 있다고 가정해 보겠습니다. 주제별 라벨과 미분류 결과를 정의한 뒤 같은 피드백으로 두 시스템을 비교합니다. 모호한 의견에 근거 없이 지나치게 구체적인 라벨을 붙이는지 살펴야 합니다. 형식이 완벽한 라벨도 보고서의 해석을 잘못 이끌 수 있습니다.

Microsoft는 자사의 36개 벤치마크 비교에서 평균 정확도가 가장 높았다고 보고합니다. 이는 제공사 발표 결과이며, 지연 시간 비교도 같은 리전의 Foundry를 통해 Microsoft-Decision-1을 측정한 것입니다. 이 조건을 함께 봐야 합니다. 해당 결과가 실제 애플리케이션의 응답 시간이나 자체 분류 체계에서의 정확도를 입증하지는 않습니다. Microsoft 평가 설명

배포에 필요한 조건도 명확합니다. 관련 없는 SDK에서 모델 문자열만 바꾸는 것으로 끝나지 않습니다. Foundry 프로젝트, 모델 배포 권한, 인증 경로가 필요합니다. 가이드가 설명하는 출력은 수치로 표현된 판단이며 서술형 설명이 아닙니다. 검토자에게 라벨의 이유를 제시해야 하는 워크플로라면 근거 자료를 보존하고 설명은 다른 단계에서 제공해야 합니다. Foundry 설정 및 출력 규격

4. OpenAI Decisions API: 기존 OpenAI 연동을 활용하는 선택

OpenAI Decisions API는 gpt-6-luna를 사용해 텍스트와 이미지를 정해진 자료형의 응답으로 바꿉니다. 애플리케이션이 이미 OpenAI를 사용하고 있고, 그 연동 안에서 분류, 제한된 선택지 중 선택, 평가 기준에 따른 점수 산정이 필요하다면 합리적인 후보입니다. 기본 요금은 입력 토큰 100만 개당 $0.10으로 Jev보다 비쌉니다. 연동의 이점이나 실제로 측정한 과제 품질이 그 차액을 정당화할 때 선택해야 합니다. OpenAI Decisions 가이드

적합한 용도: 기존 OpenAI 애플리케이션의 텍스트·이미지 라벨링과 실행 제어.
핵심 특징: 전용 엔드포인트에서 받는 predicate, choice, score 응답.
요금: 기본 요금은 입력 토큰 1M당 $0.10이며 출력, 캐시 읽기, 캐시 쓰기 요금은 없습니다. 리전별 할증과 긴 컨텍스트의 입력 요금 배수가 적용됩니다.
무료 체험: Decisions 가이드에는 공개되어 있지 않습니다.
입력과 실행 환경: 호스팅 POST /v1/decisions 엔드포인트를 통한 텍스트와 인라인 이미지.
라이선스: 호스팅 API 이용 방식이며, 가이드에 공개 가중치 배포 라이선스는 제시되어 있지 않습니다. 현재 가이드 및 요금

이 API는 2026년 10월 6일 공개 베타에 들어갔습니다. 도입을 결정할 때 이 상태를 고려해야 합니다. 새 API도 평가할 가치는 있지만, 장애 시 대체 경로로 쓰기 전에 응답 파서, 예외 처리, 계정 접근까지 포함해 실제로 맞는지 확인해야 합니다. OpenAI 변경 기록

마이그레이션에서 확인할 핵심은 요청과 응답의 규격입니다. OpenAI는 input과 이름이 있는 질문 배열을 사용하며, 예·아니요 유형은 predicate입니다. 기존 Jev 형식의 질문 객체를 그대로 전달할 수는 없습니다. 응답에는 거절도 포함될 수 있으므로 확률 값과 별도로 처리해야 합니다. 요청 및 응답 형식

예를 들어 반품 워크플로에서 제품 사진에 눈에 보이는 손상이 있는지 묻고 적절한 검토 큐를 선택하게 할 수 있습니다. 그러나 이 결과만으로 누가 손상을 일으켰는지, 보증이 적용되는지, 환불이 승인되는지까지 확정할 수는 없습니다. 각각 별도의 근거나 고정된 업무 규칙이 필요한 판단입니다.

5. Liquid AI d1-3B: 로컬 텍스트·이미지 판단을 시작할 모델

Liquid AI d1-3B는 텍스트와 이미지 입력을 지원하는 가중치 공개 의사결정 모델로, 2026년 10월 7일 출시됐습니다. 설명과 사진을 모두 분류해야 하는 데스크톱 또는 엣지 애플리케이션이라면, 여기 소개한 로컬 후보 중 먼저 평가할 모델입니다. 장점은 추론이 실행되는 위치를 직접 통제할 수 있다는 데 있습니다. GPU를 운영하는 편이 매우 저렴한 호스팅 API보다 비용이 적게 든다는 보장은 아닙니다. Liquid AI 출시 안내

적합한 용도: 로컬 이미지 분류, 시각적 검사, 텍스트 라우팅.
핵심 특징: 다운로드할 수 있으며 로컬 하드웨어 측정 결과가 문서화된 모델.
요금: 이 공개 체크포인트의 입력 토큰 1M당 요금은 미공개입니다. 자체 연산 비용을 따로 잡아야 합니다.
무료 체험: 라이선스에 따라 가중치를 다운로드할 수 있으며 연산 비용은 별도입니다.
입력과 실행 환경: 텍스트, JSON, 이미지. 제공사 예제는 사용자 정의 Transformers 코드를 통해 CUDA, Apple MPS, CPU를 지원합니다.
라이선스: LFM Open License v1.0. 모델 카드, 가중치 라이선스

기반은 LFM2.5-VL-3B이며 문서상의 컨텍스트는 32,768토큰입니다. 작업자가 제품 이미지를 넣고 정해진 검사 질문을 고르는 데스크톱 품질 검토 툴을 생각해 볼 수 있습니다. 나머지 워크플로도 로컬이라면 호스팅 의사결정 API를 호출하지 않고 계속 실행할 수 있습니다. 다만 카메라 조건, 이미지 크기 조정, 결함의 정의는 여전히 검증해야 합니다. 아키텍처 및 컨텍스트

Liquid는 단일 질문 처리 시간을 Jetson AGX Thor에서 16 ms, AGX Orin에서 26 ms, Orin Nano에서 50 ms로 보고합니다. 이는 제공사가 보고한 하드웨어 측정값입니다. 실제 입력 크기에서의 성능을 보장하거나 인터넷 API 요청 전체와 비교한 수치가 아닙니다. 평가할 만한 하드웨어를 고르는 참고 자료로 활용한 뒤 애플리케이션 전체를 측정해야 합니다. Liquid 처리 시간 표

라이선스는 도입을 좌우하는 조건입니다. Liquid의 두 체크포인트는 모두 LFM Open License v1.0을 사용하며, 상업적 이용 조건에는 연 매출 1,000만 달러 기준이 등장합니다. 해당 배포가 조건을 충족한다고 가정하기 전에 라이선스가 정의하는 법인과 제5조를 읽어야 합니다. 이 조건의 적용을 받는다면 Liquid에 약관을 확인해야 합니다. 구매 검토표에 이 모델을 Apache-2.0으로 기재해서는 안 됩니다. 라이선스 전문

이름도 주의해서 구분해야 합니다. Liquid는 호스팅 d1을 d1-3B, d1-omni-600M과 별도로 안내합니다. 호스팅 문서와 발표문에는 입력만 과금한다고 설명되어 있지만, 이 비교에서 확인한 페이지에는 토큰 100만 개당 달러 요금이 공개되어 있지 않습니다. 호스팅 모델의 요금과 제한을 다운로드 모델에 그대로 적용하면 안 됩니다. Liquid 모델 목록, 호스팅 d1 가이드

오프라인 제품이라면 실제 대상 기기에서 품질과 지연 시간 기준을 충족하는지가 전환 조건입니다. 다른 소프트웨어를 함께 실행하고, 현실적인 이미지를 사용하며, 지속적인 사용 조건에서 테스트해야 합니다. 따로 실행한 추론 한 번이 성공했다는 사실은 처리 용량을 판단하는 출발점일 뿐입니다.

6. Liquid AI d1-omni-600M: 소형 기기의 음성 판단용 실험 모델

Liquid AI d1-omni-600M은 텍스트와 이미지 또는 텍스트와 오디오를 처리하는 소형 실험 모델입니다. 기기에서 소수의 음성 명령 의도를 구분해야 할 때 검토할 후보이며, 모든 멀티모달 호스팅 서비스를 대체한다고 가정해서는 안 됩니다. 작은 크기는 로컬 운영의 매력이지만 입력과 학습 범위의 제한이 선택을 좌우합니다. 음성 명령 시범 적용은 제한 없는 녹음 분석보다 범위가 좁은 과제로 다뤄야 합니다. 출시 상태, 모델 카드

적합한 용도: 소형 기기에서의 음성 의도 또는 이미지 판단 실험.
핵심 특징: 오디오 입력 경로를 갖춘 소형 공개 체크포인트.
요금: 이 공개 체크포인트의 입력 토큰 1M당 요금은 미공개입니다.
무료 체험: 라이선스에 따라 가중치를 다운로드할 수 있으며 자체 연산 비용은 발생합니다.
입력과 실행 환경: 텍스트·JSON과 이미지 또는 오디오. 로컬 CUDA, MPS, CPU 예제가 있습니다.
라이선스: LFM Open License v1.0이며 동일한 상업적 이용 조건이 적용됩니다. 모델 카드, 라이선스

모델 카드에 따르면 파라미터는 5억 8,700만 개이며, 오디오 학습은 영어 화자와 어시스턴트 사이의 요청을 기반으로 합니다. 오디오 클립은 30초에서 잘립니다. 따라서 긴 다국어 고객 통화보다는 “검사를 일시 중지해” 같은 명령이 더 적절한 평가 대상입니다. 오디오를 입력으로 받는다는 사실만으로 모든 종류의 소리에서 성능이 입증되는 것은 아닙니다. 오디오 지원 범위

놓치기 쉬운 제한도 있습니다. 모델의 전체 컨텍스트 위치는 16,384개이지만, 이미지를 함께 넣으면 상태와 질문 텍스트가 896토큰으로 잘립니다. 긴 운영 매뉴얼을 이미지와 함께 첨부하면, 전체 컨텍스트 수치로 예상한 시점보다 훨씬 먼저 해당 텍스트 입력 한도를 넘을 수 있습니다. 컨텍스트 세부 사항

키오스크에 적용한다면 명령 목록과 로컬 정책을 간결하게 유지하고, 알아듣지 못한 요청을 처리하는 경로를 마련해야 합니다. 또렷한 명령뿐 아니라 주변 사람의 말소리와 맥락이 빠진 요청도 의도적으로 평가합니다. 유용한 시스템은 항상 그럴듯한 선택지를 내놓는 시스템이 아니라, 지시가 불명확할 때 판단을 보류하는 시스템입니다.

Liquid의 출시 발표에는 이 실험 모델의 속도 측정값이 없습니다. 더 큰 d1-3B의 처리 시간을 가져다 쓰거나 파라미터가 적다는 이유로 지연 시간이 보장된다고 추정하면 안 됩니다. 애플리케이션은 여전히 미디어를 처리하고 모델을 로드해야 하며, 기기의 운영 자원 예산 안에서 런타임을 실행해야 합니다. 출시 발표의 측정 범위

7. Amazon Strands Decider 2B: 내부를 검토할 수 있는 로컬 에이전트 실행 제어

Amazon Strands Decider 2B는 Strands Labs의 공개 의사결정 모델로, 추론 코드와 학습 자료, 평가 결과를 함께 제공합니다. 호스팅 Jev 호출을 대체하려는 이유가 자체 에이전트 런타임 안의 작은 판단 구성 요소를 직접 통제하기 위해서라면 잘 맞는 후보입니다. 제안된 동작이 짧은 정책에 부합하는지 확인하는 식의 범위가 정해진 과제부터 시작합니다. 제공된 로컬 서버를 완성된 호스팅 제품으로 생각해서는 안 됩니다. 제공사 저장소

적합한 용도: 로컬 에이전트 실행 제어, 라우팅, 학습 방법 실험.
핵심 특징: 모델 가중치, 코드, 평가 세부 사항을 함께 제공합니다.
요금: 호스팅 입력 토큰 1M당 요금은 미공개이며, 런타임은 직접 마련해야 합니다.
무료 체험: Apache-2.0 모델과 코드를 다운로드할 수 있으며 연산 비용은 별도입니다.
입력과 실행 환경: 텍스트와, 비전 경로 사용 시 선택적으로 이미지. CUDA, Apple Silicon, CPU 옵션이 있습니다.
라이선스: 여기서 다루는 Qwen 기반 체크포인트와 프로젝트는 Apache-2.0입니다. 현재 모델 카드

정확한 체크포인트를 고정해야 합니다. 저장소가 현재 참조 모델로 설명하는 것은 **strands-decider-2B-qwen3.5-v1-2610**입니다. Qwen3.5-2B-Base 백본에 학습된 어댑터와, 허용된 답변에 점수를 매기는 의사결정 헤드를 결합합니다. 이전 이름인 hobson-v19와 hobson-v21도 여전히 보이므로 성능을 언급할 때는 버전을 함께 적어야 합니다. 버전 및 아키텍처

자주 인용되는 115 ms도 이 구분이 중요합니다. 저장소의 상세 표에서 RTX 3090의 해당 중앙값은 v19에 배정되어 있습니다. 최신 버전 열에는 아키텍처와 크기가 같다고 설명되어 있습니다. 이 수치는 제공사가 보고한 과거 버전의 처리 시간이며 현재 체크포인트를 새로 측정한 결과가 아닙니다. 배포할 체크포인트에 해당하는 측정값을 사용해야 합니다. 버전별 성능 표

제공된 서버는 localhost에 바인딩되며 인증 기능이 없습니다. 로컬 실험에는 유용하지만, 네트워크 서비스에는 접근 제어, 동시 처리 계획, 배포 책임 주체, 모니터링도 필요합니다. 내부 에이전트라면 모델 프로세스가 아직 준비되지 않았거나, 처리 중이거나, 사용할 수 없을 때 어떻게 동작할지 담당자가 정해야 합니다. “로컬 실행”은 배포 방식이며 가용성 전략까지 의미하지는 않습니다. 서빙 안내

첫 실행 제어 과제로는 “제안된 동작이 레코드를 읽기만 하는가”와 “레코드를 변경하는가”를 구분할 수 있습니다. 사용자의 권한과 허용된 작업은 여전히 애플리케이션의 고정 규칙으로 확인해야 합니다. 모델이 안전하다고 판단해도 인증된 사용자에게 실행 권한이 없다면 해당 작업은 계속 차단되어야 합니다.

월간 AI API 비용은 얼마나 달라질까요?

절감률이 커도 실제 절감액은 작을 수 있습니다. 월 100만 건의 판단에 건당 과금 대상 입력 토큰 1,000개를 쓴다고 가정하겠습니다. 총 입력은 10억 토큰입니다. 확인된 기본 요금을 적용하면 입력만 계산한 모델 비용은 Perplexity $20, Clef-flash $38, Jev 또는 Microsoft-Decision-1 $42, OpenAI Decisions $100, Clef-omni $150, Clef $240입니다. Perplexity, Cloudflare, TypeSafe, Microsoft, OpenAI

이는 과금 대상 토큰 수를 의도적으로 같게 맞춘 시나리오입니다. 같은 업무 입력이라도 토크나이저, 질문 구성, 미디어 처리 방식에 따라 청구되는 총량이 달라질 수 있습니다. 무료 할당량, 플랫폼 구독료, 리전별 또는 긴 컨텍스트 할증, 재시도, 후속 생성, 담당자 검토 비용은 제외한 수치입니다.

이번에는 후보 모델의 오류율이 0.1%포인트 높아지고, 추가 오류 한 건을 처리하는 데 $1이 든다고 가정하겠습니다. 판단 100만 건에서 추가 오류 1,000건과 추가 비용 $1,000이 발생합니다. 이는 설명을 위한 가정이며, 측정된 실패율이나 담당자 시간의 시장 단가가 아닙니다. 토큰 가격만 볼 것이 아니라 애플리케이션이 받아들이는 판단을 기준으로 최적화해야 하는 이유를 보여 줍니다.

자체 호스팅도 비슷하게 계산할 수 있습니다. 추가 인프라 예산이 월 $100이라면, 운영 비용과 품질 차이를 제외하더라도 Perplexity의 토큰 100만 개당 $0.02 기본 요금과 같아지려면 월 입력 토큰 50억 개가 필요합니다. $100은 가정이며 GPU 견적이 아닙니다. 이미 남는 하드웨어가 있다면 계산이 달라질 수 있습니다. 토큰 비용이 줄지 않더라도 데이터를 로컬에 두거나 오프라인 제품을 지원해야 한다면 자체 호스팅이 타당할 수 있습니다.

규모를 늘려 추정하기 전에 실제 워크로드에서 과금량을 측정해야 합니다. 예를 들어 Liquid의 별도 호스팅 d1 서비스는 질문마다 텍스트와 제공된 이미지를 다시 계산합니다. 따라서 여러 질문을 한 HTTP 호출로 보낸다고 근거 자료에 대한 요금을 한 번만 내는 것은 아닙니다. 이 과금 규칙으로 공개 체크포인트의 달러 요금까지 정할 수는 없습니다. Liquid 과금 설명

실제 운영에는 어떤 모델을 선택해야 할까요?

일반적인 AI 라우팅에서 호스팅 비용 절감이 목적이라면 Perplexity부터 평가합니다. Workers 안에서 처리하는 편이 애플리케이션을 단순하게 만든다면 Clef-flash를 먼저 검토합니다. 최종 선택은 후보가 필요한 요청률, 입력 길이, 실제 측정한 오배정·검토 허용 범위에 맞는지에 달려 있습니다. 올바른 큐를 결정하는 근거가 빠진다면 낮은 요금도 익숙한 플랫폼도 이를 보완하지 못합니다.

AI 분류 모델로 라벨링할 때는 모호한 사례에서도 기존 분류 체계를 유지하는 후보를 우선합니다. Foundry에서는 Microsoft-Decision-1이 자연스러운 후보이고, 호스팅 가격을 우선하면 Perplexity가 후보입니다. 하나의 의견이 여러 주제에 속할 수 있는지 테스트해야 합니다. 단일 선택 질문은 반드시 하나를 고르게 하므로, 다중 라벨 문제는 개별 확인 질문으로 나누거나 그 구조가 드러나도록 별도로 표현해야 합니다.

에이전트 실행 제어에는 안정적으로 운영할 수 있는 런타임을 선택하고, 권한은 코드로 통제합니다. 로컬 구성 요소로는 Strands를 평가할 만하고, 기존 호스팅 연동에는 Microsoft나 OpenAI가 맞을 수 있습니다. 모델은 제안된 동작에 대한 추정치를 제공할 수 있습니다. 권한, 지출 규칙, 허용된 작업은 애플리케이션이 별도로 강제해야 합니다.

온디바이스 작업에서 텍스트와 이미지는 d1-3B, 범위가 좁은 음성 실험은 d1-omni-600M부터 시작합니다. Strands의 라이선스와 검토 가능한 학습 방법이 프로젝트에 더 잘 맞는다면 또 다른 로컬 선택지가 됩니다. 이 경우에는 호스팅 가격을 비교하기에 앞서 기기, 입력 전처리, 허용된 상업적 이용 범위가 선택을 결정합니다.

호스팅 애플리케이션에서 오디오·동영상 판단이 필요하다면 Clef-omni를 평가합니다. 미디어 처리 경로 자체가 중요한 차이입니다. 더 저렴한 텍스트 모델을 대안으로 쓰려면 전처리 단계를 의도적으로 추가하고, 그 과정에서 사라지는 정보의 영향을 검증해야 합니다.

보조 제공자를 고를 때는 어떤 장애에 대비할지 먼저 정해야 합니다. 같은 게이트웨이 뒤에 있는 두 모델 ID는 여전히 그 게이트웨이에 의존합니다. 로컬 대체 경로도 입력을 가져오기 위해 동일한 장애 상태의 상위 서비스에 의존한다면 함께 실패합니다. 전체 요청 경로를 그려 보고, 장애가 나더라도 버텨야 하는 의존성을 분리해야 합니다.

전체 워크플로보다 판단 하나부터 옮깁니다

대체 모델의 성공 기준은 유효한 JSON을 반환하는 데 그치지 않고, 애플리케이션이 요구하는 판단 규칙을 유지하는 것입니다. 제공사별 필드를 맞추는 동안 큐 이름, 평가 기준의 의미, 대체 경로의 동작은 유지합니다. 그래야 모델 변경과 정책 변경이 뒤섞이지 않고, 두 모델의 판단이 다른 이유를 검토할 수 있습니다.

1. 1

   판단 기준과 근거 자료를 고정합니다

   새 고객 문의의 큐 배정처럼 기존 호출 하나를 고릅니다. 허용된 라벨, 정책 버전, 입력 필드, 정보 부족으로 보는 조건을 기록합니다. 라벨링 데이터에는 명확한 사례뿐 아니라 모호한 사례와 범위 밖의 작업도 포함합니다.

2. 2

   제공사별 연동 형식을 맞춥니다

   근거 자료, 질문 정의, 응답을 읽는 부분의 대응 관계를 명확히 합니다. OpenAI는 입력 필드와 이름이 있는 질문 배열을 사용하고, Perplexity와 Microsoft의 문서 예제는 상태와 키로 구분된 질문을 사용합니다. 이미지 포장 방식도 다릅니다. 기본 요소의 이름이 비슷하다고 전송 형식까지 같다고 보지 말고, 각 제공사의 공식 가이드로 확인해야 합니다.

3. 3

   기존 판단과 나란히 후보를 실행합니다

   현재 워크플로가 계속 실제 동작을 제어하게 두고 후보는 응답만 기록합니다. 받아들였지만 틀린 판단, 담당자 이관, 요청 실패, 과금 사용량, 느린 구간의 응답 시간을 비교합니다. 전처리 변경을 모델 개선으로 오인하지 않도록 두 모델에 같은 근거 자료를 사용합니다.

4. 4

   모델과 과제에 맞는 임곗값을 정합니다

   다른 API가 확률이나 confidence라는 필드를 반환한다는 이유만으로 Jev의 기준값을 그대로 가져갈 수는 없습니다. 라벨링 사례에서 점수와 실제 정답률의 관계를 다시 확인합니다. 근거 누락, 제공사 오류, 응답 거절에는 별도의 검토 경로를 마련합니다.

5. 5

   점진적으로 적용하고 되돌릴 방법을 유지합니다

   선택한 워크플로만 변경합니다. 이전 모델 설정과 되돌릴 수단을 보존합니다. 체크포인트, 모델 별칭, 질문 문구, 전처리 중 하나라도 바뀌면 다시 평가해야 합니다. 어느 변화든 임곗값을 통과하는 판단을 바꿀 수 있습니다.

출발점이 Jev의 직접 판단 호출이 아니라 Jev Router라면 먼저 과금 경계를 확인해야 합니다. 라우팅 서비스와 그 서비스가 선택하는 후속 모델은 청구서의 서로 다른 항목입니다. Jev Router 요금 가이드에서 이 차이를 설명합니다. 의사결정 모델이 저렴하다고 생성형 답변까지 무료가 되는 것은 아닙니다.

이런 선택은 피해야 합니다

Jev의 현재 기본 요금만 불만이라면 토큰 비용 절감을 목적으로 Microsoft-Decision-1로 옮기는 선택은 피해야 합니다. 공개 요금이 같습니다. 플랫폼이나 품질 때문에 좋은 선택이 될 수는 있지만, 그 경우에는 이전 이유가 다릅니다.

입력 예산을 통제하지 않는 한 한없이 늘어나는 근거 자료 아카이브에 호스팅 Clef-flash를 적용하는 선택은 피해야 합니다. 잘린 입력 뒤에 정상적인 응답이 돌아오면 결정적인 사실이 모델에 전달되지 않았다는 점이 가려질 수 있습니다. 한도에 맞는 워크로드를 사용하거나 적절한 컨텍스트를 갖춘 경로를 평가해야 합니다.

omni라는 이름만 믿고 제한 없는 장시간 녹음 분석에 d1-omni-600M을 쓰는 선택은 피해야 합니다. 문서상의 음성 처리 범위, 클립 길이 제한, 실험적 상태는 중요한 조건입니다. 더 풍부한 미디어 입력이 필요하다면 이 목록의 호스팅 후보는 Clef-omni이며, 이 모델 자체의 제한도 확인해야 합니다.

가중치 공개를 무료 운영 서비스와 같은 뜻으로 보는 것은 피해야 합니다. Liquid에는 조건부 라이선스가 있고, Perplexity의 참조 구성은 상당한 메모리를 요구하며, Strands는 호스팅을 사용자에게 맡깁니다. 모델을 다운로드하는 순간부터 운영 책임이 시작됩니다.

검증되지 않은 복제 모델을 비상 대체 경로로 쓰는 선택은 피해야 합니다. 이름이 비슷하거나 엔드포인트가 호환되는 듯 보인다고 해서 제공사, 사용 가능한 라이선스, 유지보수되는 런타임, 독립적인 장애 대응 경로까지 확인되는 것은 아닙니다. 이를 제외하는 이유는 근거가 부족해서이지 모든 커뮤니티 프로젝트의 성능이 나쁘다고 단정해서가 아닙니다.

자주 묻는 질문

무료로 쓸 수 있는 Jev 대안이 있나요?

Cloudflare는 Workers AI에서 함께 쓰는 일일 무료 할당량을 제공합니다. 가중치를 다운로드할 수 있는 대안도 여럿 있지만 연산 자원은 직접 마련해야 하며 라이선스를 따라야 합니다. Liquid의 호스팅 문서는 텍스트 전용 d1:free 모델을 별도로 안내하지만, 여기서 확인한 페이지에는 할당량이 공개되어 있지 않습니다. 무료 접근 경로가 있다고 해서 실제 운영 비용이 전혀 들지 않는다고 보장되는 것은 아닙니다. Liquid 호스팅 모델 가이드

가중치가 공개된 Jev 대안은 무엇인가요?

Clef 제품군, 여기서 다룬 Perplexity 체크포인트, Liquid의 두 d1 체크포인트, Strands Decider에는 제공사가 공개한 가중치 접근 경로가 있습니다. Clef, Perplexity, 해당 Strands 체크포인트는 Apache-2.0을 사용합니다. Liquid는 상업적 이용 조건이 있는 LFM Open License v1.0을 사용합니다. OpenAI Decisions와 Microsoft-Decision-1은 이 비교에서 호스팅 선택지이며, 인용한 제공사 페이지에는 공개 가중치 라이선스가 제시되어 있지 않습니다.

Jev 대안 중 무엇부터 검토하면 좋을까요?

호스팅 입력 요금을 낮추려면 Perplexity, 기존 Workers 애플리케이션이라면 Clef-flash, Foundry라면 Microsoft-Decision-1, OpenAI 연동이라면 OpenAI Decisions부터 평가합니다. 로컬 운영에서는 텍스트와 이미지에 d1-3B, 범위가 좁은 음성 실험에 d1-omni-600M, 내부를 검토할 수 있는 에이전트 구성 요소에 Strands부터 시작할 수 있습니다. 최종 선택은 실제 워크로드 평가로 결정합니다.

다음 업무에서 바로 시작할 일

어떤 오류가 큰 비용을 만드는지 담당자가 설명할 수 있는 판단 호출을 고릅니다. 가격, 플랫폼, 미디어 입력, 로컬 운영 중 필요한 이유에 맞춰 후보 하나를 선택합니다. 같은 근거 자료로 Jev와 나란히 비교한 뒤, 받아들인 판단의 오류 수준, 검토 업무량, 응답 기한이 모두 만족스러울 때만 전환합니다. 새 경로가 일상적인 업무에서 신뢰를 얻을 때까지 원래 설정을 바로 쓸 수 있게 유지합니다.

먼저 바꿀 가치가 있는 판단을 찾으려면 AI Business Workflow Audit Checklist를 활용해 보시기 바랍니다.