2026년 AI 토큰 사용량 추적 툴 8선: 에이전트 비용 관리 가이드

2026년 최고의 AI 에이전트 AI 토큰 사용량 추적 툴을 고르라면 답은 분명합니다. Langfuse는 월 $29부터 프로덕션 팀에 비용 귀속과 무제한 사용자를 제공합니다. Claude Code의 새로운 /usage 루프 행 덕분에 개발자 1명이라면 별도 대시보드가 필요 없습니다. 여러 모델에 걸친 비용 배분, 하드 예산, 트레이스 단위의 책임 추적이 필요할 때만 도입하면 됩니다.

2026년 최고의 AI 토큰 사용량 추적 툴: 한눈에 보기

대부분의 제품·플랫폼 팀에는 Langfuse가 가장 균형 잡힌 선택입니다. 월 $29인 Core 플랜에 토큰 및 비용 추적, 무제한 사용자, 실용적인 보존 기간, 트레이스 컨텍스트, 예산 책임자도 이해하기 쉬운 과금 방식이 담겨 있습니다. 요청이 예산 한도에서 실제로 멈춰야 한다면 Portkey가 앞섭니다. 인프라 운영 부담을 피하는 것보다 데이터 소유권이 중요하다면 OpenLIT이 더 강한 답입니다.

아래 가격과 한도는 2026년 9월 1일 각 공급사의 실제 페이지에서 확인했습니다. 시작 가격은 소규모 프로덕션 팀이 현실적으로 사용할 수 있는 첫 유료 플랫폼 티어를 뜻합니다. 별도 표기가 없다면 모델 추론 비용, 스토리지 초과분, 셀프 호스팅 인프라, 구현 인건비는 포함하지 않았습니다.

추천 툴 8개 요약

무료 대시보드가 곧 무료 제어 계층인 것은 아닙니다. Claude Code, Langfuse, Braintrust, Arize, LangSmith, Datadog은 지출을 보여주지만, 가시성만으로 다음 고비용 실행을 막을 수는 없습니다. Portkey는 Enterprise와 일부 Pro 플랜에서 세분화된 예산 및 속도 제한을 제공합니다. Helicone은 사용자나 다른 사용자 지정 속성을 기준으로 요청 수 또는 센트 단위 비용을 제한할 수 있습니다. 인터페이스 취향보다 이 차이를 먼저 따져 후보를 좁혀야 합니다.

토큰 집계가 끝나는 지점에서 에이전트 옵저버빌리티가 시작됩니다

에이전트 옵저버빌리티란 에이전트가 무엇을 했고, 각 단계에 얼마가 들었으며, 누가 실행을 유발했고, 그 지출만큼 결과가 가치 있었는지를 설명하는 능력입니다. 토큰 카운터는 이 흐름 중 한 부분에만 답합니다. 에이전트는 모델을 5번 호출하고, 컨텍스트를 검색하고, 툴을 실행하고, 오류를 재시도한 끝에 좋지 않은 답을 낼 수 있습니다. 재무 관점의 질문은 “토큰이 몇 개였나?”가 아니라 “어느 고객 워크플로가 토큰을 썼고, 그 워크플로는 성공했나?”입니다.

Claude Code는 기준선을 끌어올렸습니다. 현재 /usage 문서에 따르면 Session 화면에서 상세 토큰 통계와 로컬 추정 달러 비용을 확인할 수 있습니다. 구독 플랜에서 Claude Code v2.1.242 이상을 사용하면 가장 무거운 /loop 또는 예약 작업을 보여주는 Loops 행도 나타납니다. 실행 횟수, 총 토큰, 실행당 토큰, 최근 실행이 함께 표시됩니다. 이제 개인 개발자는 별도 대시보드를 사지 않고도 폭주하는 반복 작업을 찾을 수 있습니다.

다만 로컬 화면에는 명확한 경계가 있습니다. Day와 Week는 각각 지난 24시간 또는 7일의 로컬 세션 기록으로 계산한 근삿값입니다. 다른 기기와 claude.ai에서 한 작업은 제외됩니다. 조직 전체의 사용자별 지표를 거의 실시간으로 보는 공식 경로는 회사 자체 옵저버빌리티 스택으로 OpenTelemetry를 내보내는 방식입니다.

AI 에이전트 옵저버빌리티가 워크플로 맥락을 더하는 방식

한 지원 에이전트가 티켓 하나에는 $0.18, 다른 티켓에는 $1.40를 썼다고 가정해 보겠습니다. 토큰 화면은 비싼 티켓을 찾아냅니다. AI 에이전트 옵저버빌리티는 두 번째 티켓에서 같은 툴을 4번 재시도했고, 에스컬레이션 후 프리미엄 모델을 사용했지만 결국 사람이 넘겨받았다는 사실까지 보여줍니다. 이제 담당자는 라우팅을 바꾸고 예산을 설정하며, 프롬프트당 비용이 아니라 해결된 티켓당 비용을 측정할 수 있습니다.

유용한 기록은 4개 계층으로 구성됩니다.

• 실행: 모델 호출과 툴을 포함한 에이전트의 완전한 시도 1회입니다.
• 귀속: 해당 실행을 소유하는 고객, 사용자, 팀, 환경, 워크플로 또는 기능입니다.
• 결과: 성공, 실패, 에스컬레이션, 지연 시간, 품질 점수 또는 매출 이벤트입니다.
• 제어: 예산이 부담스러워지기 전의 알림과 워크플로를 멈춰야 할 때 적용할 수 있는 강제 한도입니다.

그래서 저렴한 대시보드가 오히려 비쌀 수 있습니다. 팀이 매주 금요일 2시간씩 모델 청구서와 고객 ID를 맞춘다면 월 $29 플랫폼은 금세 제값을 합니다. 반대로 데이터를 검토하는 사람도, 단위 비용 목표의 책임자도 없다면 무료 오픈 소스 스택조차 운영할 시스템만 하나 더 늘립니다.

AI 에이전트 모니터링 툴 8개를 선정한 기준

이 AI 에이전트 옵저버빌리티 툴은 직접 사용해 본 것처럼 소개한 것이 아니라, 실제 제품 페이지의 가격을 확인해 비교했습니다. 선정된 8개 툴은 모두 모델 사용량을 더 풍부한 프로덕션 기록과 연결할 수 있습니다. 공급사 청구서만 보여주거나, 일반적인 챗봇 총액만 추정하거나, 현재 공개 근거 없이 옵저버빌리티를 주장하는 제품은 제외했습니다.

에이전트 옵저버빌리티 툴이 통과해야 할 4가지 기준

순위는 실무적인 4가지 질문으로 결정했습니다.

1. 비용을 정확히 계산하는가? 공급사가 보고한 사용량을 받거나 모델명과 토큰 수를 현재 가격에 매핑해야 합니다. 비공개 모델에는 사용자 지정 가격 경로가 필요합니다. 아무 설명 없이 $0.00으로 표시하는 것은 “알 수 없음”을 명시하는 것보다 나쁩니다.
2. 비용을 귀속할 수 있는가? 사용자, 고객, 워크플로, 모델, 환경, 결과 태그가 있어야 청구액을 의사결정으로 바꿀 수 있습니다. 주인이 없는 총액으로는 내부 비용 배분을 할 수 없습니다.
3. 다음 요청을 제어할 수 있는가? 알림에는 부분 점수만 줬습니다. 비용 예산, 요청 제한, 게이트웨이 정책은 실제 실행을 바꿀 수 있으므로 더 높은 점수를 받았습니다.
4. 구매자가 과금 단위를 이해할 수 있는가? 트레이스, 스팬, 요청, 옵저베이션, 점수, 처리된 GB는 서로 바꿔 쓸 수 있는 단위가 아닙니다. 불투명한 영업 견적보다 공개 가격에 더 높은 비중을 뒀습니다.

트레이스 컨텍스트와 평가 기능으로 동점을 가렸습니다. 비용 급증의 원인이 된 실패한 툴 호출까지 보여주는 플랫폼이 상승선 하나만 그리는 제품보다 유용합니다. 데이터 소유권도 중요합니다. 특히 프롬프트, 출력, 고객 메타데이터를 다른 SaaS 제품에 보낼 수 없는 기업이라면 더 그렇습니다.

LLM 옵저버빌리티 툴은 대시보드 값을 해야 합니다

최고의 LLM 옵저버빌리티 툴은 매주 내리는 결정을 바꿀 때 비로소 자리를 얻습니다. 제품 책임자는 몇 분 안에 3가지 질문에 답할 수 있어야 합니다. 어느 워크플로의 단위 비용이 올랐는가? 트래픽량, 모델 선택, 재시도, 길어진 컨텍스트 중 무엇이 원인인가? 다음으로 어떤 라우팅, 프롬프트, 캐시, 정책을 바꿔야 하는가?

이 질문에 답하지 못하는 플랫폼은 비용 관리가 아니라 텔레메트리 저장소입니다. 디버깅에는 여전히 쓸모가 있을 수 있지만 토큰 예산으로 구매할 이유는 없습니다. 이 차이 때문에 평가 중심 제품인 Braintrust와 Arize도 목록에 포함했지만, 순수한 비용 통제 목적에서는 집행 중심의 Portkey와 Helicone을 더 높게 평가했습니다.

순위로 보는 8개 툴

1. Langfuse Agent Observability: 종합 1위

Langfuse Agent Observability가 종합 1위인 이유는 Langfuse가 월 $29의 진입 가격으로 프로덕션 팀에 비용 귀속, 트레이스 컨텍스트, 유연한 호스팅, 무제한 사용자를 제공하기 때문입니다. B2B SaaS 플랫폼은 모든 생성 요청에 고객, 기능, 환경, 릴리스 태그를 붙이고, 대시보드나 Metrics API로 완료된 워크플로당 비용을 비교할 수 있습니다. 한계는 집행입니다. Langfuse는 임계값 알림을 제공하지만 예산을 넘긴 요청을 거부하려면 여전히 게이트웨이나 애플리케이션 정책이 필요합니다. 결론은 간단합니다. 비용 원장과 트레이스를 한곳에서 봐야 한다면 Langfuse를 선택하고, 손실 위험이 정당화하는 구간에만 집행 계층을 더합니다.

Langfuse 가격은 트레이스, 옵저베이션, 점수 각각을 과금 단위 1개로 정의합니다. 따라서 옵저베이션이 여러 개인 실행은 여러 단위를 소비합니다. Cloud Hobby 플랜은 무료이며 매월 50,000단위, 데이터 접근 30일, 사용자 2명을 제공합니다. Core는 월 $29에 100,000단위, 데이터 접근 90일, 무제한 사용자를 제공하며 추가 사용량은 100,000단위당 $8부터 시작해 규모가 커질수록 내려갑니다. Pro는 월 $199에 100,000단위, 데이터 접근 3년, 보존 관리, 높은 속도 제한, 무제한 사용자를 제공합니다. 선택형 Teams 애드온은 월 $300입니다. Enterprise는 월 $2,499에 100,000단위가 포함되며 연간 사용량 가격은 맞춤형입니다. 셀프 호스팅 Open Source는 MIT 라이선스로 무료이고 포함 사용량이 무제한이며, 셀프 호스팅 Enterprise는 맞춤 가격입니다.

Langfuse는 모델 정의를 바탕으로 비용을 추론할 수 있지만, 트레이스에 비용 값이 함께 들어오면 그 값을 우선합니다. 공급사와 협상한 요금이나 내부 모델에는 적절한 동작입니다. 태그와 사용자로 비용을 필터링하고 Metrics API로 내보내 재무 대시보드나 고객별 마진 보고서에 쓸 수 있습니다.

추천 대상: 좌석별 요금 없이 트레이스 단위 비용 소유권이 필요한 제품·플랫폼 팀
핵심 강점: 사용자 및 태그 필터, 직접 수집한 사용자 지정 비용, 클라우드 또는 셀프 호스팅 배포
가격: Hobby $0, Core 월 $29, Pro 월 $199, Teams 애드온 월 $300, Enterprise 월 $2,499, 셀프 호스팅 Open Source $0, 셀프 호스팅 Enterprise 맞춤 가격
무료 체험: 무료 Hobby 플랜, 기간 제한 체험 불필요

실전 Langfuse 비용 원장 만들기

가장 빠른 도입법은 전사 계측 프로젝트가 아니라 워크플로 1개부터 시작하는 것입니다.

1. 1

   비즈니스 가치의 단위를 정합니다

   해결된 티켓, 적격 리드, 승인된 코드 변경, 처리된 인보이스처럼 완료된 결과 1개를 고릅니다. 실행이 가치를 만들지 못하고 실패할 수 있으므로 “에이전트 실행”을 비즈니스 단위로 삼지 않습니다.

2. 2

   4개 차원을 연결합니다

   고객 또는 계정, 워크플로, 환경, 모델을 트레이스 메타데이터나 태그로 보냅니다. 성공, 에스컬레이션, 실패, 점수 같은 결과 필드를 더해 유용한 작업량으로 비용을 나눌 수 있게 합니다.

3. 3

   가격이 비공개라면 직접 제공합니다

   지원되는 공급사에는 Langfuse의 모델 정의를 사용합니다. 협상 요금, 셀프 호스팅, 비공개 모델이라면 사용량과 비용 값을 직접 수집해 알 수 없는 모델이 무료처럼 보이지 않게 합니다.

4. 4

   임계값 알림 1개를 설정합니다

   워크플로의 일일 총액이나 단위 비용 경계에 알림을 설정합니다. 알림이 배경 소음이 되는 공용 채널이 아니라 라우팅이나 프롬프트를 바꿀 수 있는 담당자에게 보냅니다.

5. 5

   지출과 실패를 함께 검토합니다

   비싼 트레이스를 열어 가치 있는 복잡성과 재시도, 과도한 컨텍스트, 툴 실패를 구분합니다. 실패가 지출의 대부분이라면 에이전트 실패 분석 비교에서 더 깊은 디버깅 계층을 선택합니다.

2. Portkey: 게이트웨이 예산에 최적

토큰 추적이 예산을 집행할 수 있는 동일한 경로에 있어야 한다면 Portkey가 가장 적합합니다. 플랫폼 팀은 모델 트래픽을 게이트웨이로 라우팅하고 사용자, 팀, 워크플로, 기능별로 요청에 태그를 붙여 입력 토큰, 출력 토큰, 총비용, 예산 사용률을 모니터링할 수 있습니다. 한계는 플랜 배치와 모델 지원 범위입니다. 비용 및 토큰 예산은 Enterprise와 일부 Pro 플랜에서 제공되며, 지원하지 않는 모델은 $0.00으로 표시되어 공급사 예산 한도에 포함되지 않습니다. 별도의 평가 제품군보다 제어 경로가 중요하다면 Portkey를 선택합니다.

Portkey의 실제 가격은 요청 제한과 플랜 요금이 없다고 명시한 셀프 호스팅 Open Source 게이트웨이부터 시작합니다. Developer는 계속 무료이며 월 10,000개 기록 로그, 로그 보존 3일, 지표 보존 30일을 제공합니다. 허용량을 넘겨도 요청은 계속 처리되지만 초과 로그는 기록되지 않습니다. 트래픽이 늘어나는 바로 그때 증거가 비는 셈입니다.

Production은 월 $49에 기록 로그 100,000개, 로그 30일, 지표 90일, 알림, RBAC, 서비스 계정 키를 제공합니다. 추가 요청 100,000개당 $9이며 최대 3 million개까지 적용됩니다. Enterprise는 맞춤 가격이고 월 10 million개 이상의 기록 로그부터 시작하며, 세분화된 예산 및 속도 제한, 사용자 지정 보존 기간, 비공개 배포, 데이터 내보내기, 엔터프라이즈 지원을 더합니다.

구매 전에는 지원하지 않는 모델의 동작을 반드시 시험해야 합니다. 비공개 파인튜닝 모델이나 새로 나온 모델은 명시적인 가격 정의가 있어야 예산을 믿을 수 있습니다. 그렇지 않으면 공급사 청구액이 커지는 동안 대시보드는 평온해 보일 수 있습니다.

추천 대상: 하나의 게이트웨이 경로에서 비용 귀속과 집행을 모두 원하는 팀
핵심 강점: 메타데이터 기반 내부 비용 배분과 대상 플랜의 세분화된 예산 및 속도 제한
가격: Open Source 명시 플랜 요금 $0, Developer $0, Production 월 $49 및 추가 요청 100,000개당 $9(최대 3 million), Enterprise 맞춤 가격
무료 체험: 무료 Developer 플랜, 확인한 가격 페이지에는 기간 제한 Production 체험이 명시되지 않음

3. Helicone: 빠른 프록시 기반 비용 제어에 최적

팀이 게이트웨이나 프록시를 통해 트래픽을 보내도 된다면 Helicone은 원시 모델 요청에 비용 제어를 붙이는 가장 빠른 경로입니다. 모델 기반 기능이 여러 개인 제품은 사용자, 기능, 환경, 워크플로를 사용자 지정 속성으로 넣고 여러 호출을 세션으로 묶은 뒤, 같은 경계를 기준으로 요청 수 또는 센트 단위 비용을 제한할 수 있습니다. 한계는 연동 방식별 정확도입니다. Helicone은 게이트웨이 계산이 Model Registry를 바탕으로 정확하다고 설명하지만, 공급사 직접 연동 경로에서는 300개가 넘는 모델을 다루는 최선 노력 방식의 가격 저장소를 사용합니다. 깊은 평가나 인프라 연계보다 비용 기반 속도 제한을 빠르게 붙이는 일이 중요하면 Helicone을 선택합니다.

Helicone 가격은 월 요청 10,000개, 스토리지 1 GB, 좌석 1개, 조직 1개, 보존 기간 7일을 제공하는 $0 Hobby부터 시작합니다. Pro는 월 $79에 무제한 좌석, 조직 1개, 알림, 보고서, HQL, 보존 기간 1개월을 제공하며 포함된 요청 10,000개와 1 GB 이후에는 사용량 요금이 붙습니다. Team은 월 $799에 조직 5개, 보존 기간 3개월, SOC 2 및 HIPAA 지원, 전용 Slack 채널을 제공합니다. Pro와 Team은 각각 7일 체험을 제공합니다. Enterprise는 맞춤 가격이며 무제한 조직, 영구 보존, SAML SSO, 온프레미스 배포, 대규모 클라우드 할인, 분당 최대 30,000개 로그 수집을 제공합니다.

Helicone의 속도 제한은 전체, 사용자별 또는 사용자 지정 속성별로 적용할 수 있습니다. 요청 수나 센트 단위 비용을 제한할 수 있습니다. 토큰 기반 속도 제한은 아직 출시 예정으로 표시되어 있으므로, 문자 그대로의 토큰 상한이 필요한 구매자는 비용 제한이 같은 방식으로 작동한다고 가정해서는 안 됩니다.

추천 대상: 프록시를 빠르게 계측하고 비용 기반 요청 제어가 필요한 SaaS 팀
핵심 강점: 세션과 사용자 지정 속성으로 여러 호출의 워크플로를 사용자 또는 기능 단위 경제성과 연결
가격: Hobby $0, Pro 월 $79 및 사용량 요금, Team 월 $799 및 사용량 요금, Enterprise 맞춤 가격
무료 체험: Pro 및 Team 7일, Hobby 무료

4. OpenLIT: 셀프 호스팅 코딩 에이전트 추적에 최적

OpenLIT은 OpenTelemetry 네이티브 스택에서 코딩 에이전트 세션, 토큰 비용, 리포지토리 활동을 보고 싶은 개발자에게 가장 좋은 셀프 호스팅 옵션입니다. 이미 ClickHouse와 OpenTelemetry Collector를 운영하는 회사라면 프롬프트, 트레이스, 기록을 자체 환경에 유지하면서 코딩 에이전트와 모델 호출을 함께 계측할 수 있습니다. 한계는 운영 책임입니다. $0 라이선스라고 해도 배포, 업그레이드, 스토리지, 백업, 접근 제어는 엔지니어링 예산에서 부담해야 합니다. 텔레메트리를 자체 환경에 두는 것이 단순한 선호가 아니라 필수 조건일 때 OpenLIT을 선택합니다.

OpenLIT 가격은 무제한 셀프 호스팅 사용량, 사용자, 프로젝트, 환경, 과거 데이터를 제공하는 Apache 2.0 Open Source 티어를 $0으로 제시합니다. Cloud는 “출시 예정”으로 표시되어 있으며 공개 가격이 없습니다. 오픈 소스 패키지에는 OpenTelemetry 네이티브 트레이싱, 코딩 에이전트 세션, 비용, 토큰, 리포지토리 활동 추적, 사용자 지정 대시보드가 포함됩니다.

OpenLIT은 업데이트 가능한 기본 가격 파일을 제공하고 비공개, 파인튜닝, 미지원 모델에는 사용자 지정 가격 JSON을 받을 수 있습니다. 셀프 호스팅 플랫폼은 SaaS 카탈로그가 인식하지 못하는 모델과 함께 쓰이는 경우가 많으므로 이 명시적 재정의가 중요합니다. 하지만 계획 비용이 0인 것은 아닙니다. 데이터베이스 스토리지, Collector 용량, 업그레이드, 인시던트 대응, 담당자 비용을 라이선스 항목에 더해야 합니다.

추천 대상: 엄격한 데이터 소유권 또는 코딩 에이전트 텔레메트리가 필요한 인프라 역량 보유 팀
핵심 강점: Apache 2.0, 사용자 지정 모델 가격을 지원하는 OpenTelemetry 네이티브 추적
가격: 무제한 셀프 호스팅 사용량의 Open Source 라이선스 $0, Cloud는 출시 예정이며 공개 가격 없음
무료 체험: Open Source는 체험 불필요, Cloud는 가격을 산정할 수 없는 상태

5. Braintrust: 비용 대비 품질 결정에 최적인 AI 옵저버빌리티·평가 플랫폼

예산 책임자가 모델 지출을 점수, 오류, 제품 품질과 연결해야 한다면 Braintrust가 가장 강력한 AI 옵저버빌리티·평가 플랫폼입니다. 지원 자동화 팀은 프롬프트, 완성, 캐시 읽기, 캐시 생성, 총 토큰을 예상 비용, 툴 호출, 오류, 지연 시간과 함께 집계한 뒤 SQL로 사용자나 모델별 측정값을 묶을 수 있습니다. 한계는 집행입니다. Braintrust는 Starter와 Pro의 사용자 지정 월간 지출 알림을 안내하지만 하드 지출 한도는 설명하지 않습니다. 저렴한 모델도 평가 결과가 충분히 좋아야만 채택할 수 있다면 Braintrust를 선택합니다.

Braintrust 가격은 Starter를 월 $0으로 제시합니다. 모델 크레딧 $10 이후에는 토큰 요금, 처리 데이터 1 GB 이후에는 GB당 $4, 점수 10,000개 이후에는 1,000개당 $2.50가 부과되며 보존 기간은 14일, 사용자는 무제한입니다. Pro는 월 $249이며 모델 크레딧 $100 이후 토큰 요금, 처리 데이터 5 GB 이후 GB당 $3, 점수 50,000개 이후 1,000개당 $1.50, 보존 기간 30일을 제공합니다. Pro의 연장 보존 비용은 매월 GB당 $0.50입니다. Enterprise는 맞춤 가격이며 사용자 지정 보존 및 내보내기, RBAC, 프리미엄 지원, 호스팅 또는 온프레미스 배포를 제공합니다.

여러 과금 단위에는 각각 의미가 있습니다. 처리 데이터는 트레이스 볼륨, 점수는 평가 활동, 모델 토큰은 추론에 대한 비용입니다. 프롬프트 버전을 비교하는 팀이라면 월 $249의 플랫폼 요금을 전체 청구액으로 보지 말고 3개 항목을 모두 모델링해야 합니다.

추천 대상: 더 낮은 모델 비용으로 평가 품질을 유지할 수 있는지 판단하는 제품 팀
핵심 강점: 토큰 및 비용 요약을 점수, 오류, 툴 호출, SQL 분석과 함께 제공
가격: Starter $0 및 사용량 요금, Pro 월 $249 및 사용량 요금, 연장 보존 월 GB당 $0.50, Enterprise 맞춤 가격
무료 체험: 모델 크레딧과 허용량이 포함된 무료 Starter 플랜

6. Arize AX and Phoenix: OpenTelemetry와 평가의 조합에 최적

Arize AX and Phoenix는 먼저 게이트웨이에 의존하지 않으면서 OpenTelemetry 호환 트레이스, 토큰 및 비용 추적, 평가를 원하는 팀에 맞습니다. Arize AX는 관리형 제품이고 Phoenix는 오픈 소스 로컬 우선 트레이싱·평가 경로입니다. 플랫폼 책임자는 개발 중 Phoenix로 시작하고, 관리형 보존, 수집, 공동 운영이 중요해지면 AX를 사용할 수 있습니다. 한계는 제어 계층의 위치입니다. 이 조합은 실행을 설명하고 평가하지만 하드 예산으로 실행을 멈추려면 요청 경로에 여전히 게이트웨이나 애플리케이션 정책이 필요합니다. 자체적인 지출 집행보다 개방형 텔레메트리와 평가 깊이가 중요하면 Arize를 선택합니다.

Arize 가격은 AX Free를 $0으로 제시하며 월 트레이스 스팬 25,000개, 수집 1 GB, 보존 기간 15일, 무제한 사용자, 무제한 평가를 제공합니다. AX Pro는 월 $50에 스팬 50,000개, 수집 10 GB, 보존 기간 30일, 무제한 사용자, 무제한 평가를 제공합니다. Enterprise는 맞춤 가격이며 SaaS 또는 셀프 호스팅 배포와 함께 스팬, 수집, 보존 수준을 맞춤 설정합니다. Phoenix는 오픈 소스이자 로컬 우선 제품입니다.

살펴봐야 할 과금 단위는 최상위 트레이스가 아니라 스팬입니다. 모델 호출과 툴이 많은 에이전트 실행은 수많은 스팬을 내보낼 수 있으므로, 50,000개 스팬 허용량으로 처리할 수 있는 최종 사용자 작업은 50,000개보다 훨씬 적을 수 있습니다. 비용을 예측하기 전에 대표 워크플로 1개를 계측하고 스팬 수의 중앙값을 계산해야 합니다.

추천 대상: 관리형 또는 로컬 우선 평가가 필요하고 OpenTelemetry를 표준으로 쓰는 팀
핵심 강점: AX의 무제한 사용자 및 평가와 오픈 소스 Phoenix 경로
가격: AX Free $0, AX Pro 월 $50, AX Enterprise 맞춤 가격, Phoenix 오픈 소스
무료 체험: 무료 AX 티어 및 오픈 소스 Phoenix

7. LangSmith: LangChain 중심 개선 루프에 최적

팀이 이미 LangChain을 사용하고 옵저버빌리티 데이터를 지속적인 평가·개선 루프에 넣는다면 LangSmith가 적합한 토큰 추적 선택입니다. 모델명과 토큰 수를 가격에 매핑하고, 사용자 지정 모델 가격 항목을 받으며, 보존 기간 14일인 기본 트레이스와 400일인 연장 트레이스를 구분합니다. 한계는 좌석 비용입니다. Plus는 좌석당 월 $39이므로 10명 팀은 추가 트레이스 사용량 전부터 월 $390를 냅니다. 가장 저렴한 공유 비용 대시보드가 아니라 LangChain 중심 스택의 통합 트레이싱과 평가를 위해 LangSmith를 선택해야 합니다.

LangSmith 가격은 Developer를 좌석당 월 $0으로 제시하며 좌석 1개와 월 기본 트레이스 5,000개를 포함하고 이후에는 사용량에 따라 과금합니다. Plus는 좌석당 월 $39이며 조직 전체에 매월 기본 트레이스 10,000개를 포함합니다. 좌석을 추가할 수 있고 허용량 이후에는 사용량에 따라 과금합니다. Enterprise는 맞춤 가격이며 셀프 호스팅 및 하이브리드 옵션, 사용자 지정 SSO, ABAC, RBAC, 워크스페이스, 좌석, 지원 SLA를 더합니다.

기본 트레이스 추가분은 각각 0.005 LangSmith usage units, 즉 LSU입니다. 1 LSU는 $1.00이고 1 LangChain usage unit, 즉 LCU는 $1.50입니다. 이 단위 체계도 LangSmith를 요청당 또는 스팬당 과금 제품과 비교하기 전에 실제 워크플로를 모델링해야 하는 이유입니다.

추천 대상: 트레이스 검토와 평가가 일상적인 제품 개발 과정인 LangChain 팀
핵심 강점: 더 넓은 LangSmith 개선 루프 안에서 사용자 지정 가격을 포함한 모델 비용 매핑
가격: Developer 좌석 1개 $0, Plus 좌석당 월 $39, Enterprise 맞춤 가격, 추가 기본 트레이스당 0.005 LSU(1 LSU는 $1, 1 LCU는 $1.50)
무료 체험: 무료 Developer 플랜, 확인한 가격 페이지에는 기간 제한 Plus 체험이 명시되지 않음

8. Datadog Agent Observability: 기존 Datadog 팀에 최적

Datadog Agent Observability는 에이전트 비용을 이미 Datadog에 있는 애플리케이션, 인프라, 사용자 세션 텔레메트리와 연계해야 할 때 가장 잘 맞습니다. 800개가 넘는 모델의 텍스트 모델 요청 비용을 토큰 수에서 자동으로 추정하며, 비공개 또는 미지원 모델에는 수동 입력 비용을 받을 수 있습니다. 한계는 신규 환경의 경제성입니다. Pro는 연간 약정 기준 월 $160부터 시작합니다. 시스템 간 연계가 수동 인시던트 작업을 대체할 때는 이 프리미엄이 회수되지만, 개인 개발자에게 토큰 차트 하나만 필요할 때는 그렇지 않습니다. 에이전트가 고립된 실험이 아니라 기존 프로덕션 시스템의 한 부분이라면 Datadog을 선택합니다.

Datadog Agent Observability 가격은 Free를 $0으로 제시하며 월 최대 40,000개 LLM 스팬, 트레이스 보존 15일, 무제한 컨텍스트 및 평가, 모든 기능 접근을 제공합니다. Pro에는 월 100,000개 LLM 스팬이 포함되며 연간 약정은 월 $160, 월별 결제는 $200, 온디맨드는 $240입니다. 추가 스팬은 10,000개당 연간 약정 $3.50, 월별 결제 $4.20, 온디맨드 $5입니다.

기본 트레이스 보존 기간은 15일입니다. 매월 LLM 스팬 10,000개당 보존 애드온은 30일에 $1.50, 60일에 $3, 90일에 $4입니다. 연간 약정으로 월 LLM 스팬 1 million개를 처리하면 보존 애드온 전 Pro 비용은 월 $475입니다. 기본 $160에 초과 블록 90개를 각각 $3.50에 더한 값입니다.

추천 대상: 이미 Datadog에서 서비스, 인프라, 세션, 에이전트를 조사하는 운영 팀
핵심 강점: 에이전트 트레이스를 프로덕션 환경의 나머지 텔레메트리와 연계
가격: Free $0, Pro는 연간 약정 시 월 $160·월별 결제 시 $200·온디맨드 $240, 초과분 및 보존 애드온 별도
무료 체험: 허용량까지 모든 기능을 제공하는 무료 티어

LLM 모니터링 툴, 상황별로 무엇을 선택해야 할까요?

결정 순서는 집행, 호스팅, 평가, 가격입니다. 지출이 늘 때 시스템이 무엇을 해야 하는지부터 정합니다. 트래픽을 차단하거나, 다른 경로로 보내거나, 속도를 낮춰야 한다면 Portkey 또는 Helicone을 후보로 삼고 필요한 예산 제어가 구매 플랜에 들어 있는지 확인합니다. 알림을 보내고 원인만 설명하면 된다면 선택지가 넓어집니다.

AI 에이전트 모니터링 툴 선택 공식

트레이스 컨텍스트와 낮은 협업 비용을 갖춘 범용·모델 독립 비용 원장에는 Langfuse가 맞습니다. 트레이스를 외부 환경으로 보낼 수 없고 조직이 지원 인프라를 이미 운영한다면 OpenLIT을 선택합니다. 비용 변화마다 출력 품질을 함께 평가해야 한다면 Braintrust 또는 Arize가 적합합니다. 좌석별 요금을 피하는 것보다 LangChain 연동이 중요하면 LangSmith를, 인시던트 검토가 이미 Datadog에서 시작된다면 Datadog을 선택합니다.

최고의 LLM 옵저버빌리티 툴이 필요해지는 분기점

최고의 LLM 옵저버빌리티 툴은 두 번째 책임자가 같은 증거를 필요로 하는 순간부터 구매 가치가 생깁니다. 재무팀이 모델 비용을 고객에게 귀속하거나, 보안팀이 로컬 데이터를 요구하거나, 지원팀이 실패한 자동화를 설명하거나, 제품팀이 승인된 결과당 비용을 비교할 수 있습니다. 그 전까지는 내장 사용량 화면으로도 충분할 수 있습니다.

구체적인 분기점은 다음과 같습니다.

• 개발자 1명, 기기 1대, 모델 워크플로 1개: Claude Code /usage와 공급사 청구 화면을 그대로 사용합니다.
• 개발자나 기기가 여러 개: OpenTelemetry를 내보내거나 공유 플랫폼을 도입합니다.
• 고객이나 제품 기능이 여러 개: 메타데이터 기반 비용 귀속을 요구합니다.
• 폭주 루프가 실질적인 손실을 낼 수 있음: 집행 가능한 게이트웨이 예산을 요구합니다.
• 더 저렴한 모델이 품질을 떨어뜨릴 수 있음: 라우팅을 바꾸기 전에 평가를 추가합니다.
• 프롬프트 데이터를 외부로 보낼 수 없음: OpenLIT, Langfuse 셀프 호스팅, Phoenix 또는 엔터프라이즈 셀프 호스팅 플랜을 비교합니다.

게이트웨이가 필요한 지점도 여기입니다. 게이트웨이는 요청 경로를 제어하고 옵저버빌리티 제품은 경로 안팎에서 일어난 일을 설명합니다. 라우팅, 장애 조치, 정책을 한곳에 둬야 한다면 다음 결정은 관리형 에이전트 게이트웨이 비교입니다.

예산 계산: 대시보드는 얼마를 돌려줘야 할까요?

토큰 대시보드는 낭비를 막거나 정산 작업을 없애 플랫폼 요금 전액을 회수해야 합니다. 엔지니어 총비용을 시간당 $100로 두는 투명한 계획 가정에서 Langfuse Core의 월 $29는 17.4분과 같습니다. Portkey Production $49는 29.4분, Arize AX Pro $50는 30분, Helicone Pro $79는 47.4분, 연간 약정 Datadog Pro $160는 96분, Braintrust Pro $249는 149.4분, LangSmith Plus 10석 $390는 234분입니다.

이 수치는 손익분기 계획선이지 절감액을 보장하는 약속이 아닙니다. 투자를 받은 창업자라면 어떤 반복 작업이 사라지는지 물어야 합니다. “누군가 매월 3시간씩 공급사 CSV와 고객을 수동으로 연결한다”가 답이라면 거의 모든 유료 옵션이 기준선을 넘습니다. “그래프가 더 예뻐진다”가 답이라면 어느 것도 넘지 못합니다.

연간 기본 비용을 보면 협업 가격의 차이가 선명해집니다. Langfuse Core는 $348, Portkey Production은 $588, Arize AX Pro는 $600, Helicone Pro는 $948, 연간 약정 Datadog Pro는 $1,920, Braintrust Pro는 $2,988, LangSmith Plus 10석은 $4,680입니다. OpenLIT 라이선스는 $0이지만 인프라와 엔지니어링 인건비는 여기에 가격이 매겨지지 않았습니다.

이 목록을 잘못된 단가 경쟁으로 바꾸면 안 됩니다. Langfuse는 트레이스, 옵저베이션, 점수에 과금합니다. Portkey는 기록된 요청, Datadog은 LLM 스팬에 과금합니다. Braintrust는 모델 사용량과 함께 처리 데이터 및 점수에 과금합니다. LangSmith는 자체 사용량 단위로 트레이스에 과금합니다. 고객 워크플로 1개에서 요청 1개, 여러 생성, 수십 개 스팬, 여러 점수가 만들어질 수 있습니다.

올바른 예측은 대표 워크플로를 기준으로 합니다.

1. 모델 호출, 트레이스, 옵저베이션, 스팬, 점수의 중앙값을 셉니다.
2. 매월 예상되는 성공 및 실패 실행 수를 곱합니다.
3. 보존, 좌석, 처리 데이터, 모델 추론 비용을 더합니다.
4. 고장 난 툴은 가치 없이 비용만 늘릴 수 있으므로 재시도 시나리오를 적용합니다.
5. 총액을 에이전트 실행이 아니라 성공한 비즈니스 결과로 나눕니다.

마지막 값이 운영 지표입니다. 해결된 티켓, 승인된 코드 변경, 처리된 청구, 적격 리드당 비용은 프롬프트와 모델 사이에서 비교할 수 있습니다. 총 토큰 수는 그럴 수 없습니다.

비용 통제 목적이라면 피해야 할 선택

가장 강한 기능이 예산 문제와 무관한 범용 옵저버빌리티 플랫폼은 구매하지 않는 편이 낫습니다. 잘못 고른 제품은 더 많이 측정하면서도 통제력은 오히려 떨어뜨릴 수 있습니다.

• 팀 비용 배분에 Claude Code /usage만 사용: 개발자 1명과 로컬 기록 1개에는 유용하지만 다른 기기나 claude.ai의 작업은 포함하지 않습니다. 이것만으로는 고객별 공유 비용 원장을 만들 수 없습니다.
• 오늘 조달을 끝내야 하는데 OpenLIT Cloud 선택: 가격 페이지에는 여전히 출시 예정으로 표시되고 공개 가격이 없습니다. 담당자가 직접 운영할 수 있을 때만 오픈 소스 경로를 사용합니다.
• 비용 협업만을 위해 LangSmith Plus 선택: 10석은 추가 트레이스 전부터 연간 $4,680입니다. LangChain 트레이싱·평가 루프가 가치 있을 때 지불해야지, Langfuse Core가 연간 $348에 보여줄 수 있는 공유 총액만을 위해 지불해서는 안 됩니다.
• 알림만을 위해 Braintrust Pro 선택: 점수와 실험이 모델 선택을 이끌 때 월 $249는 타당합니다. 요구사항이 지출 알림 하나뿐이라면 설득하기 어렵습니다.
• 새로 시작하는 개인 에이전트에 Datadog Pro 선택: 연간 약정 기준 월 $160는 가치 있는 프로덕션 연계를 제공합니다. 그 연계에 책임자가 생기기 전에는 로컬 /usage 화면이나 무료 티어로 시작하는 편이 낫습니다.
• 모델 가격을 모르는 상태에서 어떤 게이트웨이 예산이든 사용: Portkey 문서에 따르면 미지원 모델은 $0.00으로 표시되고 공급사 예산에 포함되지 않습니다. 비공개 모델과 새 모델의 가격을 정의한 뒤 한도를 신뢰해야 합니다.

이 범주에서 가장 위험한 것은 특정 공급사의 제품이 아닙니다. 모델 지원이 불완전하거나 실행이 누락됐는데도 정밀해 보이는 비용을 보고하는 대시보드입니다. 알 수 없는 비용이 눈에 보이게 표시되는지 확인하고, 공급사 청구서와 대조하며, 예산을 믿기 전에 통제된 요청으로 시험해야 합니다.

월요일에 할 일: 비싼 워크플로 1개 계측하기

월요일에는 예상 밖 청구액을 만들 가능성이 가장 큰 워크플로 1개를 계측합니다. 모든 모델 호출에서 시작하지 않습니다. 재시도와 컨텍스트 크기 때문에 이미 누군가 불안해하는 반복 코딩 루프, 지원 에스컬레이션, 리서치 에이전트, 문서 파이프라인 중 하나를 고릅니다.

각 실행에 고객 또는 계정, 워크플로, 환경, 결과라는 4개 필드를 태그로 붙입니다. 모델과 릴리스도 차원으로 추가합니다. 조사가 필요한 단위 비용에 알림을 설정합니다. 폭주 실행이 실질적인 손실을 만들 수 있다면 게이트웨이에 비용 또는 요청 한도를 두고, 활성화 전에 폴백 동작을 정의합니다.

금요일에는 중앙값에 가까운 성공 실행, 비용이 가장 높은 성공 실행, 비싼 실패라는 3개 그룹을 검토합니다. 이 비교로 필요한 복잡성과 낭비를 구분할 수 있습니다. 프리미엄 모델은 더 비싸더라도 재시도나 사람의 개입을 막아 승자가 될 수 있습니다. 저렴한 모델은 트레이스가 길어지고 실패 처리가 늘면 패자가 될 수 있습니다.

도입 여부는 매주 결정 1개가 나오는지로 판단합니다. 라우팅 규칙을 바꾸거나, 컨텍스트를 줄이거나, 툴 재시도를 고치거나, 사용자 지정 가격을 갱신하거나, 대시보드를 해지합니다. 4번의 검토 후에도 결정을 만들지 못한 측정 시스템은 확대 도입할 가치를 입증하지 못한 것입니다.

자주 묻는 질문

2026년 최고의 AI 에이전트는 무엇인가요?

모든 작업에서 최고인 AI 에이전트는 없습니다. 비용 통제에서 중요한 선택은 이미 프로덕션 업무를 수행하는 에이전트 주변의 옵저버빌리티 계층입니다. 폭넓은 비용 귀속에는 Langfuse, 집행에는 Portkey 또는 Helicone을 사용하고, 가격과 함께 품질을 판단해야 한다면 평가 중심 툴을 선택합니다.

2026년에 배워야 할 최고의 AI 툴은 무엇인가요?

운영하는 스택에 맞는 툴을 배워야 합니다. Claude Code 개인 사용자는 먼저 /usage와 OpenTelemetry를 이해하면 됩니다. 제품 팀은 메타데이터 기반 트레이싱과 단위 비용 분석을, 모델 라우팅을 책임지는 플랫폼 팀은 게이트웨이 예산과 폴백 정책을 익혀야 합니다.

상위 AI 에이전트 툴에는 무엇이 있나요?

에이전트 런타임과 이를 관찰하는 툴을 구분해야 합니다. 이 순위는 토큰, 비용, 트레이스, 제어를 위해 Langfuse, Portkey, Helicone, OpenLIT, Braintrust, Arize AX and Phoenix, LangSmith, Datadog Agent Observability를 다룹니다. 실제 비즈니스 작업을 수행하는 에이전트의 순위가 아닙니다.

2026년 세계 최고의 AI 앱은 무엇인가요?

작업, 워크플로, 데이터 경계, 예산에 따라 가치가 달라지므로 방어 가능한 보편적 1위는 없습니다. 에이전트 토큰 추적에서는 이 비교의 종합 선택이 Langfuse이지만, 집행 가능한 예산이 최우선 요구사항이면 Portkey가 앞섭니다.

ChatGPT보다 나은 AI는 무엇인가요?

모델 선호도가 비용 귀속을 대신하지는 않습니다. 프로덕션 에이전트는 하나의 워크플로에서 OpenAI, Anthropic, Google, 오픈 모델 또는 여러 공급사를 사용할 수 있습니다. 추적 계층은 이런 선택 전반에서 고객, 워크플로, 결과, 비용의 증거를 보존해야 합니다.

2026년 가장 발전한 AI는 무엇인가요?

역량 변화가 너무 빨라 영구적인 답 하나를 정할 수 없습니다. 옵저버빌리티 제품은 모델에 종속되지 않고, 사용자 지정 가격을 받으며, 기반 모델이 바뀌어도 과거 비용 및 결과 데이터를 비교할 수 있어야 합니다.

Elon Musk는 어떤 AI를 사용하나요?

유명 인사의 모델 선택은 토큰 추적 기준으로 유용하지 않습니다. 워크플로가 호출하는 모델, 예산 책임자에게 필요한 메타데이터, 보호해야 할 데이터 경계, 시스템이 한도를 집행해야 하는지를 기준으로 이 인프라를 선택합니다.

어떤 AI 툴이 가장 강력한가요?

이 범주에서 강력하다는 것은 지출을 워크플로에 연결하고 다음 행동을 바꾸는 능력을 뜻합니다. 귀속이 없는 깊은 트레이스는 불완전합니다. 손실 억제가 중요할 때 집행 없는 정밀한 알림도 불완전합니다. 사용하지 않을 범위까지 더하지 않으면서 필요한 경계를 충족하는 툴이 가장 강력합니다.

2026년에는 Claude와 ChatGPT 중 무엇이 더 나은가요?

필요한 작업 품질, 지연 시간, 컨텍스트, 상업 조건에 따라 Claude 또는 ChatGPT를 선택합니다. 추적 계층은 따로 선택해야 모델을 바꿀 때마다 비용 원장을 다시 만들지 않고도 조직이 모델별 성공 결과당 비용을 비교할 수 있습니다.

대시보드를 하나 더 추가하기 전에 워크플로부터 점검하세요

추적 툴은 첫 단계가 아니라 마지막 단계입니다. 다른 플랫폼이 예산에 들어오기 전에 AI 비즈니스 워크플로 감사 체크리스트를 무료로 받아 워크플로, 책임자, 결과, 제어 지점을 찾아보세요.