LLM 可观测性（LLM observability）工具选型：按团队规模算清成本（2026）

小型生产团队选 LLM observability（LLM 可观测性）工具，可以优先考虑追踪与评估平台 Langfuse：按下文每月 100,000 次运行的示例工作负载，Core 方案的平台费用为 $69.80/月，模型和评估器的计算费用另计。如果发布决策以评估为核心，或需要网关、私有部署、与现有 Datadog 系统关联的故障上下文，选择也会随之改变。

LLM observability 工具速览：各自适合什么团队

需要共享生产仪表盘，先看 Langfuse；围绕 LangChain 持续改进应用，选 LangSmith；通过网关监控模型请求，选 Helicone；愿意自行运维私有部署，选 Arize Phoenix；用评估结果决定是否发布，选 Braintrust；需要跨应用栈排查生产故障，选 Datadog Agent Observability。 当平台按每位需要查看故障的用户收费时，团队规模对预算的影响最明显。

trace 是一次应用运行的完整记录；span 是其中的一项操作，例如模型调用、检索或工具调用。评估通常简称 eval，用来检查结果是否符合规则或质量标准。智能体可能做错了事，却给出看似合理的回答；要解释这种情况，三类记录都需要。

价格已于 2026 年 10 月 5 日对照各厂商的实时定价页面核实。 所有美元金额均为 USD。除非明确说明，起价不包含额外用量和模型供应商费用。本对比依据当时的定价与文档，不作实测性能排名。

来源：Langfuse 定价、LangSmith 定价、Helicone 定价、Arize 定价、Braintrust 定价及 Datadog 定价。

真正需要比较的是“另计用量”里的计费单位。按应用 trace 收费，与按每次模型调用、观测记录、评分或 GB 收费，最终统计出来的用量并不相同。先估算应用会产生哪些记录，再比较订阅费。

每月 100,000 次智能体运行，平台费用是多少

按下列假设，同一个智能体、同一个五人团队，Langfuse 的账单可以是 $69.80，LangSmith 则是 $645。 价格高低不代表质量高低，差异来自事件计数方式、内含额度和席位费用。

这里明确采用以下生产工作负载模型：

• 每月 100,000 次完整智能体运行，每次运行对应一条 trace。
• 每次运行观测五项操作： 根工作流、两次模型调用、一次检索和一次工具调用。
• 合计 200,000 次模型调用、500,000 项被观测操作。
• 10,000 个在平台外计算的代码评估评分，每次抽样运行生成一个评分。额外模型调用或评估器 trace 不在此情景内。
• 五位用户需要访问仪表盘。
• Braintrust 处理 5 GB 数据；另外，Helicone 的计量存储为 5 GB。两者是独立假设，各厂商的字节计量口径不能直接互换。

这类似于一个客服智能体：读取请求、检索订单、调用订单管理工具，再让模型生成最终答复。这些数字用于预算建模，并非某个已部署应用的实测数据。如果智能体会重试、分支执行，或在平台内运行评估器，产生的记录也会不同。

以上结果均按前文链接中的厂商实时费率计算。LangSmith 采用当前价格提示中的每条基础 trace $0.005，并计入全组织共享的 10,000 条 trace 额度。Helicone 的区间保留了其页面上的口径差异：方案表写有 1 GB 免费存储，计算器却从第一个 GB 开始收费。Phoenix 不按用量收取软件许可费；基础设施运维成本仍需按实际部署规模估算。

这些总额不能直接套用到调用链更长的智能体上。工作流从两次模型调用变成反复推理循环，Datadog 和 Helicone 计到的模型操作就会增加；增加观测记录和存储评分，Langfuse 的单位数就会上升；trace 数不变、传入文档更大，Braintrust 处理的字节数也会更多。智能体 token 跟踪工具对比进一步讨论了如何将模型供应商支出归属到客户或功能。

这份清单依据什么选型

排序先考虑小型生产团队容易说明购买理由的方案，再介绍依赖特定工作方式才能发挥价值的工具。 开发者和 AI 负责人需要排查错误结果、跟踪客户成本，并把失败案例变成发布检查。只解决其中一项任务的产品，也可能是合适的专用工具。

每项推荐都依据五个标准：

1. 计费口径清楚。 买方能确认费用随 trace、操作、人员、评分还是数据量变化，知道免费额度及下一道限制在哪里。
2. 生产记录有用。 能把失败回答追溯到生成它的模型、检索和工具操作。
3. 支持持续改进。 记录能进入评估、数据集、实验或审核决策，而不只是孤立的日志。
4. 部署边界明确。 免费自托管、商业企业许可和客户自有数据平面，分别说明。
5. 插桩有文档依据。 根据厂商当前的集成说明判断 OpenTelemetry 支持情况；文档有说明时，也核对协议和字段映射。

这六款产品覆盖了不同选择：通用追踪平台、围绕框架的开发流程、网关、本地优先的私有平台、评估平台和运维套件。扩大清单会增加选项，却未必有助于这次预算与责任归属决策。本对比不对实测摄入速度、界面易用性、可用率或评估准确性作出结论。

这里把“免费”理解为可使用的额度，并不承诺账单一直为零。Braintrust Starter 和 LangSmith Developer 都可能产生用量费用。Phoenix 可以没有许可费，但数据库维护和值班仍可能是重要成本。合适的免费方案，是限制条件足以支撑你完成当前实验的方案。

六款工具：按生产场景匹配程度排序

1. Langfuse：小型生产团队的默认选择

Langfuse 把共享追踪、token 与成本跟踪、提示词管理和评估放在一起，Core 不按席位收费。 SaaS 客服助手可以为模型调用关联客户、工作流和发布版本，同时查看高成本失败与成功运行。预算的主要约束是存储记录数：一次智能体执行可能生成一条 trace、多条观测记录和评分。如果想把调用链与成本记录放在一起，并为日后自托管保留可行路径，可以优先选它。

适合谁： 需要开发者和 AI 负责人共同查看生产运行的小型或成长中产品团队
突出之处： Core 用户数不限，成本可关联到 trace，核心自托管版本采用 MIT 许可
价格： Core 起价 $29/月；付费 Cloud 方案另按单位收取用量费用
免费试用： 免费 Hobby 无需信用卡，提供持续可用的额度，不是限时试用

Langfuse 价格：各档方案的关键限制

实时定价页面列出：Hobby 为 $0，含每月 50,000 单位、两位用户及 30 天数据访问期；Core 为 $29/月，含 100,000 单位、不限用户数及 90 天数据访问期；Pro 为 $199/月，内含单位数相同，但提供三年数据访问期、保留期管理和更高的速率限制。Pro 可选的 Teams 附加项为 $300/月，增加企业 SSO、强制执行能力和更细的访问控制。Enterprise 为 $2,499/月，含 100,000 单位、审计日志、SCIM 和合同约定的服务承诺；年度承诺可引入定制用量价格。

付费 Cloud 用量采用阶梯计价：100,000 至一百万单位这一档，每 100,000 单位 $8；一百万至一千万这一档，每 100,000 单位 $7；一千万至五千万这一档，每 100,000 单位 $6.50。低费率只适用于对应档内的单位，跨过门槛后，前一档用量不会追溯降价。

Core 的摄入限制为每分钟 4,000 次请求，Pro 为每分钟 20,000 次请求。这里的请求指摄入请求，并非计费单位；一次批量请求可以携带多个存储事件。月度单位预算和导出器产生的流量峰值，都需要检查。

Langfuse trace 怎么计费：观测记录和评分也要算

Langfuse 的 trace 是一次运行记录，但计费公式是 trace + 观测记录 + 评分。示例工作负载合计 100,000 + 500,000 + 10,000 = 610,000 单位，因此 Core 的费用为 $29 + 5.1 × $8 = $69.80/月；同样的存储用量，Pro 为 $239.80/月。

这个公式会影响插桩策略。检索操作和退款工具操作虽然增加记录，却也是重要证据。为了省钱删掉这些记录，可能就无法解释故障。更合理的做法是对价值较低的成功运行制定明确的采样策略，同时保留诊断高成本或有害结果所需的证据。

自托管、许可与 OpenTelemetry 接入

Self-hosted Open Source 采用 MIT 许可，不收许可费，用量不限，提供核心追踪、评估、数据集和提示词管理 API。自托管 Enterprise 使用商业许可，需定制报价。其当前定价页面说明，Langfuse 企业费用需在相关 ClickHouse 商业方案费用之外另付。云订阅与企业自托管，是两种不同的采购。

OpenTelemetry 文档说明支持 OTLP over HTTP/JSON 或 HTTP/protobuf，明确不支持 gRPC。基础端点为 /api/public/otel，通过 Basic auth 使用项目的公钥和密钥认证。直接摄入当前 v4 路径时，实时处理需要 x-langfuse-ingestion-version: 4 请求头；文档提示，缺少它可能延迟最多十分钟。用户、会话、发布版本等 trace 属性，也需要传播到用于筛选和聚合的 span。

对已经通过 gRPC 向 Collector 导出数据的平台团队，这是实质性的集成约束。Collector 可以接收一种协议、再以另一种协议导出，但到 Langfuse 的最后一跳必须符合文档中的 HTTP 端点和属性映射。数据被接收，却缺少客户元数据，集成仍不算完成。

Langfuse Python：从官方 SDK 路径开始

厂商推荐 Python 使用自有 SDK，因为它会管理 Langfuse 字段、上下文传播和导出。按当前追踪快速入门配置项目凭据，以及所选区域或自有部署的 LANGFUSE_HOST，再将完整业务操作包在当前的观测上下文中。检索和工具操作都应放在这个上下文内，才能在 trace 中保留错误回答的成因。

尽可能使用模型供应商返回的用量数据。Langfuse 成本跟踪优先采用摄入的成本，而非按模型价格推算的成本；Project Settings > Models 支持自定义模型定义。如果供应商合同采用协商费率，或内部模型没有公开价格，这一点就很关键。界面上的估算值应与你实际管理的商业费率一致。

Langfuse LangChain：把完整请求放在同一上下文

LangChain 集成使用回调处理器，通过调用时的 callbacks 传入。先为外层请求建立 trace 上下文，再把 chain 纳入其中。文档也提醒，后台事件会排队发送；短生命周期进程退出前，必须刷新或关闭导出器。在 JavaScript 无服务器环境中，应按指南要求等待后台回调完成。

首次接入的范围，应小到可以逐项人工检查：

1. 1

   创建一个生产追踪项目

   选择 Cloud 区域或自托管地址，创建项目密钥，并按当前快速入门配置 host。确保生产记录与开发记录能够区分。

2. 2

   追踪一次完整业务操作

   为请求根节点、模型调用、检索和工具操作插桩。将客户、工作流、发布版本和结果元数据关联到合适的 span，并确认必要的 trace 属性正确传播。

3. 3

   对照供应商响应核对成本

   打开已完成的 trace，核对模型标识、用量和成本。如果公开费率的推算不符合实际协议，就配置自定义模型价格。

4. 4

   保存一个评分，检查计费口径

   给已知示例评分，确认关联到了预期运行，再将 trace、观测记录和评分数量与 Usage Management 仪表盘核对。短生命周期 worker 退出前，先刷新导出器。

2. LangSmith：适合围绕 LangChain 持续改进应用

LangSmith 是追踪与评估平台，适合已经通过 LangChain 或 LangGraph 开发、审核智能体的团队，也提供其他框架的插桩文档。 开发负责人可以把生产故障关联到数据集、在线或离线评估、人工审核及提示词修改。采购的主要约束是席位加 trace：邀请更多审核者会提高订阅费，trace 用量还会单独收费。如果这套开发与评估流程的价值足以支撑每位审核者的付费席位，就可以选它。

适合谁： 已围绕 LangChain 或 LangGraph 组织智能体改进工作的开发团队
突出之处： 追踪、数据集、标注队列及在线/离线评估在同一产品内完成
价格： Plus $39/席位/月，trace 及其他产品用量另计
免费试用： Developer 为单个用户提供持续免费额度，超出内含 trace 后产生用量费用

LangSmith 价格：各档方案与共享 trace 额度

Developer 为 $0/席位/月，支持一个席位，含每月 5,000 条基础 trace，之后按用量付费。Plus 为 $39/席位/月，可以增加付费席位，内含每月合计 10,000 条基础 trace。定价计算器明确说明，这一额度由全组织共享。Enterprise 需定制报价，提供混合部署、自托管、安全控制和支持安排。

当前页面的价格提示列出：每条基础 trace 为 0.005 LangChain Standard Units，每次延长 trace 保留期的升级为 0.0025。一个 LSU 等于 $1，所以对应费率是每条基础 trace $0.005、每次升级 $0.0025。基础保留期为 14 天，延长后为 180 天。今天核实预算时，不能直接沿用记忆中的旧 trace 单价。

五个 Plus 席位、100,000 条基础 trace 的费用是 $195 席位费 + $450 额外 trace 费 = $645/月。如果将 10,000 条 trace 升级至延长保留期，另加 $25，总计 $670，尚未包含评估器计算或其他产品用量。升级使记录保留更久，购买 Plus 本身不会免费获得这一效果。

Tuned Evaluators 另有公开计费口径：每次成功的 Perceived Error 评估运行收取 0.015 LSU。页面提示还说明，Tuned Evaluator 添加反馈时，会同时将 trace 升级至延长保留期。Deployment、Engine、Fleet 和 Sandboxes 各有用量规则。只购买可观测性能力的团队，应将预算限定在该服务范围内，不能把席位费理解为包下所有智能体运行服务。

为什么席位数会改变选择

五位开发者查看 trace，与五位开发者再加更广泛的产品、质量审核人员，是两种成本结构。在同样的 100,000 条基础 trace 下，十五个 Plus 席位为 $1,035/月：席位费用升至 $585，额外 trace 费用仍是 $450。增加席位不会成倍增加共享的免费 trace 额度。

如果每位审核者都会经常把 trace 转成修正后的提示词、数据集或发布决策，这笔钱就有购买理由。如果多数用户只偶尔查看成本仪表盘，就较难说明价值。先明确谁必须审核原始记录、谁可以使用导出的结果，以及哪套流程能让订阅发挥作用。

商业自托管与 OpenTelemetry

自托管 LangSmith 是 Enterprise 附加项，需要商业许可密钥。安装包含前后端服务，以及 ClickHouse、PostgreSQL 和 Redis；指南建议生产环境使用外部存储服务。这是需要运维的企业安装，并不能因为框架开源，就推断服务端许可免费。

其 OpenTelemetry 指南介绍了兼容应用的 trace、标准属性映射，以及将同一 span 数据流分发到多个后端的 Collector fanout。LangChain 和 LangGraph 用户可在启用追踪的同时设置 LANGSMITH_OTEL_ENABLED=true，启用集成路径。标准 HTTP 导出器使用基础端点 https://api.smith.langchain.com/otel，以 x-api-key 认证，并可添加 Langsmith-Project 请求头。

注意端点的配置形式。共享 OTLP 基础端点变量会让 HTTP 导出器追加 /v1/traces；专门用于 trace 信号的变量则应包含完整路径。两处都加信号路径，会拼出错误 URL。确认所选项目中的同一条 trace 保留了模型、输入、输出和父子关系后，才算完成 OTel 导出。

3. Helicone：购买需求本来就包含网关时更合适

Helicone 将请求可观测性与 AI 网关结合：网关转发模型请求，并执行路由及相关控制。 主要需要查看供应商请求、管理故障回退和归集模型支出的小型应用，可以在这一边界获得有用记录。它的局限是网关与完整智能体之间仍有距离：模型请求记录还需应用上下文，才能解释检索和业务工具的行为。如果架构里本来就需要网关，眼前任务又是请求监控，可以选它。

适合谁： 同时购买请求监控和网关能力的产品团队
突出之处： 兼容 OpenAI 的网关，以及独立的异步日志路径
价格： Pro $79/月，另加按阶梯计价的已记录请求与存储费用
免费试用： Hobby 免费；Pro 和 Team 页面提供 7 天免费试用

各档方案怎么选：别漏掉流量峰值限制

当前定价页面列出：Hobby 为 $0，含每月 10,000 次请求、1 GB 存储、一个席位、一个组织和七天保留期；Pro 为 $79/月，增加不限席位、告警、报告及其查询语言 HQL，保留期为一个月；Team 为 $799/月，增加五个组织、三个月保留期、专属 Slack 频道及页面列出的合规方案；Enterprise 需定制报价，提供 SAML SSO、本地部署和定制合同选项。

付费方案表内含 10,000 次免费请求和 1 GB 免费存储，超出后按用量收费。Hobby 公布的摄入限制为每分钟 10 条日志，Pro 为 1,000，Team 为 15,000，Enterprise 为 30,000。月度额度看似够用，单次流量峰值却可能已经超过摄入限制。通过队列驱动、集中刷新大量记录的文档任务，需要同时核对吞吐量和月度总数。

Pro 升至 Team，未计用量就增加 $720/月。应当为它解决的组织管理、保留期和支持需求付费。请求量增长本身，并不意味着这笔升档费用必然是下一步。

请求费怎么算：存储额度为何有两个口径

定价页面的实时计算器采用阶梯请求费率：前 10,000 次免费，接下来 20,000 次每次 $0.0007，再接下来 60,000 次每次 $0.00035，第 90,001 至 250,000 次每次 $0.000175。随着用量增加，后续公开档位降至每次 $0.0000875、$0.00004375 和 $0.00002。这些参数来自 Helicone 自己的计算器，而非其他厂商的对比文章。

记录 200,000 次模型请求时，请求费用为 $14 + $21 + $19.25 = $54.25；加上 Pro 后，存储前合计 $133.25。示例智能体中的两次模型调用都要计入；把应用标成 100,000 次“请求”，会低估这一计费口径的用量。

计算器的存储档位从前 30 GB 每 GB $3.25 开始，之后更大档位依次为 $2/GB、$1.25/GB、$0.75/GB 和 $0.50/GB。但计算器从零开始收取首档费用，并未扣除方案表宣传的免费一个 GB。以 5 GB 计量存储为例，扣除免费额度后的存储费为 $13；按计算器则为 $16.25。因此示例 Pro 总费用是 $146.25-$149.50。

网关、异步日志与 OTel 的接入边界

网关快速入门使用兼容 OpenAI 的客户端，指向 https://ai-gateway.helicone.ai，支持自动日志记录和故障回退。也可以使用自己的模型供应商密钥。模型供应商支出与可观测性订阅、已记录请求费用分别计算。

Proxy 与 Async 指南直接说明了架构取舍：Proxy 集成让 Helicone 位于请求路径上，提供缓存、重试控制和自定义速率限制等网关功能；Async 日志不在这条关键路径上，但也不提供同样的代理控制。比较接入工作量前，先决定是让它转发请求，还是在后台观测。

OpenTelemetry 方面，Helicone 提供 OpenLLMetry Async 集成文档，当前示例使用 @helicone/async 和 helicone-async 日志库。这能证明文档所述集成路径存在，但所引指南没有给出通用 OTLP Collector 接收端的配置。如果你的要求是“只改 Collector 导出器”，就要验证这条具体路径，不能把与 OTel 有关的集成直接当作可替换的 OTLP 后端。

自托管支持手动安装、Docker Compose、Kubernetes 和云部署。仓库采用 Apache 2.0 许可。专属支持和企业服务仍需另谈。对小团队而言，即使软件许可免费，持续运维整套系统的成本也可能超过遥测账单。

接入应当回答一个应用问题，不能停留在“看到了请求”。关联工作流与客户标识，发送一次已知模型调用，检查记录，并确认会话能关联你希望归为一组的调用。随后，用重试或失败响应再做同样检查。能解释是哪项业务操作导致额外模型调用，网关视图才会成为有用的生产证据。

4. Arize Phoenix：有基础设施负责人时的私有追踪选择

Arize Phoenix 是本地优先的追踪、评估与实验平台，可在自有基础设施运行，不收许可费。 平台工程师排查检索助手时，可以查看模型调用、检索上下文和工具操作，再把失败案例收集进数据集，比较修改后的应用。它的约束是责任归属：必须有人运维服务，并理解许可边界。如果私有、可控的追踪与评估部署足够重要，值得指定基础设施负责人，就可以选它。

适合谁： 希望自行运维追踪与评估后端的技术团队
突出之处： OTLP trace 与 OpenInference 插桩，以及本地数据集和实验
价格： Phoenix 自托管不收许可费；当前 Arize 定价页面未公布 Phoenix 付费档位
免费试用： 自托管 Phoenix 可在许可范围内免费使用；Arize AX 另有独立免费方案

Phoenix 的价格，不能套用 $50 的 AX 方案

当前 Arize 定价页面为 AX 定价，另将 Phoenix 介绍为本地优先平台。AX Free 含每月 25,000 个 trace span、每月 1 GB 摄入量、15 天保留期，用户和评估次数不限。AX Pro 为 $50/月，含 50,000 个 span、每月 10 GB 摄入量、30 天保留期，用户和评估次数不限。AX Enterprise 需定制报价，可定制用量、保留期，以及 SaaS 或自托管部署。

该页面没有公布 Phoenix 付费实例价格，也没有 Phoenix 超额用量价目。 把 Phoenix 写成“$50/月”，就混淆了两个产品。如果希望购买 Arize 托管服务，应按 AX 自己的 span 和字节限制评估；如果选择 Phoenix，就要为自行运维的基础设施编预算。

示例应用中的 500,000 个 span 是 AX Pro 内含 span 额度的十倍。公开页面没有给出这一情况的超额费率，所以应询价，不能外推一个价格。每次运行五个 span 时，AX Free 的 span 额度对应 5,000 次运行，Pro 对应 10,000 次，前提是字节及其他限制也满足要求。

自托管 Phoenix 在示例用量下，软件许可费仍为零，但这不代表保留 500,000 个 span 没有成本。需要选择存储策略、估算数据载荷大小、纳入备份成本，并指定升级与恢复负责人。“已有这套基础设施”和“需要新建私有平台”，会得出不同的总成本。

许可怎么理解：以实际后端条款为准

Phoenix 后端当前仓库许可为 Elastic License 2.0。它允许在遵守限制的前提下使用，但禁止将产品实质功能以托管或管理服务的形式提供给第三方，也限制绕过许可密钥功能及移除许可声明。这与 Langfuse 核心的 MIT、Helicone 的 Apache 2.0，是不同的授权方式。

采购表述应区分这些含义：“代码可获得”“本次部署免费”“可宽松授权地重新包装为服务”，是三种不同说法。本文推荐的是为自己的应用运行 Phoenix，做追踪和评估，并不假设你有权把 Phoenix 作为托管产品转售。

自托管指南说明，自托管 Phoenix 不收许可费，不设用量上限或功能门槛，可在完全隔离网络的环境中运行。文档列出终端、Docker/Compose、Kubernetes/Helm 和云部署方式。私有安装仍需根据所保存的数据，制定相应配置与恢复计划。

OpenTelemetry 与评估流程如何衔接

Phoenix 接收 OTLP trace，以 OpenTelemetry 和 OpenInference 插桩为基础。文档所述记录覆盖模型调用、检索、工具及自定义逻辑。评估可以采用裁判模型、代码检查或人工标注。数据集与实验支持用相同输入重跑不同应用版本，提示词工具则支持版本管理和回放。

追踪配置指南提供 Python 的 phoenix.otel、TypeScript 的 @arizeai/phoenix-otel，以及项目与会话管理。使用 Collector 的团队，应在 Phoenix 中核对与其他后端相同的实际语义字段。保留 trace ID 很有用；能保留“究竟是哪项操作检索到了错误上下文”，才足以指导修复。

检索助手可以从一个已知故障开始：模型依据无关文档，给出了自信的回答。查看检索 span 是否含有足够证据，区分搜索问题与答案生成问题。把该输入和预期行为保存进数据集，修改一个检索或提示词设置，再比较结果。可重复的示例，才能把发现问题与防止问题再次发生连接起来。

5. Braintrust：用评估结果决定发布时更合适

Braintrust 是评估与可观测性平台，适合依据已评分示例、数据集和实验作发布决策的团队。 产品 AI 负责人比较提示词修改时，可以查看 trace，判断新输出是否通过了与旧版本相同的检查。预算的主要约束是处理数据量加评分数，模型计算与延长保留期另计。如果评估流程有负责人，而且会影响发布内容，就可以选它；Starter 的额度和功能够用时，从 Starter 开始。

适合谁： 持续维护评估数据集和发布标准的 AI 产品团队
突出之处： Starter 的用户、项目、数据集、playground 和实验数量均不限
价格： Starter 平台费为 $0，用量可收费；Pro 为 $249/月，用量另计
免费试用： Starter 提供持续免费额度，开始使用无需信用卡

各档方案的价格：数据与评分分开计量

Starter 的月度平台费为 $0，含每月处理 1 GB 数据，之后 $4/GB；每月 10,000 个评分，之后每 1,000 个 $2.50；14 天保留期；以及每月 $10 模型额度。用户、项目、数据集、playground 和实验数量不限。因此，团队需要共享评估工作区，不代表必须立即购买 Pro。

Pro 为 $249/月，含处理 5 GB 数据，之后 $3/GB；50,000 个评分，之后每 1,000 个 $1.50；30 天保留期，延长保留按 $0.50/GB/月收费；以及每月 $100 模型额度。它还增加自定义图表、环境、基于角色的访问控制和优先支持。Enterprise 需定制报价，可定制保留期、导出、支持，以及本地或托管部署安排。

评分是经过评估的输出，可以来自裁判模型、自动评估或自定义代码评分器。保存或处理该评分的费用，与生成它所需的计算费用不同。内含模型额度也有适用范围，不能视为对所有应用供应商账单的返还。

在示例的 5 GB 数据和 10,000 个评分下，Starter 的数据超额费用是 $16，没有评分超额费用；Pro 则在额外用量前为 $249。如果当前只需要免费方案功能范围内的共享数据集、实验和 trace，就应为 $249 的升级明确一个功能或保留期理由。

用量增加到什么程度，低费率才有意义

保持处理 5 GB 数据，评分增至每月 100,000 个时，Starter 为 $241，Pro 为 $324，均未计模型用量和延长保留期。Pro 单位费率更低，并不一定足以抵消固定费用。

在同样的字节用量假设下，只按平台费和用量账单比较，费用持平点是每月 183,000 个评分，此时两个方案均为 $448.50。计算未包含不同的模型额度、保留期和功能，这些因素可能使提前升级更合理。它是预算阈值，不是建议推迟购买有用的访问控制。

实际运行还要判断哪些检查值得付费。客服工作流可能需要每次运行都执行确定性的工具参数检查，同时对抽样回答使用模型评估质量。这些检查目的不同，计算成本也不同。为发布维护已知数据集，再通过生产采样发现数据集未覆盖的故障。

不要把高平均分当成完整的发布决策。按工作流和结果归类示例，避免简单回答的进步掩盖客户在意的复杂操作退步。这是评估设计与审核实践，并不意味着任何平台会自动提供正确的评分标准。

OTel 摄入与商业数据平面托管

OpenTelemetry 集成文档列出 OTLP trace 导出器、Braintrust span 处理器、日志导出器和 Collector 日志转发。API 基础端点为 https://api.braintrust.dev/otel，通过认证及 x-bt-parent=project_id:... 请求头指定目标项目。信号专用端点包含 trace 或日志路径。独立的 @braintrust/otel 包支持文档所述 JavaScript 集成。

按集成文档的字段映射说明，核对摄入后的输入、输出和元数据。日志行与应用 span 都被接受，并不代表它们是等价的评估记录。要确认哪个对象会成为计划中实验的输入。

部署方案将 BYOC 和自托管限定在 Enterprise。这是商业平台采购，不是开源后端许可。更具体地说，架构指南将包含界面、认证及管理元数据的控制平面保留在 Braintrust SaaS；保存 trace、数据集和其他 AI 数据的数据平面，可以运行在自己的云账号里。浏览器直接与该数据平面通信。

这一区别会决定部分采购选择。掌握提示词和输出的存放位置，可以满足数据位置要求，但仍可能依赖厂商控制平面。如果组织要求所有产品组件离线运行，签约前应将这一架构与 Phoenix 文档中的隔离网络部署方式比较。

6. Datadog Agent Observability：适合已有 Datadog 运维体系

很多人搜索的 Datadog LLM Observability，厂商当前将其称为 Datadog Agent Observability。它最适合已经在 Datadog 中排查应用故障的团队。 客服智能体超时，可能来自模型调用、服务缓慢或用户会话问题。平台的价值，是把智能体记录与更广泛的运维上下文关联起来。约束在于付费承诺、保留期，以及所需周边 Datadog 产品的费用。如果故障负责人已经使用 Datadog，而且共享上下文能改变排查过程，就可以选它。

适合谁： 需要将 AI 故障关联到应用和基础设施故障的 SRE 或平台团队
突出之处： 按 LLM span 收费，不按每次检索、工具或工作流操作收费
价格： Pro 按年承诺 $160/月，逐月 $200/月或按需 $240/月，额外 LLM span 另计
免费试用： Free 含每月 40,000 个 LLM span；定价页面也提供试用注册

Datadog LLM Observability 价格：区分年度、逐月与按需

当前定价页面列出 Free 为 $0，含每月 40,000 个 LLM span、15 天 trace 保留期，上下文和评估不限量，全部功能可用。Pro 含每月 100,000 个 LLM span，同样为 15 天 trace 保留期。基础价格为按年计费 $160/月、逐月 $200 或按需 $240。

额外 LLM span 的价格，按年度费率为每 10,000 个 $3.50，逐月为 $4.20，按需为 $5。在 200,000 个 LLM span 下，示例总费用分别为 $195、$242 和 $290。应明确比较付费承诺：标题里的年度费率，并不是逐月支付的账单。

计费单位是模型调用，并非 trace 中的每项操作。厂商说明，工具、检索和外围工作流 span 不按 LLM span 收费。每次运行两次模型调用时，Free 额度对应 20,000 次完整运行，仍需满足方案其他条件。增加工具插桩不一定增加收费 LLM span，反复调用模型的推理循环则会增加。

平台提供延长保留期，但公开页面没有给出本对比可用的延长保留费率。需要调查较早的故障时，应为这一需求单独询价。即使记录插桩完整，过期后也无法支持后续客户争议的调查。

Datadog AI Observability 如何融入现有运维体系

Agent Observability 可以单独购买，厂商说明无需其他 Datadog 订阅。定价页面同时介绍了与 APM、基础设施监控和 Real User Monitoring 配合使用时的关联价值。全新采购的团队应分别编预算，不能假设可观测性订阅已经包含 Datadog 的其他产品。

其公开档位都包含数据集、实验、评估、标注和仪表盘。成本视图可按供应商、模型，以及提示词标识或版本拆分用量，trace 和 span 上也可查看成本。故障负责人因此可以区分：成本增加究竟来自流量增长，还是应用执行的模型工作发生变化。

平台负责人应在适配验证中具体检查这种关联。从一次失败的智能体运行出发，沿请求找到负责工具响应的服务。确认 trace 标识跨边界后仍然保留，运维人员能区分模型延迟和其他环节耗时。购买理由在于这套排查流程；独立的支出图表不足以证明其价值。

SaaS 许可与 OpenTelemetry 接入

Datadog 依据订阅协议，将产品作为商业 SaaS 服务提供。其条款明确托管服务受 MSA 约束。当前产品定价页面没有提供自托管 Agent Observability 后端。自行运行 Datadog Agent 或 OTel Collector，并不等于自行托管存储、界面和评估平台。

OpenTelemetry 指南接收遵循 GenAI 语义约定 1.37 或更高版本，或受支持的 OpenInference 约定的 trace。文档支持直接摄入，无需 Datadog Agent 或 Agent Observability SDK。示例导出器采用 OTLP/HTTP protobuf，并携带 dd-api-key 和 dd-otlp-source=llmobs 请求头。

外部评估有一项具体集成要求：对 OTel span，文档要求 source:otel 标签，以及十进制字符串形式的 trace 和 span ID。原生 OTel ID 是十六进制，提交前需要转换。应对照一条已知 trace 验证评估关联，不能因为追踪兼容，就假设评估会自动挂接。

按团队规模，应该选哪款工具

先看谁需要根据记录采取行动，再看哪种计费口径会随应用增长。 人数是预算输入，不能替代对负责人角色的判断：是开发者、AI 产品负责人，还是故障响应人员？

一到两位开发者： 从能支撑首次生产复盘的免费额度开始。Langfuse Hobby 适合两人共享视图，但一次运行产生多项操作时，50,000 单位会很快消耗。LangSmith Developer 适合单个用户。如果目标已经是持续维护数据集和有评分的发布检查，Braintrust Starter 很有吸引力。明确选择自行运维后端时，可以考虑 Phoenix。

三到十人： 多位开发者和产品负责人需要日常访问时，Langfuse Core 是默认选择。如果数据、评分、保留期和功能限制符合评估优先的工作流，Braintrust Starter 可能更便宜。购买需求包含网关和请求监控时，Helicone Pro 的费用有相应价值。审核者确实使用其开发改进流程时，LangSmith Plus 的席位费才有理由。

更大的跨职能审核团队： 将质量、产品或支持人员加入工作区前，先数清每位付费 LangSmith 用户。不限用户的方案，可以在参与人数增长时保持订阅费稳定，但 trace、字节和评分用量仍需管理。当某个平台的专用流程节省的审核工作，或减少的重复故障，超过订阅差价时，选择就可能改变。

已经使用 Datadog 的 SRE 或平台团队： 智能体故障需要与服务、用户会话一起调查时，优先考虑 Datadog。现有责任归属与 trace 上下文，可能降低独立专用控制台的价值。如果智能体有大量非模型操作，只按 LLM 计量的较低用量口径也值得关注。

有私有部署要求： Phoenix 和 Langfuse 的许可与部署选择存在实质差异；Helicone 还提供 Apache 许可选项。LangSmith 和 Braintrust 的自托管涉及商业企业安排。Braintrust 的客户自有数据平面，仍使用厂商控制平面。先决定哪些组件必须留在自有基础设施内，再判断哪个档位便宜。

原则很明确：为能改变生产决策的工作流付费，再预测它会产生多少记录、需要多少人参与。 如果说不清是哪项决策，就从更小范围的接入开始。

OpenTelemetry 接入：路径正确，还要字段完整

只有应用的重要字段在摄入后仍被保留，OpenTelemetry 支持才有实际价值。 OTel 是标准插桩系统，OTLP 是发送遥测数据的协议。span 数据流可能传输成功，后端却没有模型标识、用量、客户上下文，或工具与调用方之间的关系。

各平台的文档路径并不相同。Langfuse 的 OTLP 端点接收 HTTP JSON 或 protobuf，并明确不支持 gRPC。LangSmith 接收 OTel trace，可映射 GenAI、OpenInference 等属性，也说明了 Collector fanout。Phoenix 接收 OTLP，并使用 OpenInference 插桩。Braintrust 提供 trace、span 处理器及日志摄入路径。Datadog 指定受支持的 GenAI 或 OpenInference 约定。Helicone 提供 OpenLLMetry 异步集成文档，但所引指南没有说明通用 Collector OTLP 接收端。

做适配验证时，应让一次有代表性的运行贯穿完整路径。核对父子关系、模型名称、token、成本、输入输出策略和发布元数据。涉及两个服务时，检查上下文是否跨过服务边界。如果平台用会话归组对话，应验证会话标识，不能假设一个共用 trace ID 就覆盖整段对话。

仔细核对端点变量。共享基础端点与 trace 信号专用端点，是两种不同的配置形式。按厂商要求配置区域、认证和路径，再去目标项目检查记录。HTTP 响应成功只说明数据被接受，不代表业务归属正确。

最后，还要检查重复导出路径。框架回调和独立自动插桩库，可能记录了同一次模型调用。判断成本是否激增前，先确认究竟是模型工作增加了，还是同一事件记录了两次。失败分析工具对比有助于把 trace 对应到具体排查问题。

哪些购买方式容易踩坑

即使产品在推荐清单上，买错用途仍然会浪费预算。 以下场景与文档中的计费或运行方式不匹配。

• 只为共享成本界面购买 LangSmith Plus： 示例五人工作负载在延长保留期和评估计算前为 $645。它的改进流程属于实际工作时，这笔支出才有理由；扩大审核名单也应有明确目的。
• 轻量评估已满足 Starter，却购买 Braintrust Pro： 示例中 Starter 为 $16，Pro 为 $249。应明确为功能、保留期或支持升级付费。
• 用“Phoenix 为 $50”编采购预算： 这个价格属于 AX Pro。示例用量超过 AX 的公开 span 额度，页面也未公布超额费率。Phoenix 自行运维的基础设施是另一套预算。
• 流量峰值很高的生产 worker 使用 Helicone Hobby： 每月 10,000 次请求额度，并不会取消其每分钟 10 条日志的公开摄入限制。依赖免费方案前，先验证流量形态。
• 按 Datadog 宣传的年度起价审批月度预算： $160 是年度费率下的基础价；逐月基础价为 $200，示例逐月总额为 $242。
• 选择任何自托管方案，却没有负责人： 免费许可不会自动分配备份恢复、升级或数据访问责任。商业“自托管数据平面”也不会自动把整个产品迁进你的环境。

成本图表看似精确，却缺少用量记录，无法有效控制预算。对照某次已知请求的供应商用量与存储记录，再将汇总值与实际账单核对。观测平台负责解释支出；停止策略则必须影响应用接下来的动作。

下一步怎么做：把一次失败变成发布测试

扩大接入前，先给一项有价值的工作流插桩，并让一个已知故障可重复测试。 客服助手反复查询订单、选错文档，或草拟未经支持的退款承诺，都是合适案例，因为负责人能够明确预期行为。

明确工作流负责人、发布标识和业务结果。捕获完整运行，检查模型与工具操作，核对用量字段。检查导出器变慢或短生命周期 worker 退出时会发生什么。首次接入的检验标准，是记录是否携带了足够上下文，能够回答负责人的问题。

随后，将已知故障放入数据集，写清预期结果。例如，“未经工具批准，不承诺退款”，或“引用检索到且适用于该客户的政策”。规则确定时用代码检查，需要判断时用经过审核的质量标准。保留输入和规则，让后续提示词或模型变更面对同一项测试。

明确发布门槛。平均分通过，不能掩盖你要保护的关键操作失败。审核那个已指定的困难案例；失败时，查看 trace。再通过生产采样寻找需要加入数据集的新案例。

下一次决定订阅方案前，记录实际 trace 数、每条 trace 的操作数、模型调用、存储评分、处理或保留的字节数、审核人员和保留期需求。按这些数字重算账单。第一周有用的产出，是经过修正的工作流和有依据的预算，两者都应有明确负责人。

常见问题

AI 可观测性工具选哪款？

需要共享追踪和成本数据的小型生产团队，可以默认选择 Langfuse。Braintrust 适合由评估驱动发布决策，Phoenix 适合自行负责的私有后端，Datadog 适合已有运维流程。由负责人角色和部署边界，决定是否应改用某个专用工具。

LLM 可观测性应该跟踪哪些指标？

跟踪 token 和供应商成本、延迟、错误、重试、检索与工具结果，以及评估结果，再按客户、工作流和发布版本归组。如果失败运行和重试消耗了显著预算，每次成功业务结果的成本，比 token 总量更有用。

如果只选 3 款可观测性工具，选谁？

按本对比的三种生产角色，通用共享追踪选 Langfuse，评估驱动的产品工作选 Braintrust，运维上下文选 Datadog。这是按角色划分的清单，不是宣称它们在所有功能或部署中都具有实测优势。

有哪些开源 LLM 可观测性工具？

Langfuse 核心采用 MIT 许可，Helicone 仓库采用 Apache 2.0。Phoenix 可以免费自托管，但后端采用 Elastic License 2.0，对托管服务有限制。应检查实际后端许可，不能把所有被称为开源的产品都当成宽松许可软件。

什么是 LLM 可观测性工具？

它们记录大语言模型应用如何运行，包括模型调用、工具、检索、耗时、用量和输出检查。有用的结果，是能够解释一次失败运行，指导修复，并把它变成可重复的发布测试。

Langfuse 价格是多少？

截至 2026 年 10 月 5 日核实：Hobby 免费，Core 为 $29/月，Pro 为 $199/月，Enterprise 为 $2,499/月。Pro 可选 Teams 附加项为 $300/月。付费方案还按 trace、观测记录和评分收取用量费用；示例的 610,000 单位工作负载，在 Core 下为 $69.80。

Langfuse 可以免费用吗？

可以。Hobby 含每月 50,000 单位、两位用户和 30 天数据访问期。也可以自行托管 MIT 核心版本，无需软件许可费，但基础设施费用和运维由自己承担。商业企业功能适用独立条款。

Langfuse 有哪些替代工具？

LangSmith 适合 LangChain 或 LangGraph 的持续改进流程；Helicone 适合以网关为中心的请求监控；Phoenix 适合私有后端；Braintrust 适合数据集和评估驱动发布；Datadog 适合现有运维体系中的智能体故障调查。更换平台前，应比较实际计费口径和保留期需求。

Langfuse 能在本地运行吗？

可以。Langfuse 提供基于 Docker 的自托管文档，以及 MIT 核心版本的部署指南。本地启动并不会同时解决生产备份、可用性或升级责任。如果安装会成为生产追踪服务，就应明确这些要求。

获取 AI 业务工作流审核清单，在扩大生产工具投入前，明确工作流、负责人、结果和控制点。