LangSmith vs Langfuse 비교: 트레이싱부터 셀프 호스팅까지

LangSmith는 LangChain이나 LangGraph를 쓰면서 트레이싱과 평가를 일상적인 개발 흐름 안에서 함께 처리하려는 팀에 적합합니다. 여러 프레임워크가 공유할 플랫폼이나 오픈소스 셀프 호스팅이 필요하다면 Langfuse가 더 잘 맞습니다. Langfuse와 LangSmith 중 무엇을 고를지는 3가지 질문으로 좁힐 수 있습니다. 어떤 코드의 실행을 들여다봐야 하는지, 실패 사례를 어떻게 테스트로 남길지, 데이터 인프라는 누가 운영할지입니다.

LangSmith vs Langfuse 비교: 우리 팀에는 어느 쪽이 맞을까요?

기존 LangChain 또는 LangGraph 애플리케이션을 개선하는 일이 핵심이라면 LangSmith를 선택합니다. 여러 애플리케이션에 공통으로 쓸 관측 서비스가 필요하거나 Enterprise 소프트웨어 계약 없이 셀프 호스팅해야 한다면 Langfuse를 선택합니다. 둘 다 트레이싱, 평가, 데이터셋, 프롬프트 관리, 모니터링을 지원합니다. 차이는 팀이 어떤 작업 흐름을 표준으로 삼으려 하느냐에 있습니다.

트레이스는 애플리케이션의 한 번의 실행을 기록합니다. 그 안의 스팬은 검색, 모델 호출, 툴 호출처럼 실행을 구성하는 개별 작업을 기록합니다. 평가, 즉 eval은 동작이 정해진 기준에 부합하는지 판단하는 과정입니다. 데이터셋은 애플리케이션을 변경한 뒤에도 같은 검사를 반복할 수 있도록 사례를 저장합니다.

이 글의 권장 사항은 계측 방식과의 적합성, 실패를 테스트로 연결하는 흐름, 운영 책임을 기준으로 삼습니다. 문서에 명시된 기능을 바탕으로 내린 편집적 판단이며, 속도나 정확도를 측정해 매긴 순위는 아닙니다.

문서와 가격은 2026년 10월 14일 두 업체의 공식 웹페이지를 기준으로 확인했습니다. 가격은 USD 기준입니다. 직접 배포하거나 성능을 테스트한 결과를 주장하는 글은 아닙니다.

Langfuse와 LangSmith의 차이 한눈에 보기

핵심 기능은 양쪽 모두 갖추고 있습니다. 선택을 가르는 것은 연동 편의성, 검토 흐름, 호스팅 이용 조건입니다. 먼저 아래 표로 비교한 뒤, 이어지는 각 항목에서 후보를 제외해야 할 만큼 중요한 요구 사항을 확인합니다.

기능 근거: LangSmith 문서, Langfuse 트레이싱, 그리고 각 항목에 링크한 평가·프롬프트·호스팅 가이드입니다.

요금 계산의 단위는 서로 다릅니다. Langfuse는 트레이스, 관측 기록, 점수를 각각 유닛으로 계산합니다. 제공 유닛 수가 곧 애플리케이션 전체 실행 횟수를 뜻하지는 않습니다. LangSmith Plus의 기본 제공 트레이스는 함께 사용하는 총량이며, 좌석을 추가 구매할 때마다 그만큼 늘어나는 제공량이 아닙니다. 자체 트래픽의 비용을 추산할 때는 두 업체의 요금 페이지에서 전체 구간을 확인하고 Langfuse의 유닛 정의를 참고합니다.

먼저 필요한 작업 흐름과 배포 방식을 지원하는지 확인해야 합니다. 구독료가 저렴해도 필수 호스팅 조건을 충족하지 못하면 소용이 없으며, 더 비싼 요금제를 쓴다고 평가의 질이 저절로 높아지는 것도 아닙니다.

각 플랫폼은 어떤 역할을 하나요?

LangSmith: 디버깅과 평가를 연결하는 작업 공간

LangSmith는 에이전트 애플리케이션을 관측하고 개선하기 위한 LangChain의 독점 소프트웨어 플랫폼입니다. 관측 도구로 개별 실행과 프로덕션 지표를 살펴보고, 평가 도구로 기록된 실패를 반복 가능한 검사로 바꿀 수 있습니다. 엔지니어링 리드에게 유용한 지점은 두 작업이 이어진다는 데 있습니다. 잘못된 답변을 조사하던 개발자가 그 사례를 다음 릴리스의 검증에 활용하도록 남길 수 있습니다. LangChain은 FAQ에서 LangSmith가 독점 소프트웨어임을 명시합니다.

LangSmith는 엔지니어와 검토자가 이 작업 공간을 적극적으로 활용할 팀에 잘 맞습니다. 도입의 제약은 계약 조건과 운영에 있습니다. LangChain이 오픈소스라고 해서 LangSmith 서버도 오픈소스인 것은 아니며, 자체 환경에 배포하려면 Enterprise 셀프 호스팅 계약이 필요합니다. 오픈소스 백엔드가 구매의 필수 조건이라면 기본 후보로 삼기 어렵습니다.

Langfuse: 직접 운영할 수도 있는 공통 플랫폼

Langfuse는 트레이싱, 평가, 프롬프트 관리, 분석을 위한 오픈소스 LLM 엔지니어링 플랫폼입니다. 코어는 Langfuse Cloud 또는 자체 인프라에서 실행할 수 있습니다. 플랫폼 엔지니어가 서비스 전반에 일관된 기록을 확보하되, 애플리케이션 프레임워크에 관측 도구의 선택이 좌우되지 않기를 바란다면 우선 고려할 만합니다. 셀프 호스팅 요금 페이지에는 MIT 라이선스 코어와 별도 라이선스로 제공하는 Enterprise 기능이 나뉘어 있습니다.

Langfuse의 과제는 공통 계측이 실제로 의미 있는 데이터를 남기도록 설계하는 데 있습니다. 스팬을 수신하는 것만으로 사용자 식별자, 프롬프트 연결, 점수 정의, 릴리스 라벨이 일관되게 정리되지는 않습니다. 셀프 호스팅을 택하면 업그레이드, 스토리지, 안정성 관리도 팀의 몫이 됩니다. 인프라 담당자가 없는 팀이라면 오픈소스 직접 배포를 기본값으로 정하기 전에 호스팅 서비스를 검토하는 편이 좋습니다.

소유 구조에 관해서는 Langfuse가 직접 ClickHouse에 인수됐다고 밝혔습니다. 팀은 Langfuse 개발을 계속하며, 오픈소스와 셀프 호스팅에 대한 방침도 유지한다고 설명합니다. 기업의 소유 구조와 소프트웨어 라이선스가 부여하는 권리는 구분해서 살펴봐야 합니다. Langfuse 발표.

프레임워크 연동과 트레이싱은 어떻게 다를까요?

LangChain 중심 애플리케이션의 연동 편의성에서는 LangSmith가 앞섭니다. 공통 오픈소스 관측 서비스를 구축하려면 Langfuse를 우선 고려할 만합니다. 그렇다고 다른 쪽 제품이 해당 코드와 호환되지 않는다는 뜻은 아닙니다.

Langfuse와 LangChain은 무엇이 다른가요?

Langfuse는 애플리케이션을 관측합니다. LangChain은 모델, 툴, 데이터, 애플리케이션 로직을 연결해 애플리케이션을 만드는 데 쓰입니다. 둘은 함께 사용할 수 있습니다. LangSmith 대신 Langfuse를 선택한다고 해서 애플리케이션의 LangChain까지 교체할 필요는 없습니다.

프레임워크 선택과 트레이싱 도구 선택은 별개로 다룹니다. 애플리케이션에서 검색 계층의 비중도 크다면 LlamaIndex와 LangChain 비교를 참고할 수 있습니다. 관측 도구를 고르는 일이 불필요한 코드 재작성으로 이어지지 않으면서 검색 계층을 결정하는 데 도움이 됩니다.

Langfuse와 LangChain 연동하기

Langfuse 문서에 따르면 LangChain 연동은 콜백을 통해 모델 호출, 툴, 리트리버를 기록합니다. 콜백은 작업의 시작과 종료 시 프레임워크가 호출하는 훅입니다. 따라서 LangChain을 사용하는 팀은 애플리케이션의 제어 흐름을 다시 만들지 않고도 Langfuse를 도입할 수 있습니다. Langfuse 연동 가이드.

고객 지원 어시스턴트라면 최종 답변만 확인해서는 부족합니다. 잘못된 환불 답변으로 이어진 주문 조회 결과, 툴 인자, 툴 실행 결과까지 볼 수 있어야 합니다. 최상위 요청만 담긴 트레이스는 로깅이 작동한다는 사실만 보여 줍니다. 그 연동이 실패 원인을 디버깅하는 데 유용하다는 점까지 입증하지는 못합니다.

Langfuse CallbackHandler에서 확인할 사항

CallbackHandler는 LangChain 실행 이벤트를 기록하는 연동 구성 요소입니다. 파일럿에서는 제작사의 최신 지침에 따라 연결하고, 중첩 작업들이 의도한 실행에 속하는지 확인합니다. 배포할 런타임에서 백그라운드 데이터 내보내기가 끝까지 완료되는지도 살펴봐야 합니다. 특히 요청을 수명이 짧은 프로세스에서 처리할 때 중요합니다.

SDK 호환성을 확인하지 않은 채 오래된 연동 예제를 새 배포에 복사하지 않습니다. 현재 문서와 설치된 패키지가 맞아야 합니다. 구현의 목표는 연결 상태를 초록색으로 표시하는 데 있지 않습니다. 각 작업이 어느 실행에 속하는지 알 수 있는 완전한 실행 기록을 확보하는 데 있습니다.

Langfuse와 LangGraph는 무엇이 다른가요?

LangGraph는 상태를 유지하는 에이전트 워크플로를 조율하고, Langfuse는 그 실행을 관측하고 평가합니다. LangSmith도 LangGraph와 연동되며, LangChain 모듈이나 다른 SDK를 사용하는 애플리케이션을 지원합니다. LangChain 모듈을 쓰는 경우 가이드에서는 환경 설정으로 트레이싱을 활성화합니다. LangSmith의 LangGraph 가이드.

같은 개발자가 그래프 실행을 파악하고, 모델과 툴의 동작을 살펴본 뒤, 실패 사례를 평가로 연결해야 한다면 LangSmith부터 검토합니다. 프레임워크 자체의 차이는 LangChain과 LangGraph 비교에서 확인할 수 있습니다.

LangGraph 실행을 Langfuse로 트레이싱하기

Langfuse는 LangChain 연동을 통해 트레이스 메타데이터, 점수, 관리형 프롬프트를 추가하는 LangGraph 연동 방법을 문서화하고 있습니다. 따라서 그래프 기반 애플리케이션이라고 해서 LangSmith를 반드시 구매해야 하는 것은 아닙니다. Langfuse의 LangGraph 활용 가이드.

여러 프레임워크를 수용하는 플랫폼에서 OpenTelemetry는 실행 기록의 전송 방식을 표준화한다는 점에서 유용합니다. Langfuse의 Python 및 JavaScript/TypeScript SDK는 OpenTelemetry를 기반으로 하며, 다른 런타임도 OpenTelemetry를 통해 데이터를 내보낼 수 있습니다. LangSmith 역시 지원 연동 목록에 OpenTelemetry를 포함합니다. Langfuse OpenTelemetry 가이드, LangSmith 연동 목록.

전송 방식이 같다고 모든 필드를 그대로 바꿔 쓸 수 있는 것은 아닙니다. Langfuse 문서는 트레이스 속성을 관측 기록에 전파하는 방식을 설명합니다. 사용자 ID, 세션, 릴리스 메타데이터가 실제 조회할 작업에 어떻게 전달될지 설계해야 합니다. 어느 백엔드든 그대로 교체해 쓸 수 있다고 판단하기 전에 선택한 계측 방식으로 실제 애플리케이션 경로를 테스트합니다.

LLM 평가와 데이터셋: 검토 흐름의 연결성은 LangSmith가 강점입니다

프로덕션 실패 사례를 검토하고, 재사용할 데이터셋에 남기고, 릴리스 간 비교로 이어가는 일이 구매의 핵심이라면 LangSmith를 우선 권장합니다. 작업 흐름을 기준으로 한 권장 사항이며, Langfuse에 평가 기능이 없다는 뜻은 아닙니다.

둘 다 저장된 사례로 변경안을 검증하는 오프라인 평가와 프로덕션 동작에 점수를 매기는 온라인 평가를 지원합니다. LangSmith 문서에는 사람의 검토, 코드 규칙, 모델 기반 평가자, 쌍대 비교가 나옵니다. Langfuse 문서에는 데이터셋, 실험, 사람의 주석 작업, 코드 기반 평가자, 모델 기반 평가자, 외부에서 제공하는 점수가 설명돼 있습니다. LangSmith 평가, Langfuse 평가.

환불 어시스턴트에 유용한 데이터셋에는 고객 요청, 관련 주문 맥락, 정책상 기대하는 처리 결과가 들어갑니다. 코드 검사는 필수 필드의 존재 여부를 확인할 수 있습니다. 사람은 조치가 정책을 따르는지 판단할 수 있습니다. 모델 기반 평가자는 근거 없는 주장을 걸러낼 수 있지만, 그 점수도 사람의 판단과 대조해야 합니다.

이 구분은 비용이 큰 실수를 막아 줍니다. 답변이 유창한지만 측정하다가 잘못된 조치를 놓치는 실수입니다. 답변 품질과 툴 동작에 각각 별도의 기준을 정의합니다. 모델이 잘못된 이유로 그럴듯한 답변을 내놓는 까다로운 사례는 보존합니다.

LangSmith의 자동화 규칙은 트레이스를 데이터셋이나 주석 작업 대기열로 보내고 웹훅을 실행할 수 있습니다. 이 연결이 문서에 명시돼 있다는 점이 통합된 검토 흐름에 LangSmith를 권장하는 이유입니다. 다만 구현 시 중요한 제약이 있습니다. 개별 규칙은 서로 독립적으로 폴링합니다. 웹훅에 담길 것으로 기대한 점수를 평가자가 생성하기 전에 웹훅이 실행될 수 있습니다. 이 선후 관계는 후속 처리 단계의 필터로 보장해야 합니다. LangSmith 자동화 규칙.

평가 실행기를 이미 직접 운영하면서 데이터셋, 실험 결과, 검토 점수를 모을 공통 공간이 필요하다면 Langfuse가 좋은 선택입니다. 문서에서는 지속적 통합 환경의 실험도 지원하며, 품질 검사가 실패하면 변경 반영을 막을 수 있습니다. 결정적인 질문은 검토자가 어디에서 작업을 마칠 것인가입니다. 제품 안에서 연결된 흐름을 따를지, 아니면 엔지니어가 이미 유지하는 평가 프로세스를 중심으로 작업할지에 따라 선택이 달라집니다.

프롬프트 관리: 릴리스 흐름을 기준으로 선택합니다

여러 애플리케이션이 공유하는 프롬프트 서비스에는 Langfuse를 권장합니다. 프롬프트의 운영 반영을 실험과 같은 검토 공간에서 처리하려면 LangSmith를 권장합니다. 두 제품 모두 단순한 텍스트 편집기를 훨씬 넘어서는 기능을 제공합니다.

Langfuse는 프롬프트를 중앙에서 저장하고 버전을 관리하며 애플리케이션에 제공합니다. SDK는 프롬프트를 캐싱합니다. 문서에서는 버전 라벨과 트레이스 연결을 배포 관리 및 성능 분석에 활용하는 방법을 설명합니다. 도메인 전문가가 여러 서비스에서 쓰는 공통 지침을 관리하는 조직에 적합합니다. Langfuse 프롬프트 관리.

LangSmith는 프롬프트 커밋, Playground, 명시적으로 구분된 Staging 및 Production 환경을 제공합니다. 관리 가이드에는 운영 반영, 롤백 이력, 프롬프트 소유자의 제어 권한이 설명돼 있습니다. 지침을 편집하는 사람에게 프로덕션 반영 권한까지 자동으로 주어서는 안 되는 상황에 유용합니다. LangSmith 프롬프트 관리.

어떤 환불에 승인이 필요한지를 바꾸는 정책 프롬프트를 생각해 볼 수 있습니다. 문구를 고치는 것은 쉽습니다. 중요한 것은 프로덕션이 의도한 버전을 가져왔는지, 그 버전이 평가를 통과했는지, 이전 버전으로 복구할 수 있는지입니다. 애플리케이션 코드가 그대로여도 프롬프트 변경만으로 제품의 동작이 달라질 수 있습니다.

인수 테스트에는 트레이스에서 버전을 식별하는 과정과 의도적인 롤백을 포함합니다. 프롬프트를 가져오지 못하거나 캐시된 버전을 계속 사용할 때 애플리케이션이 어떻게 동작하는지도 확인합니다. 이는 애플리케이션 측에서 검증할 책임입니다. 어느 업체든 모든 배포 패턴을 보장한다고 가정해서는 안 됩니다.

대시보드가 있다는 이유만으로 안정적으로 쓰고 있는 프롬프트를 버전 관리되는 코드 밖으로 옮기지 않습니다. 중앙 관리는 편집자에게 유용한 작업 흐름을 제공하고 엔지니어가 릴리스 반영을 통제할 수 있게 해 줄 때 도입할 가치가 있습니다.

모니터링: 장애 분류와 검토는 LangSmith, 공통 분석은 Langfuse

알림을 시작점으로 검토 절차를 진행해야 한다면 LangSmith가 유리합니다. 여러 서비스에 일관된 운영 대시보드가 필요하다면 Langfuse를 우선 고려할 만합니다. 두 제품 모두 모니터링과 알림을 문서화하고 있으므로, 알림 기능의 유무만으로 구매를 결정해서는 안 됩니다.

LangSmith는 프로덕션 지표를 트레이스 조사, 온라인 평가, 자동화와 연결합니다. Langfuse는 품질, 비용, 지연 시간, 처리량을 위한 대시보드와 지표 API, 임계값 기반 알림을 제공합니다. LangSmith 관측 기능, Langfuse 지표.

엔지니어링 리드에게 유용한 모니터링은 실패 유형을 구분해 줍니다. 검색이 느릴 때와 허가되지 않은 툴 동작이 발생했을 때는 대응이 달라야 합니다. 토큰 사용량이 늘었을 때와 품질 점수가 떨어졌을 때도 조사할 대상이 다릅니다. 각 신호의 담당자와 알림 발생 시 살펴볼 기록 사례를 미리 정합니다.

공통 대시보드에는 공통 정의가 필요합니다. 서비스마다 success라는 점수에 다른 의미를 부여하면, 통합 차트가 정상으로 보여도 실제로는 서로 비교할 수 없는 결과가 섞여 있을 수 있습니다. 팀 간 비교에 앞서 점수 기준, 사용자 및 세션 식별자, 릴리스 라벨을 정의합니다.

LangSmith 자동화는 과금에도 영향을 줄 수 있습니다. 보존 기간 연장 동작을 활성화하면 조건에 맞는 트레이스가 상위 등급으로 전환될 수 있습니다. 검토 흐름을 설계할 때 이 설정도 함께 확인합니다. 가치 있는 실패 기록을 저장하지 말라는 의미가 아니라, 자동화를 의도에 맞게 설정해야 한다는 의미입니다. 자동화의 보존 기간 처리 방식.

오픈소스와 셀프 호스팅: 도입 조건은 Langfuse가 유리합니다

독점 플랫폼 라이선스를 협상하지 않고 셀프 호스팅할 수 있어야 한다면 Langfuse를 선택합니다. LangSmith의 작업 흐름을 자체 인프라에서 쓰고 싶고 상용 계약을 수용할 수 있다면 LangSmith Enterprise를 선택합니다. 양쪽 모두 셀프 호스팅 경로가 있지만, 여기서 설명하는 오픈소스 코어를 제공하는 쪽은 Langfuse입니다.

Langfuse의 셀프 호스팅 요금 페이지에는 핵심 트레이싱, 평가, 프롬프트 관리, 데이터셋이 MIT 라이선스로 포함돼 있습니다. 조직의 ID 제공자를 사용하는 기업용 통합 인증(SSO)과 역할에 따라 권한을 부여하는 역할 기반 접근 제어(RBAC)도 오픈소스 제공 항목에 들어갑니다. 프로젝트 수준 RBAC, 감사 로그, 데이터 보존 정책 등 더 세부적인 제어 기능은 Enterprise 항목에 있습니다. 구매 검토에서 “RBAC 지원”만으로 모든 요구를 충족한다고 판단하지 말고, 필요한 제어 기능을 구체적으로 확인합니다. Langfuse 셀프 호스팅 요금제.

LangSmith의 자체 셀프 호스팅 페이지는 이를 Enterprise의 추가 옵션으로 설명하고, 체험용 라이선스 키는 영업팀에 문의하도록 안내합니다. 기본 설치에는 관측, 평가, 프롬프트 엔지니어링이 포함되며, 에이전트 배포는 선택 사항입니다. 따라서 에이전트 실행까지 옮겨야 한다고 전제하지 않고도 이러한 작업을 위한 자체 환경의 LangSmith를 검토할 수 있습니다. LangSmith 셀프 호스팅.

완전한 셀프 호스팅과 하이브리드 배포도 구분해야 합니다. LangChain 요금 페이지는 하이브리드를 SaaS 제어 영역과 자체 호스팅 데이터 영역의 조합으로 설명합니다. 완전한 셀프 호스팅은 자체 환경에서 직접 관리하는 방식입니다. 요구 사항이 애플리케이션 데이터뿐 아니라 관리 서비스까지 포함한다면, 그 정확한 경계를 기준으로 아키텍처를 검토해야 합니다.

직접 운영하면 어떤 일이 추가되나요?

Langfuse를 셀프 호스팅하려면 Web 및 Worker 컨테이너와 함께 PostgreSQL, ClickHouse, Redis 또는 Valkey, 오브젝트 스토리지를 운영해야 합니다. 공식 가이드는 Docker Compose를 로컬 사용과 테스트용으로 안내합니다. 이 구성만으로 프로덕션 가용성, 확장성, 백업이 제공되지는 않습니다. Langfuse 배포 아키텍처.

실제 예산에는 스토리지 증가, 업그레이드, 백업, 복구와 데이터 수집이 밀릴 때 대응할 사람까지 포함해야 합니다. LangSmith를 자체 환경에 배포해도 운영해야 할 애플리케이션과 스토리지 서비스가 있습니다. 상용 라이선스를 구매한다고 자체 관리 설치의 운영 책임이 사라지는 것은 아닙니다.

접근이 제한된 환경이라면 평가자와 Playground가 모델에 연결되는 경로도 파악합니다. 관측 데이터베이스를 비공개로 유지한다는 사실만으로 평가 입력이 어디로 전송되는지까지 알 수는 없습니다. Langfuse는 선택적으로 모델 API나 게이트웨이에 연결할 수 있음을 명시합니다. 배포 설계에 이 연결도 포함해야 합니다.

소액의 클라우드 구독료를 아끼기 위해서만 셀프 호스팅하지 않습니다. 통제권, 내부 확인 가능성, 배포 경계를 확보하는 가치가 시스템 운영 부담을 감수할 만큼 클 때 선택합니다. 프로덕션의 의존 요소가 되기 전에 담당자부터 정해야 합니다.

LangSmith에서 Langfuse로, 또는 반대로 전환하려면

전환에서 비용이 많이 드는 부분은 트레이스의 목적지를 바꾸는 일이 아니라 팀의 작업 흐름과 근거 자료를 보존하는 일입니다. 계측 변경은 마이그레이션의 한 갈래일 뿐입니다.

데이터셋 입력, 기대 결과, 점수 정의부터 옮깁니다. 이어서 프롬프트 버전과 릴리스 참조, 평가자 설정, 검토자 접근 권한, 대시보드를 재구성합니다. 과거 트레이스 중 무엇을 계속 검색할 수 있어야 하는지, 무엇을 남은 보존 기간 동안 기존 시스템에 두어도 되는지 명시적으로 정합니다. 기록을 내보내면 원래의 인터페이스, 관계, 링크까지 재현된다고 가정하지 않습니다.

양쪽 대상 시스템이 전송된 기록을 이해한다면 OpenTelemetry는 계측 방식에 종속된 작업을 줄여 줄 수 있습니다. 하지만 프롬프트 식별자, 주석 작업 대기열, 데이터셋 참조, 사람의 검토 절차를 자동으로 옮겨 주지는 않습니다. 각각을 애플리케이션과 작업 흐름의 의존 요소로 보고, 별도의 인수 검사를 마련합니다.

통제된 마이그레이션은 다음 순서로 진행할 수 있습니다.

1. 1

   현재 의존하는 동작을 목록으로 정리합니다

   트레이스 필드, 프롬프트 참조, 데이터셋, 평가 기준표, 검토자 대기열, 알림, 내보내기를 나열합니다. 각각에 담당자와 인수 조건을 지정합니다. 필드 이름뿐 아니라 데이터가 담고 있는 의미를 보존해야 합니다.

2. 2

   대표적인 애플리케이션 실행 경로를 비교합니다

   성공과 실패 실행이 모두 포함된 소규모 트래픽 표본이나 스테이징 워크로드를 사용합니다. 새 시스템에서 부모·자식 관계, 툴 인자, 프롬프트 버전, 사용자·세션 연결을 확인합니다. 일시적으로 양쪽 시스템에 전송한다면 중복 스토리지와 데이터 내보내기 작업도 고려해야 합니다.

3. 3

   검토와 릴리스 절차를 옮깁니다

   데이터셋과 평가자 작업 흐름을 재구성합니다. 실제 담당할 검토자가 동일한 사례를 평가하게 하고 점수의 의미가 일치하는지 확인합니다. 프롬프트 운영 반영, 롤백, 알림에서 조사로 이어지는 경로를 직접 실행해 봅니다.

4. 4

   기존 시스템에 대한 의존을 계획적으로 종료합니다

   필요한 작업 흐름이 제대로 동작한 뒤에만 전환합니다. 합의한 기간 동안 과거 기록에 대한 접근을 유지하고, 더 이상 쓰지 않는 자격 증명과 데이터 내보내기 구성 요소를 제거합니다. 엔지니어가 어디를 확인해야 하는지 알 수 있도록 장애 대응 지침도 갱신합니다.

현재의 평가·검토 흐름이 잘 작동하며 전환해도 동일한 트레이스를 보는 장소만 달라진다면 LangSmith를 유지합니다. 공통 스키마와 평가 프로세스가 이미 조직의 요구를 충족한다면 Langfuse를 유지합니다. 다만 지금 사용자가 효율적으로 끝내지 못하는 특정 작업을 LangSmith가 해결해 준다면 전환을 검토할 수 있습니다. 전환에는 마이그레이션 부담을 감수할 만큼의 작업 흐름 개선 효과나 배포 요구 사항이 있어야 합니다.

자주 묻는 질문

LangSmith와 LangGraph는 무엇이 다른가요?

LangGraph는 상태를 유지하는 에이전트를 조율하는 프레임워크입니다. LangSmith는 이 글에서 트레이싱, 평가, 데이터셋, 프롬프트 작업, 모니터링에 사용하는 별도의 플랫폼입니다. LangGraph로 개발한다고 해서 관측 백엔드로 LangSmith를 선택해야 하는 것은 아닙니다. Langfuse도 LangGraph 연동 방법을 문서화하고 있습니다.

LangSmith는 유료인가요?

LangSmith에는 무료 Developer 요금제와 유료 Plus 및 Enterprise 요금제가 있습니다. 시작 금액과 기본 제공 트레이스 수는 위 비교 표에 정리했습니다. 좌석 수와 사용량은 따로 고려해야 하며, 셀프 호스팅은 Enterprise 계약에 속합니다. 현재 견적은 링크된 요금 페이지에서 확인합니다.

Langfuse는 무료로 사용할 수 있나요?

네. Langfuse는 사용량에 제한이 있는 무료 클라우드 Hobby 요금제와 MIT 라이선스의 무료 셀프 호스팅 코어를 제공합니다. 다만 코어를 직접 실행하려면 인프라와 운영이 필요합니다. 유료 클라우드와 셀프 호스팅 Enterprise는 충족하는 요구 사항이 다르므로, 필요한 기능을 해당 요금제 표에서 확인해야 합니다.

Langfuse 대신 쓸 만한 도구는 무엇인가요?

이 글에서 비교한 직접적인 대안은 LangSmith입니다. 트레이싱에서 평가로 이어지는 작업 흐름이 전환의 이유라면 우선 고려할 만합니다. 요구 사항이 오픈소스 백엔드라면, 독점 소프트웨어인 LangSmith의 Enterprise 셀프 호스팅은 같은 조건을 충족하지 못합니다.

LangSmith와 Langfuse의 핵심 차이는 무엇인가요?

가장 큰 차이는 독점 소프트웨어와 오픈소스라는 플랫폼의 성격, 셀프 호스팅 이용 조건, 좌석과 유닛을 기준으로 하는 클라우드 과금 모델, 검토자가 평가 흐름을 활용하는 방식입니다. 둘 다 트레이싱, 온라인·오프라인 평가, 데이터셋, 프롬프트 관리, 모니터링, OpenTelemetry 연동을 제공합니다. 기능의 유무만으로 어느 쪽이 더 나은지 결정할 수는 없습니다.

LangSmith도 셀프 호스팅할 수 있나요?

네. LangChain은 LangSmith 셀프 호스팅을 Enterprise의 추가 옵션으로 설명하며, 영업팀을 통해 체험용 라이선스를 제공합니다. 기본 자체 설치에는 관측, 평가, 프롬프트 엔지니어링이 포함됩니다. 오픈소스인 LangChain 또는 LangGraph 라이브러리를 자유롭게 실행하는 것과는 별개입니다.

LangSmith를 대체할 무료 도구가 있나요?

이 글에서 비교한 기능을 기준으로 보면, Langfuse의 제한된 무료 클라우드 요금제나 오픈소스 셀프 호스팅 코어가 무료 대안입니다. 실제로 필요한 조건을 비교해야 합니다. 클라우드 기본 제공량, 직접 운영하는 자체 배포, Enterprise 지원 계약은 서로 다른 도입 선택지입니다.

셀프 호스팅에는 어떤 소프트웨어가 가장 좋나요?

이 글에서 다룬 LLM 트레이싱과 평가 용도에서는 오픈소스 이용이 필수일 때 Langfuse를 우선 고려할 만합니다. LangSmith의 검토 흐름이 이미 팀 업무의 중심이라면 LangSmith Enterprise가 더 적합할 수 있습니다. 어느 쪽도 모든 소프트웨어 분야와 모든 운영 팀에 가장 좋은 선택은 아닙니다.

LangGraph 비용은 얼마인가요?

LangChain은 LangGraph 라이브러리가 MIT 라이선스로 무료 제공된다고 명시합니다. 모델 호출, 인프라, 선택적으로 사용하는 상용 플랫폼 서비스의 비용은 별도입니다. LangSmith 구독료나 트레이싱 요금을 LangGraph 라이브러리의 라이선스 비용으로 해석해서는 안 됩니다. LangChain FAQ.

다음 단계: 실제 실패 사례로 선택을 검증합니다

호스팅 제약 안에서 엔지니어와 검토자가 실패 분석부터 릴리스까지 작업을 마칠 수 있는 플랫폼을 선택합니다. 다음 주에는 대표적인 애플리케이션 실패 사례를 골라 원인이 된 작업을 찾고, 기대 결과를 보존하고, 수정안을 평가한 뒤, 프로덕션에 반영되는 프롬프트 버전까지 확인해 봅니다.

이 과정을 마친 뒤에도 해결하지 못한 일을 적어 봅니다. LangSmith라면 상용 계약과 자체 호스팅 조건을 확인합니다. Langfuse라면 계측 스키마와 운영 담당자를 확인합니다. 남아 있는 책임을 살펴보면 기능 체크리스트보다 더 많은 것을 알 수 있습니다.

AI 비즈니스 워크플로 감사 체크리스트 받기를 통해 프로덕션 도구를 확대하기 전에 작업 흐름, 담당자, 릴리스 통제 방식을 확인합니다.