오픈소스 LLM 관측 및 평가
INFRO vs Langfuse
Langfuse는 LLM 애플리케이션을 트레이싱, 평가, 개선하는 오픈소스 플랫폼입니다. 모델 호출, 도구, 검색에 걸친 중첩 트레이스, 버전과 라벨이 있는 프롬프트 관리, LLM-as-a-judge와 사람 평가, 데이터셋과 실험, 품질, 비용, 지연 시간 대시보드를 제공합니다. 엔터프라이즈 폴더 밖은 MIT 라이선스이고 Docker, Kubernetes, Terraform으로 자체 호스팅할 수 있으며, 2026년 1월부터 ClickHouse의 일부이고 로드맵은 바뀌지 않았습니다. 애플리케이션이 한 일을 기록하지만 요청 경로에는 없으므로 라우팅, 페일오버, 요청 거부는 하지 않습니다.
Langfuse 쪽이 더 나은 선택인 경우
- 관측과 평가가 전부인 경우입니다. 라우팅과 공급자 접근은 이미 해결되어 있고, 요청을 거부하는 예산을 요구하는 사람이 없으며, 요청 경로의 게이트웨이는 필요 없는 범위일 것입니다.
- 프롬프트 관리가 필요한 경우입니다. Langfuse는 프롬프트의 버전을 관리하고, 라벨로 배포하고, 비용, 지연 시간, 점수로 버전을 비교합니다. INFRO에는 프롬프트 관리가 없고 일정도 없습니다.
- 모델 호출뿐 아니라 에이전트를 트레이스하는 경우입니다. Langfuse는 도구 호출, 검색 단계, 모델 호출에 걸친 스팬 트리를 기록합니다. INFRO는 게이트웨이 요청당 레코드 하나를 기록하며, 스팬 트리는 자체 수집기에서 조립해야 합니다.
- 평가가 늘 머물게 될 제품 영역인 경우입니다. 데이터셋, 실험, 주석 대기열, 사용자 지정 점수가 해당합니다. INFRO의 평가 모니터는 처리된 채팅 응답의 일부를 루브릭으로 채점하는 것으로, 훨씬 좁은 기능입니다.
- 오픈소스 소프트웨어를 자체 호스팅하거나 비용 없이 시작하고 싶은 경우입니다. Langfuse에는 무료 Hobby 등급이 있고 직접 운영하면 무료입니다. INFRO의 요금제는 유료이며 14일 체험이 있고, 엔터프라이즈 계약이 있을 때만 자체 인프라에서 실행됩니다.
- 트레이스를 오늘 특정 리전에 보관해야 하는 경우입니다. Langfuse Cloud는 미국, EU, 일본 리전을 제공합니다. INFRO의 리전별 처리는 로드맵에 있습니다.
이 섹션은 예의상 넣은 것이 아닙니다. 이 중 하나에 해당한다면 Langfuse 쪽을 선택하세요. 저희 조언으로 맞지 않는 계층을 도입한 고객은 처음부터 고객이 아니었던 경우보다 저희에게 더 나쁩니다.
두 제품이 실제로 갈라지는 지점.
- 요청 옆에서인가, 요청 안에서인가
- Langfuse는 애플리케이션이 SDK, OpenTelemetry, 또는 LiteLLM 같은 게이트웨이를 통해 보내는 것을 받아 호출이 끝난 뒤 기록합니다. INFRO는 애플리케이션이 호출하는 엔드포인트입니다. 공급자 연결을 고르고, 자체 계정 사이에서 재시도와 페일오버를 하며, 요청을 처리하면서 기록합니다. 전자는 무슨 일이 있었는지를 알려 주고, 후자는 무슨 일이 일어날지도 결정합니다. 예산, 허용 목록, 페일오버 규칙이 작동할 수 있는 곳은 거기뿐입니다.
- 알림은 한도가 아닙니다
- Langfuse는 지출이 임계값을 넘으면 알려 줄 수 있습니다. INFRO는 공급자를 호출하기 전에 요청의 예상 비용을 조직, 프로젝트, 멤버, 키의 예산과 대조하고, 초과하게 되면 예산을 명시한 오류로 요청을 거부합니다. 예상치 못한 청구서가 관리하려는 위험이라면, 그 차이가 곧 핵심 질문입니다.
- 비용 수치의 출처
- Langfuse는 편집할 수 있는 모델 정의로 수집 시점에 비용을 계산하거나, 보낸 비용을 그대로 저장합니다. INFRO는 모든 요청을 벤더의 정가로, Team 요금제부터는 계약에 실제로 명시된 요율로 추정하고, 요율이 없으면 추측하지 않고 가격 미정이라고 표시하며, Business 요금제에서는 그 달의 추정치를 OpenAI와 Anthropic의 비용 API와 대조하고 편차를 명시합니다.
- 함께 운영할 수 있습니다
- 많은 팀이 Langfuse의 평가 및 프롬프트 도구와 요청 경로의 컨트롤 플레인을 함께 원할 것입니다. INFRO는 요청 경로의 OpenTelemetry 스팬을 지정한 수집기로 전송하며(Team 요금제부터), Langfuse는 OpenTelemetry를 받습니다. 이 조합에 대한 검증된 방법은 아직 공개하지 않았으므로, 문서화된 통합이 아니라 출발점으로 봐 주세요.
나란히 비교.
저희 열에도 대시가 있습니다. 한쪽이 모두 체크인 비교는 아무도 믿지 않으며, 그럴 만합니다.
| 기능 | Langfuse | INFRO |
|---|---|---|
| 요청 경로에 위치 | 아니요전송된 트레이스를 기록 | 예OpenAI 호환 엔드포인트 |
| 라우팅, 재시도, 페일오버 | 아니요BYOK 게이트웨이는 로드맵에 있음 | 예자체 공급자 계정 전반에서 |
| 요청을 거부하는 예산 | 아니요지출 알림으로 통지 | 예조직, 프로젝트, 멤버, 키 |
| 모델 및 공급자 허용 목록 | 아니요 | 예 |
| 요청별 예상 비용 | 예모델 정의에서 추론하거나 수집 | 예Team부터 협상 요율 기준 |
| 공급자 자체 청구서와의 대조 | 아니요 | 부분OpenAI와 Anthropic, Business 요금제, 편차 명시 |
| 중첩된 에이전트 트레이스 | 예도구, 검색, 모델에 걸친 스팬 | 부분요청당 레코드 하나, OpenTelemetry 내보내기 |
| 프롬프트 관리 | 예버전, 라벨, 플레이그라운드 | 아니요제공하지 않음 |
| 평가 및 데이터셋 | 예LLM-as-a-judge, 주석, 실험 | 부분처리된 채팅 응답에 대한 평가 모니터 |
| 자체 호스팅 | 예ee/ 밖은 MIT 라이선스 | 부분엔터프라이즈 계약 |
| 무료 시작 | 예Hobby 등급 또는 자체 호스팅 | 아니요유료 요금제, 14일 체험 |
각 제품의 공개 문서를 2026년 10월 기준으로 저희가 읽은 내용입니다. 경쟁사의 가격은 인용하지 않습니다. 가격은 바뀌고, 다른 회사 사업에 대한 틀린 숫자는 없는 것보다 나쁘기 때문입니다. 틀린 행이 있다고 생각되면 알려 주세요. 고치겠습니다.
그 차이의 가치를 계산해 보세요
현재 모델 구성이 공급자 정가로 얼마나 드는지와 필요한 요금제를 추정하거나, 실제 사용량을 저희에게 보내 도움이 되는 곳과 그렇지 않은 곳을 확인하세요.