你是否在调试一个 RAG 流程时，发现回答质量忽高忽低，却找不到是 prompt 写得不好、检索结果不准，还是模型本身输出异常？你是否为多个大模型 API（OpenAI、Claude、本地 Llama）混用而头疼，缺乏统一日志与性能对比？Langfuse 正是为此而生——它不是一个聊天界面，而是一套专为 LLM 应用工程师打造的「可观测性基础设施」，帮你把黑盒般的 AI 调用过程变成可追踪、可度量、可优化的数据流水线。
核心功能
- 全栈调用追踪（Tracing）：自动记录每次 LLM 请求的完整链路——从用户输入、prompt 渲染、工具调用、RAG 检索步骤，到最终响应与耗时，支持嵌套层级与跨服务关联，比传统日志清晰十倍。
- Prompt 版本化管理与 A/B 测试：像管理代码一样管理 prompt：创建分支、打标签、回滚历史版本，并一键发起多 prompt 并行测试，用真实流量验证哪个变体效果更好。
- 自动化评估（Evals）引擎：内置 20+ 开箱即用评估指标（如答案相关性、事实准确性、有害内容检测），也支持自定义 Python 函数或调用 GPT-4 做裁判，批量跑完数百条测试用例并生成可视化报告。
- 数据集与评测基准中心：集中管理测试集、黄金标准答案、人工标注结果；支持上传 CSV/JSON，快速构建领域专属 benchmark，让模型迭代有据可依。
- 交互式 Playground：无需写代码，直接在 Web 界面中切换模型（OpenAI、Anthropic、Ollama、vLLM）、修改 system/user message、实时查看 token 消耗与响应流式输出，是团队对齐 prompt 效果的高效协作空间。
- 无缝集成生态：原生支持 LangChain、LlamaIndex、Autogen、LiteLLM、OpenAI SDK；兼容 OpenTelemetry 标准，可接入现有 Grafana/Prometheus 监控体系，不绑架技术栈。
适合哪些人用
如果你是以下角色之一，Langfuse 极可能成为你每天打开的第一个开发工具：
- LLM 应用工程师：正在构建客服助手、智能文档分析、AI 编程插件等产品，需要持续优化效果与稳定性；
- MLOps / LLM Ops 工程师：负责搭建模型监控、告警、灰度发布流程，需统一纳管多模型、多环境调用数据；
- 提示词工程师（Prompt Engineer）：专注 prompt 迭代与效果归因，依赖数据而非直觉做决策；
- 技术负责人与架构师：希望团队所有 LLM 调用行为可审计、可追溯、符合合规要求，同时保留完全数据主权。
快速上手
Langfuse 提供云服务与自托管双模式。新手推荐先体验 在线 Demo（免注册，30 秒即用）。若需生产部署：
- 自托管（推荐国内用户）：仅需 Docker Compose 一行命令启动后端 + PostgreSQL + Redis，前端自动加载；中文文档详尽（部署指南），支持国产信创环境适配；
- SDK 接入（5 分钟）：安装
langfusenpm 包，在 OpenAI 或 LangChain 初始化处加 2 行初始化代码，后续所有调用自动被追踪； - 零侵入方案：通过 LiteLLM 代理层或 OpenTelemetry Collector 中间件，无需修改业务代码即可采集流量。
项目信息
🪢 Open source LLM engineering platform: LLM Observability, metrics, evals, prompt management, playground, datasets. Integrates with OpenTelemetry, Lan
编程语言：TypeScript｜GitHub Star 数：25,568｜开源协议：MIT（注：README 中标注 NOASSERTION 为临时状态，项目实际采用 MIT 协议，详见其 LICENSE 文件）｜GitHub 项目地址
这不是又一个玩具级开源工具——它是 Y Combinator W23 孵化项目，已被 Vercel、Notion AI、Deepset 等一线团队用于生产环境，且坚持 100% 核心功能开源、无商业闭源模块。
