你是否想过，一个能自动下单、比价、退换货、联系客服的AI助手，真的能在真实的淘宝、京东、拼多多上稳定工作吗？RealReplicaBench 就是为回答这个问题而生的——它不是模拟器，也不是简化版网页，而是基于真实电商平台（如淘宝国际站）构建的高保真、有状态、可精确复现的服务副本，专用于系统性评测AI智能体在复杂、长周期、多步骤真实商业流程中的真实能力。
传统AI评测常依赖静态数据集或简化环境，难以反映智能体在真实线上服务中面对动态页面、会话状态、网络延迟、风控拦截等现实挑战的表现。RealReplicaBench 填补了这一关键空白，让大模型智能体不再“纸上谈兵”，而是真正经得起电商、金融、政务等高要求线上场景的实战检验。
核心功能
- 107个真实电商任务全覆盖：涵盖商品搜索→比价→下单→支付→物流跟踪→售后申请→客服协商→退货退款等完整链路，每个任务均源自真实用户行为日志，支持长至20+步的连续交互。
- 高保真状态化副本：通过精准复刻真实网站的前端逻辑、后端API响应模式与状态管理机制（如登录态、购物车、订单生命周期），确保每次运行结果可验证、可对比。
- 开箱即用的OpenClaw评测框架集成：原生兼容业界主流智能体评测引擎OpenClaw，支持一键启动任务、自动记录操作轨迹、生成结构化评估报告（成功率、步骤耗时、错误类型分布等）。
- 严格的可复现性契约（Reproducibility Contract）：所有测试环境、数据快照、依赖版本、网络配置均固化发布，确保不同团队、不同时期的评测结果具备横向可比性。
- 双模运行支持：Mock模式 + Real-Proxy模式：开发调试阶段可用轻量Mock服务快速迭代；正式评测时切换至代理真实站点（经授权合规接入），实现从实验室到生产环境的平滑过渡。
- 开源参考基线与实时排行榜：官方提供Accio与OpenClaw智能体的基准结果，并持续更新在线公开 leaderboard，推动社区公平、透明的技术演进。
适合哪些人用
本项目面向AI智能体研发者、大模型应用工程师、自动化测试专家及高校研究团队：如果你正在开发电商导购Agent、客服对话机器人、跨平台事务自动化工具，或致力于提升LLM在真实Web环境中长期推理与决策能力，RealReplicaBench 将是你不可或缺的“压力测试仪”和“能力标尺”。它尤其适合需要向业务方证明AI落地效果、参与行业评测竞赛、或发表高水平AI系统论文的研究者。
快速上手
只需三步即可本地运行：
- 安装Python 3.11+ 环境；
- 执行
pip install realreplicabench（或克隆仓库后运行make install）； - 运行示例任务：
rrb run --task search-and-buy --agent openclaw-v1，即可启动一个完整的“搜索iPhone并下单”全流程评测。
首次使用推荐访问Mock演示站直观体验交互流程，详细文档与任务清单见项目README。
项目信息
RealReplicaBench: Benchmarking Long-Horizon Agents in High-Fidelity, Stateful, and Reproducible Replicas of Real Online Services
编程语言：HTML（前端仿真层） + Python（主控与评测逻辑）｜ Star 数：1034｜ 开源协议：Apache-2.0｜ GitHub 项目地址
这是目前中文技术圈最接近“真实战场”的AI智能体评测基础设施——不玩概念，只考真活；不靠截图，只认轨迹；不止于单步准确率，更重长程鲁棒性。
