AI智能体评测资源宝典：一份经过严格验证的高质量评估指南

你是否曾为评估一个AI智能体（Agent）的效果而发愁？论文太多读不完，工具链接早已失效， benchmarks标准五花八门、难以复现？awesome-evals 就是为此而生——它不是一份简单的链接集合，而是一份由一线研究者与工程实践者共同打磨、逐条验证、深度注解的AI智能体评测“权威地图”。它帮你快速定位真正有价值的论文、可落地的工具、经实战检验的评估方法，彻底告别信息噪音和无效收藏。

核心功能

• 学术与工业双轨精选：不仅爬取11,600+篇AI Agent相关论文并按引用强度排序，还主动挖掘Eugene Yan、Hamel Husain等顶尖从业者的博客、演讲与实操经验，兼顾理论深度与工程温度
• 每一条都“有据可查”：拒绝“链接即正义”，每个条目均注明“是什么、为什么重要”，URL全部人工点击验证，已废弃/无人维护项目直接剔除，不给用户挖坑
• 深度阅读笔记支持：提供146+条原创精读笔记（含原文摘录、关键洞见、适用场景提示），覆盖LLM-as-Judge、pass@k指标设计、轨迹级评分等核心难点
• 开箱即用的评估模式手册：配套 PATTERNS.md 提供真实可运行的代码示例——从人类对齐的裁判模型搭建，到CI流水线中的自动评估门禁，全部附带完整上下文与调试技巧
• 动态更新与风险标注：新增内容标有 🆕（2025–2026年发布），存疑方案标注 ⚠️（如数据泄露风险、领域偏移警告），帮助你在第一时间识别前沿与陷阱
• 结构化分类导航：按“评估范式→基准测试→工具链→教学资源→伦理治理”分层组织，支持快速定位——无论是想选benchmark跑实验，还是给团队做内部培训，都能3秒找到入口

适合哪些人用

这份资源库专为认真做AI Agent的中国人打造：正在设计自主决策系统的算法工程师、需要向客户交付可验证效果的产品负责人、带学生攻坚Agent方向的高校教师、以及刚入门但不想被二手信息带偏的开发者。如果你厌倦了在知乎/掘金上拼凑碎片信息，渴望一份经得起推敲、拿过来就能用的评估知识图谱——这里就是你的起点。

快速上手

无需安装！该项目是纯文档型资源库，打开即用：
1️⃣ 访问 GitHub主页 → 浏览左侧目录或直接搜索关键词（如“Trajectory Grading”或“ToolBench”）；
2️⃣ 重点推荐先读 PATTERNS.md —— 它像一本微型实战手册，含Python代码片段、输入输出样例及常见报错解决方案；
3️⃣ 想系统学习？按 notes/ 目录下的深度笔记顺序阅读，每篇平均仅需8–12分钟，却能省去数小时文献筛选时间。

项目信息

编程语言：不限（纯文档与资源索引）｜ Star 数：375｜开源协议：未声明（NOASSERTION）｜GitHub 项目地址

它不承诺“一键解决所有问题”，但承诺“绝不浪费你一分钟时间”——这是目前中文圈最扎实、最清醒、也最敢删掉过时链接的AI智能体评估指南。