EvalCore 是一个面向 LLM 应用和智能体的单一二进制测试运行器。它允许你用 YAML 定义测试用例和评分器,录制真实运行行为,并在 CI 中离线回放,从而捕获回归。
适合人群
- LLM 工程师
- AI 工程师
- 机器学习工程师
- QA 工程师
- DevOps 工程师
- 平台工程师
- 应用研究员
- SRE
产品优势
- 确定性的离线回放让 CI 更快,而且零成本
- 通过 REST 或 shell 目标,任何语言都能接入
- 无需 SDK 或自定义测试框架
- 支持基线、对比和 Trace 录制
- 开源,作为单一二进制即可运行,无额外依赖
使用注意
- 需要先进行一次线上运行来录制回放数据
- 更适合做回归测试,不太适合交互式探索
- YAML 和数据集的配置前期需要花些时间
- 如果底层行为变化很大,录制结果可能会过时






