编程AI

EvalCore

AI 行为的离线快照测试

价格以官网为准编辑评分 未评分
访问官网 ↗

产品与联系信息

使用平台
网页版
语言支持
未注明
资料更新
2026-11-05
evalcore.cc
EvalCore 产品截图查看大图 ↗
EvalCore 产品截图图片来源 ↗产品页面预览

核心能力

8 项
  • 面向 LLM 应用和智能体的单一二进制测试运行器
  • 基于 YAML 的评测定义和评分器
  • 录制并回放模型调用,实现离线、确定性的 CI 运行
展开全部 8 项
  • 面向 LLM 应用和智能体的单一二进制测试运行器
  • 基于 YAML 的评测定义和评分器
  • 录制并回放模型调用,实现离线、确定性的 CI 运行
  • 支持兼容 OpenAI、REST、shell 和基于 Trace 的目标
  • 基线检查和回归门禁
  • 模型对比、试跑和报告
  • 本地 SQLite 回放记录存储
  • 支持 OpenTelemetry 和 OpenInference Trace

典型使用场景

4 项
  • 在每个 Pull Request 上运行 AI 回归测试
  • 在 CI 中离线回放已录制的 LLM 输出,无需 API 密钥
  • 在发布前对比两个模型版本,尤其是在修改提示词或依赖之后
展开全部 4 项
  • 在每个 Pull Request 上运行 AI 回归测试
  • 在 CI 中离线回放已录制的 LLM 输出,无需 API 密钥
  • 在发布前对比两个模型版本,尤其是在修改提示词或依赖之后
  • 对智能体行为做快照测试,并依据通过率对发布进行门禁控制

快速上手

1 项
  • 快速上手

    安装 EvalCore 二进制文件,创建一个 evals.yaml 文件和一个 JSONL 数据集,然后把它指向兼容 OpenAI 的接口、REST 服务或 shell 目标。先对线上系统运行一次以录制回放记录,再在 CI 中结合基线、试跑和评分器回放整套测试。

查看完整说明
  • 快速上手

    安装 EvalCore 二进制文件,创建一个 evals.yaml 文件和一个 JSONL 数据集,然后把它指向兼容 OpenAI 的接口、REST 服务或 shell 目标。先对线上系统运行一次以录制回放记录,再在 CI 中结合基线、试跑和评分器回放整套测试。

工具详细介绍进一步了解 EvalCore 的产品定位与使用说明展开阅读收起介绍

EvalCore 是一个面向 LLM 应用和智能体的单一二进制测试运行器。它允许你用 YAML 定义测试用例和评分器,录制真实运行行为,并在 CI 中离线回放,从而捕获回归。

适合人群

  • LLM 工程师
  • AI 工程师
  • 机器学习工程师
  • QA 工程师
  • DevOps 工程师
  • 平台工程师
  • 应用研究员
  • SRE

产品优势

  • 确定性的离线回放让 CI 更快,而且零成本
  • 通过 REST 或 shell 目标,任何语言都能接入
  • 无需 SDK 或自定义测试框架
  • 支持基线、对比和 Trace 录制
  • 开源,作为单一二进制即可运行,无额外依赖

使用注意

  • 需要先进行一次线上运行来录制回放数据
  • 更适合做回归测试,不太适合交互式探索
  • YAML 和数据集的配置前期需要花些时间
  • 如果底层行为变化很大,录制结果可能会过时
产品表现洞察

EvalCore 数据分析

官网访问趋势、地区分布与流量渠道

更新于 2026-11-05

最新流量情况

月访问量 (2026-09)
暂无数据
平均访问时长
00:00:00
每次访问页数
0.00
跳出率
0.00%

访问量采用最近明确月份的曲线值;其余指标按概览区间展示。

2026-04 - 2026-09 全部流量

访客国家与地区

0 个地区

来源未标注统计范围

暂无公开地区数据

流量来源渠道

0 个渠道

来源未标注统计范围

暂无公开渠道数据

热门搜索关键词

公开搜索表现

暂无公开关键词数据

常见问题

5 个问题
什么是 EvalCore?

EvalCore 是一个面向 LLM 应用和智能体的开源测试运行器,可以录制行为并在 CI 中回放。

EvalCore 是怎么避免 AI 测试不稳定的?

它会把模型调用或裁判调用记录到本地 SQLite 回放库里,并在离线环境用完全相同的请求回放,得到一致结果。

EvalCore 支持哪些类型的目标?

它支持兼容 OpenAI 的模型、REST API、shell 命令,以及 OTel 或 OpenInference Trace。

CI 里需要 API 密钥吗?

不需要。回放模式可以离线运行,因此不需要网络访问或 API 密钥。

EvalCore 可以比较模型并强制执行门禁吗?

可以。它支持模型对比、基线、通过率门禁和回归检查。

评论与评分

总评分
请选择

正在载入评论…

真实会员评论,审核通过后公开展示。回复不重复计入评分。

探索更多相关工具

更多同类工具

AI提示词

PromptBase

★ 4.1

可买卖高质量提示词模板的提示词市场。

提示词交易市场了解详情 →
模型AI

Hugging Face

★ 4.5

模型、数据集和应用社区最丰富的平台之一。

模型与社区平台了解详情 →
编程AI

Cursor

★ 4.5

强调上下文感知、代码生成和 Agent 化体验的 AI IDE。

AI IDE了解详情 →
编程AI

GitHub Copilot

★ 4.6

主流 AI 编程助手,适合代码补全、生成和仓库级开发协作。

主流编程助手了解详情 →
音频AI

ElevenLabs

★ 4.6

知名 AI 语音生成平台,支持多语言配音与声音克隆。

高质量语音生成了解详情 →

安全验证

请完成验证后继续操作。