Generated by Answer me with HTML 0.5.10 · 2026-11-04 16:39 · ★ Star on GitHub
评测抓取链路 · 从提交到展示
用同一个例子,分五章读懂配置、调度、采样和产物转存。
一次抓取,把输入放进多个环境执行,再把回答与产物整理成可评测的材料。两个创建接口只是起点,后面还有异步执行与结果交接。
先按什么顺序学
| 章节 | 读完能回答的问题 | 入口 |
|---|---|---|
| 01 页面与提交 | 两个接口分别创建什么?为什么要串行? | 进入第一章 |
| 02 数据与调度 | Task、Env、Scene、Item、Artifact 如何对应? | 进入第二章 |
| 03 模型采样 | 模型回答如何变成后续可用的稳定样本? | 进入第三章 |
| 04 产物转存 | JSON、实际文件、索引和异步截图如何保存? | 进入第四章 |
| 05 展示与排障 | 页面如何读结果?有回答为什么仍会失败? | 进入第五章 |
| 专题:历史 Prompt | 来源配置和真实历史数据分别从哪里来? | 查看来源拆解 |
| 专题:Ekko 新字段 | 接收、保存、模型请求与展示会自动透传吗? | 查看字段接入 |
| 专题:查看原始返回 | 前端同学如何查后端日志,区分会话与消息明细接口? | 查看操作步骤 |
第一遍顺序阅读。第二遍按问题直接进入对应章节。
把整条链路拆成十步
- 01填写表单配置项目、环境、输入来源。
- 02创建项目add_evaluate_project 保存项目与环境。
- 03创建题目create_tasks 接受输入并异步创建。
- 04展开执行实例Task × Env 形成 Scene,再建立调度 Item。
- 05模型采样stage1 发送请求,确认完整消息。
- 06保存交接样本SampleResult 写 TOS,引用写入 Scene。
- 07生成产物计划stage2 根据配置和场景能力执行各条 line。
- 08保存同步产物消息、trace、文件索引分别处理。
- 09交付异步产物截图与落地页由各自消费者继续执行。
- 10汇总与展示汇总引用、上报、对账,再由页面读取。
普通场景使用 stage1、stage2。回放与部分竞品场景有独立分支。
每个系统负责哪一段
| 系统 | 核心职责 | 不应混淆的边界 |
|---|---|---|
| 前端 | 参数组装、提交、查询、渲染 | 创建提示不证明后台完成 |
| Admin | 业务数据、权限、调度绑定、读取适配 | 不在创建 HTTP 内等待模型回答 |
| Scheduler | 派发阶段、接收执行结果 | 内部队列与退避实现未在本机完整提供 |
| Crawl | 模型调用、消息确认、导出与采集 | RPC accepted 只是接受执行 |
| MySQL | 配置、状态、错误、内容引用 | 通常不保存大文件正文 |
| TOS | 样本、产物 JSON、文件 | 对象存在不证明 DB 引用已回写 |
图中省略状态查询与异步截图回填。它们在第五章展开。
用一个例子贯穿五章
以下是教学示例,不对应线上真实任务。
| 输入 | 内容 |
|---|---|
| Task 1 | 介绍一下杭州 |
| Task 2 | 制作一份杭州旅行 PPT |
| 环境 | Env A、Env B、Env C,三套独立配置 |
Project:杭州评测
Env A / Env B / Env C:环境模板
Task 1:介绍杭州
- Scene 1A:Task 1 × Env A
- Scene 1B:Task 1 × Env B
- Scene 1C:Task 1 × Env C
Task 2:制作旅行 PPT
- Scene 2A:Task 2 × Env A
- Scene 2B:Task 2 × Env B
- Scene 2C:Task 2 × Env C
本例共有 2 个 Task、3 个 Env、6 个 Scene。 普通双阶段场景共形成 12 个 Scheduler Item。 Artifact 数量由场景和产物策略决定。
四种完成分别意味着什么
| 时点 | 能确认什么 | 后面还可能在做什么 |
|---|---|---|
| 创建 HTTP 成功 | 请求已受理 | 解析来源、创建题目、绑定调度 |
| stage1 成功 | 采样与交接样本已按流程完成 | trace、文件索引、截图交付 |
| stage2 成功 | 产物计划满足本次完成条件 | 适用的异步产物实际执行 |
| 异步产物完成 | 对应文件或抓页结果已回填 | 业务状态对账、展示刷新 |
有回答,仍然可能抓取失败
文字回答是其中一种结果。消息确认、文件导出、trace 回捞、样本交接都各有失败边界。
内容到底放在哪里
| 层次 | 保存内容 | 典型定位字段 |
|---|---|---|
| 数据库 | 身份、配置、状态、错误、引用 | biz_scene、biz_artifact |
| JSON 对象 | SampleResult、产物索引、legacy_bundle | sample_result_ref、result_key |
| 实际文件 | PPTX、PDF、XLSX、ZIP、图片 | JSON 内的文件引用 |
转存既可能保存 JSON,也可能下载原始文件或调用导出。 采样快照、产物索引、实际文件各有用途。
此前 trace 故障位于哪里
如何阅读与核对
- 使用左侧目录跳到本章问题。
- 使用每章末尾的链接进入下一章。
- 使用页面主题按钮切换阅读外观。
- 整个文件夹可离线阅读;无需登录或连接后端。
- 源码入口按仓库相对路径记录,便于在各自工作区查找。
本文依据三个本地仓库:eval-fe-search-chat、eval-crawl-admin、eval-crawl-crawl。
线上部署版本与配置需要另行核对。
自动评估和人评在抓取产物之后,有独立状态。