Generated by Answer me with HTML 0.5.10 · 2026-11-04 16:39 · ★ Star on GitHub

评测抓取链路 · 从提交到展示

用同一个例子,分五章读懂配置、调度、采样和产物转存。

核对日期2026-11-03适用范围当前检出源码 · 普通 Biz 新建主线

一次抓取,把输入放进多个环境执行,再把回答与产物整理成可评测的材料。两个创建接口只是起点,后面还有异步执行与结果交接。

开始第一章:页面与提交 · 完整源码指南

A

先按什么顺序学

章节 读完能回答的问题 入口
01 页面与提交 两个接口分别创建什么?为什么要串行? 进入第一章
02 数据与调度 Task、Env、Scene、Item、Artifact 如何对应? 进入第二章
03 模型采样 模型回答如何变成后续可用的稳定样本? 进入第三章
04 产物转存 JSON、实际文件、索引和异步截图如何保存? 进入第四章
05 展示与排障 页面如何读结果?有回答为什么仍会失败? 进入第五章
专题:历史 Prompt 来源配置和真实历史数据分别从哪里来? 查看来源拆解
专题:Ekko 新字段 接收、保存、模型请求与展示会自动透传吗? 查看字段接入
专题:查看原始返回 前端同学如何查后端日志,区分会话与消息明细接口? 查看操作步骤

第一遍顺序阅读。第二遍按问题直接进入对应章节。

B

把整条链路拆成十步

  1. 01填写表单配置项目、环境、输入来源。
  2. 02创建项目add_evaluate_project 保存项目与环境。
  3. 03创建题目create_tasks 接受输入并异步创建。
  4. 04展开执行实例Task × Env 形成 Scene,再建立调度 Item。
  5. 05模型采样stage1 发送请求,确认完整消息。
  6. 06保存交接样本SampleResult 写 TOS,引用写入 Scene。
  7. 07生成产物计划stage2 根据配置和场景能力执行各条 line。
  8. 08保存同步产物消息、trace、文件索引分别处理。
  9. 09交付异步产物截图与落地页由各自消费者继续执行。
  10. 10汇总与展示汇总引用、上报、对账,再由页面读取。

普通场景使用 stage1、stage2。回放与部分竞品场景有独立分支。

C

每个系统负责哪一段

前端AdminSchedulerCrawl创建项目与环境1CreateProject2调度项目 ID3evaluate_id4创建题目5创建 Task、Scene、Item6stage1 采样7SubmitItemRes8stage2 产物处理9SubmitItemRes10
系统 核心职责 不应混淆的边界
前端 参数组装、提交、查询、渲染 创建提示不证明后台完成
Admin 业务数据、权限、调度绑定、读取适配 不在创建 HTTP 内等待模型回答
Scheduler 派发阶段、接收执行结果 内部队列与退避实现未在本机完整提供
Crawl 模型调用、消息确认、导出与采集 RPC accepted 只是接受执行
MySQL 配置、状态、错误、内容引用 通常不保存大文件正文
TOS 样本、产物 JSON、文件 对象存在不证明 DB 引用已回写

图中省略状态查询与异步截图回填。它们在第五章展开。

D

用一个例子贯穿五章

以下是教学示例,不对应线上真实任务。

输入 内容
Task 1 介绍一下杭州
Task 2 制作一份杭州旅行 PPT
环境 Env A、Env B、Env C,三套独立配置
Project:杭州评测
Env A / Env B / Env C:环境模板
Task 1:介绍杭州
  • Scene 1A:Task 1 × Env A
  • Scene 1B:Task 1 × Env B
  • Scene 1C:Task 1 × Env C
Task 2:制作旅行 PPT
  • Scene 2A:Task 2 × Env A
  • Scene 2B:Task 2 × Env B
  • Scene 2C:Task 2 × Env C

本例共有 2 个 Task、3 个 Env、6 个 Scene。 普通双阶段场景共形成 12 个 Scheduler Item。 Artifact 数量由场景和产物策略决定。

E

四种完成分别意味着什么

时点 能确认什么 后面还可能在做什么
创建 HTTP 成功 请求已受理 解析来源、创建题目、绑定调度
stage1 成功 采样与交接样本已按流程完成 trace、文件索引、截图交付
stage2 成功 产物计划满足本次完成条件 适用的异步产物实际执行
异步产物完成 对应文件或抓页结果已回填 业务状态对账、展示刷新
有回答,仍然可能抓取失败

文字回答是其中一种结果。消息确认、文件导出、trace 回捞、样本交接都各有失败边界。

F

内容到底放在哪里

result_key文件引用预览引用sample_result_ref稳定交接MySQL 元数据产物索引 JSON实际 PPTX 文件实际 PDF 文件Scene 元数据SampleResult JSON每轮消息与资源快照
层次 保存内容 典型定位字段
数据库 身份、配置、状态、错误、引用 biz_scene、biz_artifact
JSON 对象 SampleResult、产物索引、legacy_bundle sample_result_ref、result_key
实际文件 PPTX、PDF、XLSX、ZIP、图片 JSON 内的文件引用

转存既可能保存 JSON,也可能下载原始文件或调用导出。 采样快照、产物索引、实际文件各有用途。

G

此前 trace 故障位于哪里

该次日志仍继续回捞stage1 已取得回答已保存样本stage2 的 trace line普通 trace 空 spansMoA 强依赖失败本线报错MCP IO 未继续部分结果仍可汇总
历史故障回放

这是此前 2026-11-02 执行的排障信息,不表示当前线上状态。 cached 接口来自调用实现。日期相差三天不证明缓存 TTL 为三天。

完整定位过程见第五章。

H

如何阅读与核对

  • 使用左侧目录跳到本章问题。
  • 使用每章末尾的链接进入下一章。
  • 使用页面主题按钮切换阅读外观。
  • 整个文件夹可离线阅读;无需登录或连接后端。
  • 源码入口按仓库相对路径记录,便于在各自工作区查找。

本文依据三个本地仓库:eval-fe-search-chat、eval-crawl-admin、eval-crawl-crawl。 线上部署版本与配置需要另行核对。 自动评估和人评在抓取产物之后,有独立状态。

开始第一章:页面与提交 · 完整源码指南