Generated by Answer me with HTML 0.5.10 · 2026-11-03 21:12 · ★ Star on GitHub
第二章:题目如何变成可执行任务
认识五大业务实体、身份映射、调度树与跨服务边界
五大实体分别代表什么
| 实体 | 一行数据表达什么 | 主要关联 |
|---|---|---|
| Project | 一次抓取项目及公共配置 | 归属、来源、限流、环境、题目 |
| ProjectEnv | 一套项目环境配置 | 模型、应用、场景与产物策略 |
| Task | 一份待执行输入 | 可以包含多轮 Prompt、图片和附件 |
| Scene | 一个 Task 在一个 Env 下执行 | 保存环境坐标、调度绑定和样本引用 |
| Artifact | 一个 Scene 下的一类材料 | 消息、trace、文件、截图或汇总对象 |
图中只列入门所需字段。Scene 用项目内的环境坐标关联配置。
ProjectEnv 是配置模板。Scene 才是具体执行实例。
源码:eval-crawl-admin/models/biz/scene.go:5;eval-crawl-admin/models/biz/artifact.go:9。
两道题和三个环境会展开成什么
以下是普通双阶段场景的示意数据。
- Env A配置模板
- Env B配置模板
- Env C配置模板
- Scene 1ATask 1 × Env A
- stage1 Item模型采样
- stage2 Item产物处理
- Scene 1BTask 1 × Env B
- stage1 Item模型采样
- stage2 Item产物处理
- Scene 1CTask 1 × Env C
- stage1 Item模型采样
- stage2 Item产物处理
- Scene 2ATask 2 × Env A
- stage1 Item模型采样
- stage2 Item产物处理
- Scene 2BTask 2 × Env B
- stage1 Item模型采样
- stage2 Item产物处理
- Scene 2CTask 2 × Env C
- stage1 Item模型采样
- stage2 Item产物处理
| 对象 | 数量 | 计算依据 |
|---|---|---|
| Project | 1 | 一次项目创建 |
| Env | 3 | 三套环境配置 |
| Task | 2 | 两份输入 |
| Scene | 6 | 2 Task × 3 Env |
| Scheduler Item | 12 | 普通场景每个 Scene 两阶段 |
| Artifact | 不固定 | 随场景、策略和执行结果变化 |
一个 stage2 Item 可以处理多类 Artifact。
多条 Artifact 的 schedule_item_id 可以相同。
不能把 Artifact 行数当作调度任务数。
产物行还可能随执行写入。项目创建时不要求全部存在。
源码:eval-crawl-admin/service/repository/task_schedule_dispatch.go:489;eval-crawl-admin/service/repository/task_schedule_dispatch.go:643。
页面 ID、Biz ID 和调度 ID 怎样对应
平台同时保留兼容壳与 Biz 数据。
| 标识 | 含义 | 查什么时使用 |
|---|---|---|
eid / evaluate_id |
页面项目 ID | 找项目壳及 Biz 指针 |
tid / task_id |
页面题目 ID | 找题目壳及 Biz 指针 |
biz_project_id / biz_task_id |
Biz 业务主键 | 查业务配置与题目事实 |
biz_project_env_id |
环境配置行 ID | 区分环境配置 |
env_idx |
项目内环境坐标 | 对齐环境、Scene 和展示结果 |
biz_scene_id |
Task × Env 实例 ID | 查具体环境的执行与产物 |
schedule_*_id |
调度节点 ID | 查 Scheduler 状态 |
TechItemID |
真实阶段 Item ID | 定位 stage1 或 stage2 |
ExecutorKey |
一次调度执行身份 | 与 ItemID 一起校验上报 |
Biz Log ID |
平台执行检索标识 | 关联运行日志 |
inner_log_id |
模型请求日志标识 | 回捞模型下游 trace |
当前新建数据通常让壳与 Biz 使用同一 ID。
历史数据必须读取壳上的 Biz 指针。
20_000_000_000 阈值已经废弃。
同值只是当前创建行为。映射关系仍是读取依据。
源码:eval-crawl-admin/service/repository/project.go:415;eval-crawl-admin/models/biz/config_types.go:33。
Scheduler 把哪些节点交给 Crawl
Scheduler 管理 Project、Task、Scene、Item 调度树。
Admin 下发业务身份与阶段定义。Crawl 根据场景执行动作。
| 层级 | 主要职责 | 与 Biz 的关系 |
|---|---|---|
| Scheduler Project | 调度项目根节点 | 绑定 biz_project |
| Scheduler Task | 一份输入的调度节点 | 绑定 biz_task |
| Scheduler Scene | 一个环境下的执行节点 | 绑定 biz_scene |
| Scheduler Item | 一个执行阶段 | stage1 或 stage2 |
普通场景的阶段契约如下。
| 场景 | 调度阶段 | 理解方式 |
|---|---|---|
| 普通模型采样 | stage1 + stage2 | 先采样,再处理产物 |
session_replay |
仅 stage2 | 从历史会话准备样本 |
web_compete / app_compete |
仅 stage1 | 使用该场景的产物回调链路 |
两阶段是普通主线。场景 recipe 决定具体模块。
本机没有 Scheduler 完整服务实现。
内部队列算法、退避和精确重试预算需另查调度侧。
源码:eval-crawl-admin/service/repository/task_schedule_dispatch.go:444;eval-crawl-admin/service/repository/task_schedule_dispatch.go:489;eval-crawl-crawl/handler.go:649。
E accepted 和阶段完成差在哪里
Crawl RPC 接收工作后,worker 在后台执行。
真正结果由 worker 主动上报 Scheduler。
| 时点 | 已经能说明什么 | 还不能说明什么 |
|---|---|---|
| 前端两个 HTTP 成功 | 请求已受理 | 全部 Task 已落库 |
| Crawl RPC accepted | 后台执行已接受 | 模型或产物已完成 |
| stage1 成功上报 | 采样阶段按契约完成 | 全部产物处理完成 |
| stage2 成功上报 | 产物计划按策略完成 | 所有异步截图文件均已就绪 |
| 异步产物终态 | 对应消费者完成 | 自动评估和人评完成 |
SubmitItemRes 使用 ItemID + ExecutorKey。
这里不是用页面 TaskID 随意上报。
Admin 不负责收到每轮模型回调后再逐题推进 stage2。
源码:eval-crawl-crawl/service/harness_execution/handler.go:124;eval-crawl-crawl/service/harness_execution/handler.go:185;eval-crawl-crawl/service/harness_execution/scheduler_client_external.go:58。
数据库成功与调度成功怎样分开
本地数据库事务只能保护本地数据。
Scheduler RPC、TOS 与业务数据库没有共同事务。
| 创建阶段 | 事务内动作 | 事务外动作 | 失败后要关注什么 |
|---|---|---|---|
| Project | 创建壳、Biz Project、Env,回写指针 | 创建 Scheduler Project 并绑定 ID | 绑定重试与未绑定数据清理 |
| Task | 创建壳、Biz Task、多个 Scene | 下发调度树并绑定 ID | 已落库但未绑定的数据 |
| stage1 交接 | 回写 Scene 的样本引用与状态 | 先写 TOS,再上报阶段结果 | 对象、引用、上报是否齐全 |
| stage2 完成 | 保存 Artifact 状态及引用 | 下游采集、TOS、Scheduler 上报 | 单产物与阶段结果是否一致 |
项目绑定耗尽重试后会返回错误。
当前实现会尝试清理仍未绑定的项目数据。
Task 下发失败可以留下未绑定行,供补偿处理。
biz_project.total_task 统计持久化的 Biz Task。
它不要求 schedule_task_id 已经绑定成功。
看到总题数增加后,还要检查调度绑定与 Item 状态。
同样,HTTP 返回的 task_count 首先是受理输入数量。
源码:eval-crawl-admin/service/repository/project.go:415;eval-crawl-admin/service/bizcreate/pipeline.go:868;eval-crawl-admin/service/bizcreate/legacy_compatibility.go:103;eval-crawl-admin/service/repository/task.go:3071。
哪些路径才使用 TaskDelivery 与 BMQ
普通 Pipeline.CreateBizTasks 使用兼容批量分发。
这里的“兼容”仍可创建 Biz Task 和 Scene。
可选协议从显式条件入口进入。
| 条件分支 | 受理时的特点 | 后续推进 |
|---|---|---|
| 协议关闭 | 按兼容创建路径推进 | 持久化后下发 |
| inline | durable 事务先落库 | 调用投递 core |
| BMQ | Task 可能尚未创建 | 消费者物化数据,再下发 |
| 定时未到点 | 可先保存任务 | 到点后再下发 |
Delivery 的状态描述投递和绑定。
prepared / published / bound 不表示模型成功。
命令使用稳定身份、输入哈希和版本约束处理重复。
这不代表用户重复新建整个项目会自动全局去重。
源码:eval-crawl-admin/service/bizcreate/pipeline.go:298;eval-crawl-admin/service/bizcreate/pipeline.go:1127;eval-crawl-admin/service/taskdeliveryapp/provider.go:262;eval-crawl-admin/service/taskdelivery/core.go:665。
第一次查任务,先建立哪条身份链
先选一个项目、一份输入、一个环境。
沿身份链核对事实,再看完整批次。
| 需要回答的问题 | 最先检查的字段或关系 |
|---|---|
| 页面身份是否映射正确 | 壳上的 biz_project_id / biz_task_id |
| 输入是否已经物化 | Biz Task 与 prompt_detail_json |
| 是否展开到正确环境 | ProjectEnv、Scene 的 env_idx |
| 是否已经进入调度 | schedule_project/task/scene_id |
| 具体哪一阶段在执行 | TechItemID、stage 与 ExecutorKey |
| stage1 是否交接样本 | extra.harness.sample_result_ref |
| 哪类材料失败 | Artifact 的状态、错误和 result_key |
不要用“项目已创建”替代这七个事实。
下一章从 CreateExecution 继续跟进真实模型采样。
源码:eval-crawl-crawl/service/harness_execution/biz_context_resolver.go:56;eval-crawl-crawl/dal/biz_db/scene_execution.go:229。