Generated by Answer me with HTML 0.5.10 · 2026-11-03 21:12 · ★ Star on GitHub
第三章 · 模型采样与样本交接
stage1 怎样执行每轮输入,又怎样留下可供产物处理的稳定样本?
总览 · 上一章:数据模型与调度 · 下一章:产物与转存
stage1 执行模型输入,并保存后续产物处理需要的证据。它的交接物是 SampleResult,而不是一个回复字符串。
A stage1 从哪里开始,到哪里结束?
Scheduler 派发采样 Item,调用 Crawl 的 CreateExecution。Crawl 校验请求后,提交后台 worker。
| 时点 | 已经证明什么 | 还没证明什么 |
|---|---|---|
| RPC 返回 accepted | 后台执行被接受 | 模型已回复、样本已保存 |
| 模型返回内容 | 请求产生了部分或完整输出 | 消息已确认、文件已冻结 |
| SampleResult 写入 TOS | 样本对象已保存 | Scene 引用已回写 |
| stage1 成功上报 | 正常采样交接已完成 | trace、截图等产物已完成 |
普通模型场景通常接着执行 stage2。Session 回放、部分竞品场景有专用阶段结构。
证据:eval-crawl-crawl/service/harness_execution/handler.go:124;eval-crawl-crawl/service/harness_execution/sampling_engine.go:218。
B claim、上下文、心跳和限流各解决什么问题?
这四件事发生在相邻位置,但职责不同。
| 机制 | 新人可以怎样理解 | 排查时看什么 |
|---|---|---|
| claim | 领取这一次执行,避免多个实例重复做 | 执行身份、当前持有者、重复领取结果 |
| BizContextResolver | 从业务表还原本次运行上下文 | Project、Env、Task、Scene 的归属和内容 |
| heartbeat | 执行期间持续报活 | 租约、心跳异常、worker 是否仍在运行 |
| 限流 | 等待可用资源或请求配额 | 等待层级、资源键、owner 与环境配置 |
业务主键帮助定位数据。业务表里的配置才是运行依据。
BizContextResolver 读取项目、环境、输入和场景。它解析 biz_task.prompt_detail_json,并校验关联关系。
当前运行参数主要来自 env_config。豆包通常解析 doubao 命名空间,Dola 解析 dola。
- Biz Scene业务执行实例
- Scheduler Item 与 ExecutorKey调度节点与本次执行
- PromptDetail结构化输入与多轮内容
- Project 与 Envowner、应用、AB、运行参数
- admissionworker 入口准入
- environment entry环境资源
- prompt gate逐轮请求资源
- artifact limiter产物下游资源
- device pool异步截图设备资源
等待 admission、轮间限流和截图设备,是不同问题。 先找当前模块及资源键,再判断是否需要调整限流。
证据:eval-crawl-crawl/service/harness_execution/biz_context_resolver.go:56;eval-crawl-crawl/service/harness_execution/project_env_config_resolver.go:50;eval-crawl-crawl/service/harness_execution/idempotency_guard.go:36;eval-crawl-crawl/service/harness_execution/heartbeat.go:23。
C recipe 怎样把一份输入变成多轮执行?
recipe 是场景的模块清单。模块按清单顺序装配,场景决定具体动作。
普通豆包场景的逐轮循环可这样阅读:
| 顺序 | 模块或动作 | 作用 |
|---|---|---|
| 1 | prompt_gate |
等待本轮资源 |
| 2 | send_sse |
提交本轮输入 |
| 3 | confirm_reply |
确认本轮回复完整且可读取 |
| 4 | 场景后处理 | 按场景处理授权、MA finalize 或等待 |
| 5 | Office 快照 | 在适用场景冻结本轮文件版本 |
| 6 | 下一轮 | 使用更新后的会话和消息坐标 |
query_round 是复合模块。它负责循环执行内部模块。
不同 recipe 还可能有 mock、precheck、onboarding 和 First-Re 候选处理。不能把某个 Web recipe 当成所有场景的固定流程。
采样模块的 Required() 决定模块错误是否中断采样。它与产物配置的 required_artifacts 是两套机制。
引擎级 RetryAttempts 为 0。具体模块和网络客户端仍可做有限重试。整个 Item 的重试由调度层决定。
证据:eval-crawl-crawl/ai_harness/scenes/doubao_web/recipe.yaml:59;eval-crawl-crawl/ai_harness/scenes/doubao_app/recipe.yaml:52;eval-crawl-crawl/service/harness_execution/sampling_engine.go:1563。
为什么 send_sse 结束后还要 confirm_reply?
SSE 是请求和流式输出通道。消息列表是后续消费会话内容的来源。
两个通道的完成时点可以不同。
| 模块 | 输入或输出重点 |
|---|---|
send_sse |
Prompt、conversation、section、cursor、round index、评测参数 |
| SSE 证据 | 消息 ID、SSE Log ID、首字延迟、接管或 clarify 信号 |
confirm_reply |
持续读取消息,确认当前轮回复结束 |
| 确认后更新 | 完整会话消息、section、下一轮消息游标 |
confirm_reply 还检查 has_err、安全策略和接管状态。下游已返回内容时,确认步骤仍可能失败。
轮询次数和间隔受场景与配置影响。不要把某个默认值当成所有任务的耗时上限。
证据:eval-crawl-crawl/ai_harness/modules/sampling/doubao/common/send_sse/module.go:68;eval-crawl-crawl/ai_harness/modules/sampling/doubao/common/confirm_reply/module.go:112;eval-crawl-crawl/service/harness_runtime_wire/message_list_backend.go:43。
为什么 PPT 等文件要在采样期间冻结?
多轮会话可能连续修改同一资源。最后再取文件,会丢失中间版本或遇到临时链接变化。
适用场景会在回复确认后执行 round_artifact_snapshot。
冻结快照保留以下信息:
| 信息 | 后续用途 |
|---|---|
| resource ID、version | 确认本轮对应的资源版本 |
| round、message、block 坐标 | 追溯资源来自哪条回复 |
| 原始地址与资源类型 | 记录来源及渲染方式 |
| 文件引用、预览引用 | stage2 聚合索引与页面读取 |
| 导出状态和错误 | 解释缺文件、缺预览或导出失败 |
本轮文件导出失败时,可能出现 WEB_EXPORT_FAILED。 模型输出已存在,不代表样本证据已完整保存。
stage2 的 Office 模块通常整理这些冻结快照。它不是必然在 stage2 才首次下载文件。
查对象路径时要沿实际参数追踪。Office exporter 当前使用的 BizItemID 可取 TechItemID,不能直接当作 SceneID。
证据:eval-crawl-crawl/ai_harness/modules/sampling/doubao/web/round_artifact_snapshot/module.go:38;eval-crawl-crawl/service/harness_miniapp_runtime/web_artifact_collector.go:74;eval-crawl-crawl/service/harness_miniapp_runtime/types.go:278。
SampleResult 里究竟有什么?
SampleResult 是采样证据包。stage2 用它还原产物处理所需的输入。
- 执行身份conversation、业务 item、完成时间
- Rounds
- 本轮输入与消息身份
- SSE 标识与运行证据
- 完整消息快照
- OfficeArtifactSnapshots本轮文件及版本引用
- SessionMeta采样时应用、UID、AB、环境与截图参数
- 场景材料回放附件、离线 trace、旧 debug 信息
- First-Re 候选适用场景的候选引用
- SourceFailure部分失败时保留原始采样错误
消息 Ext 中的 inner_log_id 尤其重要。trace 回捞通常从这里取得模型请求坐标。
| 常见误解 | 实际含义 |
|---|---|
| SampleResult 就是最终回答 | 它还保存轮次、身份、参数和文件证据 |
| stage2 总能从当前环境重建一切 | 部分参数与文件版本需要采样时冻结 |
| 每个 ref 都是独立对象 | ref#message_list 可表示同一对象的子视图 |
| 所有场景字段都齐全 | 场景决定适用材料,回放还有专用字段 |
证据:eval-crawl-crawl/service/harness_miniapp_runtime/types.go:406;eval-crawl-crawl/ai_harness/modules/sampling/doubao/common/save_round_result/module.go:45。
为什么交接顺序必须是 TOS、数据库引用、再上报?
stage2 需要先找到样本对象。只上传 JSON,没有回写引用,交接仍可能失败。
稳定 key 常见形状如下。这里是结构示意,查询时应读取实际 ref。
harness/<storage_scene_code>/sample/<biz_scene_id>/sample_result.json| 观察到的情况 | 应继续检查 |
|---|---|
| TOS 没有样本 | recipe、序列化、上传错误 |
| TOS 有样本,Scene 无 ref | 数据库引用回写与执行归属 |
| Scene 有 ref,调度未完成 | 结果上报、执行身份和调度状态 |
| stage2 读取失败 | 实际 ref、对象内容与场景解析 |
TOS 与 MySQL 不属于同一个数据库事务。出现中间状态时,需要分别确认对象、引用和上报。
普通场景缺 ref 时有稳定 key 回退。回放场景有专用样本准备流程。
证据:eval-crawl-crawl/service/harness_miniapp_runtime/store.go:20;eval-crawl-crawl/service/harness_sample_ref/ref.go:10;eval-crawl-crawl/dal/biz_db/scene_execution.go:229;eval-crawl-crawl/service/harness_execution/sampling_engine.go:1154。
采样中途失败,已经拿到的证据会怎样?
特定采样失败可以保存 partial sample。它保留已生成的会话和轮次,并记录 SourceFailure。
证据回收通常聚焦 message_list、trace、legacy_bundle。它不是继续完成原来的全部产物计划。
补采成功也不会自动抹掉原始采样错误。排查时应区分“模型采样失败”和“失败后证据回收成功”。
| 阅读入口 | 这一处要看懂什么 |
|---|---|
sampling_engine.go:218 |
受理、claim 和后台执行边界 |
biz_context_resolver.go:56 |
数据从哪里来 |
场景 recipe.yaml |
本次实际执行哪些模块 |
send_sse/module.go:68 |
本轮模型请求 |
confirm_reply/module.go:112 |
消息完整性确认 |
sampling_engine.go:1180 |
partial sample 与原始失败保留 |
以上入口均位于 eval-crawl-crawl。从具体 Scene 的 recipe 进入,比从所有模块目录逐个阅读更直接。
总览 · 上一章:数据模型与调度 · 下一章:产物与转存