Generated by Answer me with HTML 0.5.10 · 2026-11-03 21:12 · ★ Star on GitHub

第三章 · 模型采样与样本交接

stage1 怎样执行每轮输入,又怎样留下可供产物处理的稳定样本?

核对日期2026-11-03适用范围当前本地源码中的普通 Harness 场景

总览 · 上一章:数据模型与调度 · 下一章:产物与转存

stage1 执行模型输入,并保存后续产物处理需要的证据。它的交接物是 SampleResult,而不是一个回复字符串。

A

A stage1 从哪里开始,到哪里结束?

Scheduler 派发采样 Item,调用 Crawl 的 CreateExecution。Crawl 校验请求后,提交后台 worker。

SchedulerCrawl RPCSamplingEngine模型与消息服务TOSMySQLCreateExecution,携带调度身份和业务定位1校验并提交执行2领取成功并接受后台工作3accepted4执行采样 recipe5保存 SampleResult6保存 Scene 样本引用7SubmitItemRes,上报 stage1 结果8
时点 已经证明什么 还没证明什么
RPC 返回 accepted 后台执行被接受 模型已回复、样本已保存
模型返回内容 请求产生了部分或完整输出 消息已确认、文件已冻结
SampleResult 写入 TOS 样本对象已保存 Scene 引用已回写
stage1 成功上报 正常采样交接已完成 trace、截图等产物已完成

普通模型场景通常接着执行 stage2。Session 回放、部分竞品场景有专用阶段结构。

证据:eval-crawl-crawl/service/harness_execution/handler.go:124;eval-crawl-crawl/service/harness_execution/sampling_engine.go:218。

B

B claim、上下文、心跳和限流各解决什么问题?

这四件事发生在相邻位置,但职责不同。

机制 新人可以怎样理解 排查时看什么
claim 领取这一次执行,避免多个实例重复做 执行身份、当前持有者、重复领取结果
BizContextResolver 从业务表还原本次运行上下文 Project、Env、Task、Scene 的归属和内容
heartbeat 执行期间持续报活 租约、心跳异常、worker 是否仍在运行
限流 等待可用资源或请求配额 等待层级、资源键、owner 与环境配置

业务主键帮助定位数据。业务表里的配置才是运行依据。

BizContextResolver 读取项目、环境、输入和场景。它解析 biz_task.prompt_detail_json,并校验关联关系。

当前运行参数主要来自 env_config。豆包通常解析 doubao 命名空间,Dola 解析 dola。

一次采样执行
身份
  • Biz Scene业务执行实例
  • Scheduler Item 与 ExecutorKey调度节点与本次执行
输入
  • PromptDetail结构化输入与多轮内容
配置
  • Project 与 Envowner、应用、AB、运行参数
资源控制
  • admissionworker 入口准入
  • environment entry环境资源
  • prompt gate逐轮请求资源
  • artifact limiter产物下游资源
  • device pool异步截图设备资源
“等待中”需要先定位层级

等待 admission、轮间限流和截图设备,是不同问题。 先找当前模块及资源键,再判断是否需要调整限流。

证据:eval-crawl-crawl/service/harness_execution/biz_context_resolver.go:56;eval-crawl-crawl/service/harness_execution/project_env_config_resolver.go:50;eval-crawl-crawl/service/harness_execution/idempotency_guard.go:36;eval-crawl-crawl/service/harness_execution/heartbeat.go:23。

C

C recipe 怎样把一份输入变成多轮执行?

recipe 是场景的模块清单。模块按清单顺序装配,场景决定具体动作。

解析 UID 与 AB归一化上下文和查询计划创建或复用会话等待会话就绪并保存Flow 参数逐轮循环保存最终轮次结果保存 SampleResult

普通豆包场景的逐轮循环可这样阅读:

顺序 模块或动作 作用
1 prompt_gate 等待本轮资源
2 send_sse 提交本轮输入
3 confirm_reply 确认本轮回复完整且可读取
4 场景后处理 按场景处理授权、MA finalize 或等待
5 Office 快照 在适用场景冻结本轮文件版本
6 下一轮 使用更新后的会话和消息坐标

query_round 是复合模块。它负责循环执行内部模块。

不同 recipe 还可能有 mock、precheck、onboarding 和 First-Re 候选处理。不能把某个 Web recipe 当成所有场景的固定流程。

采样模块的 Required() 决定模块错误是否中断采样。它与产物配置的 required_artifacts 是两套机制。

引擎级 RetryAttempts 为 0。具体模块和网络客户端仍可做有限重试。整个 Item 的重试由调度层决定。

证据:eval-crawl-crawl/ai_harness/scenes/doubao_web/recipe.yaml:59;eval-crawl-crawl/ai_harness/scenes/doubao_app/recipe.yaml:52;eval-crawl-crawl/service/harness_execution/sampling_engine.go:1563。

D

为什么 send_sse 结束后还要 confirm_reply?

SSE 是请求和流式输出通道。消息列表是后续消费会话内容的来源。

两个通道的完成时点可以不同。

send_sse模型服务RoundResultconfirm_reply消息服务本轮输入、会话坐标、评测参数1流式内容、消息 ID、日志标识2保存 SSE 与本轮请求证据3查询会话消息4当前可读取的消息和完成状态5检查本轮就绪、安全与错误状态6写入完整消息快照并更新游标7
模块 输入或输出重点
send_sse Prompt、conversation、section、cursor、round index、评测参数
SSE 证据 消息 ID、SSE Log ID、首字延迟、接管或 clarify 信号
confirm_reply 持续读取消息,确认当前轮回复结束
确认后更新 完整会话消息、section、下一轮消息游标

confirm_reply 还检查 has_err、安全策略和接管状态。下游已返回内容时,确认步骤仍可能失败。

轮询次数和间隔受场景与配置影响。不要把某个默认值当成所有任务的耗时上限。

证据:eval-crawl-crawl/ai_harness/modules/sampling/doubao/common/send_sse/module.go:68;eval-crawl-crawl/ai_harness/modules/sampling/doubao/common/confirm_reply/module.go:112;eval-crawl-crawl/service/harness_runtime_wire/message_list_backend.go:43。

E

为什么 PPT 等文件要在采样期间冻结?

多轮会话可能连续修改同一资源。最后再取文件,会丢失中间版本或遇到临时链接变化。

适用场景会在回复确认后执行 round_artifact_snapshot。

本轮消息确认提取文档和文件资源按资源及版本去重请求导出并下载真实文件上传文件对象存储写入本轮OfficeArtifactSnapshots随 SampleResult 保存

冻结快照保留以下信息:

信息 后续用途
resource ID、version 确认本轮对应的资源版本
round、message、block 坐标 追溯资源来自哪条回复
原始地址与资源类型 记录来源及渲染方式
文件引用、预览引用 stage2 聚合索引与页面读取
导出状态和错误 解释缺文件、缺预览或导出失败
有回答,也可能采样失败

本轮文件导出失败时,可能出现 WEB_EXPORT_FAILED。 模型输出已存在,不代表样本证据已完整保存。

stage2 的 Office 模块通常整理这些冻结快照。它不是必然在 stage2 才首次下载文件。

查对象路径时要沿实际参数追踪。Office exporter 当前使用的 BizItemID 可取 TechItemID,不能直接当作 SceneID。

证据:eval-crawl-crawl/ai_harness/modules/sampling/doubao/web/round_artifact_snapshot/module.go:38;eval-crawl-crawl/service/harness_miniapp_runtime/web_artifact_collector.go:74;eval-crawl-crawl/service/harness_miniapp_runtime/types.go:278。

F

SampleResult 里究竟有什么?

SampleResult 是采样证据包。stage2 用它还原产物处理所需的输入。

SampleResult
  • 执行身份conversation、业务 item、完成时间
  • Rounds
    • 本轮输入与消息身份
    • SSE 标识与运行证据
    • 完整消息快照
    • OfficeArtifactSnapshots本轮文件及版本引用
  • SessionMeta采样时应用、UID、AB、环境与截图参数
  • 场景材料回放附件、离线 trace、旧 debug 信息
  • First-Re 候选适用场景的候选引用
  • SourceFailure部分失败时保留原始采样错误

消息 Ext 中的 inner_log_id 尤其重要。trace 回捞通常从这里取得模型请求坐标。

常见误解 实际含义
SampleResult 就是最终回答 它还保存轮次、身份、参数和文件证据
stage2 总能从当前环境重建一切 部分参数与文件版本需要采样时冻结
每个 ref 都是独立对象 ref#message_list 可表示同一对象的子视图
所有场景字段都齐全 场景决定适用材料,回放还有专用字段

证据:eval-crawl-crawl/service/harness_miniapp_runtime/types.go:406;eval-crawl-crawl/ai_harness/modules/sampling/doubao/common/save_round_result/module.go:45。

G

为什么交接顺序必须是 TOS、数据库引用、再上报?

stage2 需要先找到样本对象。只上传 JSON,没有回写引用,交接仍可能失败。

采样 workerTOSMySQLScheduler序列化并保存 SampleResult1返回 key 或 ref2写biz_scene.extra.harness.sample_result_ref3引用持久化成功4SubmitItemRes,报告 stage1 结果5

稳定 key 常见形状如下。这里是结构示意,查询时应读取实际 ref。

SampleResult 对象路径 · sketchtext
harness/<storage_scene_code>/sample/<biz_scene_id>/sample_result.json
观察到的情况 应继续检查
TOS 没有样本 recipe、序列化、上传错误
TOS 有样本,Scene 无 ref 数据库引用回写与执行归属
Scene 有 ref,调度未完成 结果上报、执行身份和调度状态
stage2 读取失败 实际 ref、对象内容与场景解析

TOS 与 MySQL 不属于同一个数据库事务。出现中间状态时,需要分别确认对象、引用和上报。

普通场景缺 ref 时有稳定 key 回退。回放场景有专用样本准备流程。

证据:eval-crawl-crawl/service/harness_miniapp_runtime/store.go:20;eval-crawl-crawl/service/harness_sample_ref/ref.go:10;eval-crawl-crawl/dal/biz_db/scene_execution.go:229;eval-crawl-crawl/service/harness_execution/sampling_engine.go:1154。

H

采样中途失败,已经拿到的证据会怎样?

特定采样失败可以保存 partial sample。它保留已生成的会话和轮次,并记录 SourceFailure。

是否采样发生错误能保存部分样本?保存 partial sample按错误结束PARTIAL_SAMPLE_AVAILABLE缩小范围回收消息与trace 证据保留原始 SourceFailure

证据回收通常聚焦 message_list、trace、legacy_bundle。它不是继续完成原来的全部产物计划。

补采成功也不会自动抹掉原始采样错误。排查时应区分“模型采样失败”和“失败后证据回收成功”。

阅读入口 这一处要看懂什么
sampling_engine.go:218 受理、claim 和后台执行边界
biz_context_resolver.go:56 数据从哪里来
场景 recipe.yaml 本次实际执行哪些模块
send_sse/module.go:68 本轮模型请求
confirm_reply/module.go:112 消息完整性确认
sampling_engine.go:1180 partial sample 与原始失败保留

以上入口均位于 eval-crawl-crawl。从具体 Scene 的 recipe 进入,比从所有模块目录逐个阅读更直接。

总览 · 上一章:数据模型与调度 · 下一章:产物与转存