Generated by Answer me with HTML 0.5.10 · 2026-11-03 21:14 · ★ Star on GitHub

第四章 · 产物处理与转存原理

stage2 怎样处理消息、trace、文件、截图,又怎样把结果交给展示链路?

核对日期2026-11-03适用范围当前本地源码;历史故障只用于解释失败位置

总览 · 上一章:模型采样 · 下一章:结果读取与排障

普通 stage2 基于已有样本处理产物,不重新向模型提问。“转存”包含快照、文件、索引和异步交付四类动作。

A

A stage2 到底处理什么,怎样执行?

CreateAsyncArtifactTask领取执行并提交后台worker加载 SampleResult解析有效产物策略复用已完成结果并选择pending 产物并发执行各条产物线刷新 legacy_bundle 并汇总保存状态与引用并上报Scheduler

有效产物范围取决于场景支持集合、环境配置、请求范围和已有状态。

“转存”动作 典型对象 发生时机
结构化快照序列化 SampleResult、消息、trace stage1 或 stage2
导出、下载、上传真实文件 Markdown、PPTX、PDF、XLSX、ZIP 逐轮采样或适用补偿路径
生成聚合索引 Office 索引、legacy_bundle stage2
异步交付并回填结果 截图、落地页 stage2 交付,consumer 完成

不同 artifact line 并发。同一 line 内串行。

同线模块报错后,后续模块停止。其他 line 可以继续。

required 不是唯一失败判断

required_artifacts 参与范围和支持能力校验。 当前 runner 也会汇总本次启用产物的执行错误。 skipped 表示主动跳过,不能与 failed 混为一谈。

证据:eval-crawl-crawl/service/harness_execution/engine.go:903;eval-crawl-crawl/service/harness_execution/artifact_policy.go:240;eval-crawl-crawl/service/harness_execution/artifact_plan_runner.go:418、:674、:937。

B

为什么数据库有 result_key,却还要再读一层索引?

数据库主要保存身份、状态、错误和引用。大对象和文件存到 TOS。

biz_artifact 的result_key产物索引 JSON实际 PPTX 文件实际 PDF 预览资源版本和消息坐标
层次 典型内容 排查问题
MySQL 元数据 status、result_key、result_type、error 产物是否执行,指向哪里
通用 JSON 存储 SampleResult、trace、Office 索引、bundle JSON 是否存在,引用是否正确
文件产物存储 Markdown、PDF、PPTX、XLSX、ZIP 真实字节是否上传,文件能否读取
VM 产物存储 VM bundle、运行文件 是否走独立 ArtifactTOS 契约

Office 常有两层引用:数据库指向索引,索引再指向文件。

不同客户端返回 key、ref 或 URL。不能假定所有对象进入同一物理桶。

常见对象路径形状 · sketchtext
harness/<storage_scene>/sample/<scene-item>/sample_result.jsonminiapp_artifacts/<scene-item>/message_list.jsonminiapp_artifacts/<scene-item>/trace.jsonminiapp_artifacts/<scene-item>/legacy_bundle.jsonharness/<scene>/artifact/<scene-item>/office_ppt.jsoncua-runs/<run>/<attempt>/rounds/round-001/artifacts/<type>/<identity>/main.pptx

路径里的身份必须沿调用值核对。普通 sample 常用 SceneID;逐轮 Office exporter 当前可用 TechItemID。

证据:eval-crawl-crawl/service/harness_miniapp_runtime/factory.go:29;eval-crawl-crawl/service/harness_runtime_wire/tos_backend.go:78;eval-crawl-crawl/service/tos.go:97;eval-crawl-crawl/service/harness_runtime_wire/web_round_artifact_exporter.go:485。

C

各类产物从哪里来,存的又是什么?

下表省略统一前缀 artifact_。是否执行仍以当前场景和策略为准。

产物 来源与动作 保存内容或无素材行为
message_list 样本中的消息快照 消息 JSON;空消息可能失败
trace inner_log_id 查询普通 trace 和适用 MoA trace JSON,可能附 MoA 引用
mcp_io_log 从 Shared trace 或 trace 对象提取 工具输入输出;无记录可 skipped
office_doc 每轮冻结的 Doc 快照 Doc 资源索引
office_ppt 每轮冻结的 PPT 快照 PPT 资源索引
office_excel 每轮冻结的 Excel 快照 Excel 资源索引
miaoda 展示地址与源码归档快照 展示 URL、源码 ZIP 索引
file_block 消息中的文件资源快照 真实文件引用与索引
screenshot 会话、采样参数与消息坐标 先交付,再回填真实截图
landing_page 配置与 trace/cache 定位线索 异步抓页结果
card_detect 消息卡片解析 每条消息的 has_card 标记
card_render_raw 原始卡片 render/permission 材料 原始卡片 JSON
attachment 回放样本中已取回的附件 附件结构化结果
legacy_bundle 样本与当前已完成产物 兼容展示结构,允许部分结果
vm_bundle CUA/VM 执行材料 专用运行索引与文件投影

attachment 不意味着再次向附件服务获取文件。MCP IO 也不是第三次独立回捞完整 trace。

已有成功、跳过或有效异步交付结果,可以被后续 stage2 执行复用。本次只准备仍需处理的 pending 产物。

证据:eval-crawl-crawl/service/harness_execution/engine.go:1201;eval-crawl-crawl/service/harness_execution/artifact_policy.go:338;完整类型入口见各场景 recipe 的 artifact_execution.lines。

D

PPT 真正怎样转存,其他文件有何差异?

PPT 的主要文件动作通常发生在适用的逐轮快照步骤。

快照模块消息资源收集器Office 下载服务下载地址文件对象存储RoundResultSampleResultstage2 PPT 模块TOS找到本轮 PPT 资源和版本1请求导出下载地址2PDF 与 PPTX 地址3读取真实文件字节4保存 main.pptx 与 preview.pdf5保存文件引用和资源快照6随本轮证据冻结7筛选并去重 PPT 快照8保存 office_ppt.json 索引9

临时下载地址不是最终转存结果。只有实际下载并上传后,才有独立保存的文件对象。

类型 真实处理方式 要区分的对象
Doc 按版本导出 Markdown;下载适用 PDF 在线文档、content.md、preview.pdf、source ZIP
PPT 解析 PDF/PPTX 地址,下载并上传 main.pptx、preview.pdf、适用源码包
Excel 下载并上传 XLSX main.xlsx;当前分支不要求 PDF
Miaoda 解析 repo/branch,clone,删 .git,打 ZIP 展示 URL 与源码 ZIP
file-block 选下载地址,读取原始字节并上传 main.ext;视频与压缩包仍是原始字节
WebView 按 resource tree 取得节点文本 文本导出分支

Miaoda 索引的 render_type=html 不代表上传对象就是 HTML。展示地址也不是源码 ZIP 地址。

stage2 Office 模块主要整理冻结快照。无素材可返回 skipped。

历史数据缺少冻结快照时,legacy 解析仍有导出 fallback。不能说 stage2 永远不发导出请求。

证据:eval-crawl-crawl/service/harness_runtime_wire/web_round_artifact_exporter.go:131、:188、:320、:384、:443、:524;eval-crawl-crawl/ai_harness/modules/artifact/doubao_web/office_ppt/executor.go:11;eval-crawl-crawl/service/harness_miniapp_runtime/legacy_artifact_resolve.go:9。

E

E trace、MoA、MCP 怎样串联,失败发生在哪里?

强依赖失败最后有效轮次消息提取 Ext.inner_log_id普通 flow trace RPC适用的 MoA cachedHTTP强弱依赖与完整性校验发布 Shared trace 和主trace 对象提取 MCP IO本条 trace line 失败MCP IO 不继续
对象 调用或来源 失败影响
普通 trace 国内 China-North 使用 cached RPC;其他区域有对应方法 RPC 错误、异常响应、空 spans 都需处理
MoA trace HTTP /trace_data/cached,携带 inner Log ID 与业务 ID 强依赖失败使 trace 失败;弱依赖可告警
MCP IO 同次 Shared trace,或已保存的 trace ref trace line 前置失败时不继续

need_moa_trace 可来自采样时的消息 Ext。快照值可以覆盖当前 live 环境配置。

普通 trace 返回空 spans 后,backend 仍可能继续查 MoA。最终还要经过主 trace 的完整性校验。

回捞或完整性校验失败时,不进入本次主 trace 写入。不能据此推断所有失败路径都没有其他 TOS 副作用。

11 月 2 日历史执行的失败位置

此前样本先出现普通 trace 空 spans。 MoA 强依赖随后持续失败并最终超时。 该次 trace line 失败,MCP IO 未继续。 其他 line 与已采样回答仍可保留。 这不是对当前线上状态的实时判断。

查询 cached 接口的依据是 MoA HTTP 实现。日期相差三天和缓存未命中,不能证明 TTL 为三天。

证据:eval-crawl-crawl/service/harness_runtime_wire/trace_backend.go:34;eval-crawl-crawl/downstream/trace.go:38;eval-crawl-crawl/service/harness_runtime_wire/moa_trace_backend.go:295;eval-crawl-crawl/ai_harness/modules/artifact/common/trace/snapshot_ext.go:14;eval-crawl-crawl/ai_harness/modules/artifact/common/trace/module.go:73;eval-crawl-crawl/ai_harness/modules/artifact/common/mcp_io_log/module.go:45。

F

截图与落地页,为何要区分交付和完成?

主 stage2 可以可靠交付工作,独立 consumer 再生成真实结果。

截图:冻结输入,后台 capture

构造截图输入与generation规范化输入并计算SHA256上传输入快照并确认数据库MQ 发布并确认投递回执返回 running 和 pendingrefconsumer 校验generation 与快照真机截图并保存checkpoint投影 bundle 并写截图终态

输入包含 conversation、QueryIdx、LastMessageIndex、UID、AB 和截图导航参数。QueryIdx 与 LastMessageIndex 是不同坐标。

consumer 使用 lease 和 checkpoint 续做。旧 generation 不应覆盖新结果。

落地页:按 trace/cache 线索抓页

落地页模块固化 flow_trace_indexes、search_cache_index 等定位载荷。consumer 据此寻找 URL 并抓取页面。

比较项 截图 落地页
关键载荷 冻结截图输入快照 trace/cache 定位信息与抓页配置
输入 SHA256 校验 截图快照流程使用 不套用该截图流程
真正工作 设备 capture、后续判断与保存 URL 定位、抓页、回填
主 worker 结果 可先返回可靠交付状态 同样区分交付和真实完成
交付 gate 通过,不代表图片已生成

满足截图交付 gate 时,产物仍可能是 running。 需要继续查看投递回执、consumer 和产物终态。

证据:eval-crawl-crawl/service/harness_execution/deferred_artifact_publisher.go:162、:270;eval-crawl-crawl/upstream/deferred_artifact/screenshot/pipeline.go:65;eval-crawl-crawl/ai_harness/modules/artifact/common/landing_page/module.go:61。

G

G legacy_bundle 为什么存在,为什么会有部分结果?

legacy_bundle 将新产物组织成旧展示协议。它是聚合对象,不是再执行一次模型采样。

后续回填SampleResultlegacy_bundle当前已完成的消息产物当前已完成的 trace 与工具产物文件索引与快照异步截图结果Admin 兼容结果读取前端按环境展示
bundle 中的内容 作用
message_list、query_result_bundle_list 回答及轮次材料
flow_chat、debug_info、flow_trace 调试与 trace 材料
工具输入输出 MCP 等工具执行展示
截图 URI 图片读取入口
artifact_list、file_block_list 文件和其他产物展示

每条产物线结束后会刷新 bundle。全部线结束后再 final flush。

缺少 trace ref 时,兼容读取仍能构建有回答的部分 bundle。随后截图 consumer 还可回填图片。

bundle 存在与 Task 成功没有等价关系。First-Re 候选还有额外严格校验。

证据:eval-crawl-crawl/ai_harness/modules/artifact/common/legacy_bundle/legacy_builders.go:49;eval-crawl-crawl/ai_harness/modules/artifact/common/legacy_bundle/legacy_trace_debug.go:23。

H

产物怎样把结果交给调度与页面?

产物执行结束后,worker 同步产物状态,再上报 Scheduler。

产物模块状态持久化层MySQLstage2 workerSchedulerAdmin 对账页面读取AdminTOS保存结果引用或错误1更新 biz_artifact2SubmitItemRes,携带 ItemID 与ExecutorKey3查询节点状态与统计4收敛 Task、Project 状态5查询列表或详情6详情路径读取适用 JSON 与 bundle7兼容结果结构8
核心字段 应如何阅读
biz_status accepted、running、succeed、failed、skipped
result_key / result_type 内容位置与解析方式
error_code / error_msg 该产物的错误
Scene.extra.harness.sample_result_ref stage1 保存的交接样本引用
Artifact.extra 产物扩展与适用交付信息

MoA 的额外引用可放在 trace 产物扩展中。它不一定是单独的 Artifact 行。

CanRetry=true 只说明结果被标记为可重试。它不证明调度仍有预算或一定继续尝试。

本章排查顺序是:样本引用 → 有效策略 → 具体 line → 单产物状态 → 索引 JSON → 真实文件 → 调度上报。

证据:eval-crawl-crawl/service/harness_execution/engine.go:1538;eval-crawl-crawl/service/harness_execution/engine.go:1543;eval-crawl-admin/views/biz_project_reconcile.go:1183。

总览 · 上一章:模型采样 · 下一章:结果读取与排障