Generated by Answer me with HTML 0.5.10 · 2026-11-04 16:39 · ★ Star on GitHub

Ekko 新字段会自动透传吗

以 image_prompt_info 为例,分清接收、保存、请求和展示四层。

核对日期2026-11-04项目2766568 · VisualSearch

已确认本项目使用数据平台 RPC,而非 Ekko HTTP 取数分支。 先验证实际接口的原始响应,再决定由谁转换。 下文保留两类协议边界,便于区分相似场景。

回到总览 · 历史 Prompt 来源 · 如何查看原始返回

A

这次能给出的结论

先取证,再决定改哪一层

先确认真实数据源,再取一条解析前的完整响应。 将同一条记录与任务输入、最终 ToolRequest 对照。 当前尚未取得原始响应,转换方案保持待定。

下表是代码支持条件,不是对线上实际返回的判断。

Ekko 的交付方式或目标 当前代码支持情况
只新增独立的 image_prompt_info 字段 没有同名接收与映射逻辑,不能依赖自动透传
上游已展开成现有图片、文字、坐标字段 可复用现有图搜输入协议;需核对类型和实际分支
放进已有 penetrate JSON 字符串,仅保存 metadata 通用容器可承载任意合法 key
只在 penetrate 中,期望改变实际搜索请求 没有通用的自动桥接
放进已支持的 MCP 自由参数字符串 进入自由 map 分支时可保留,需满足目标接口协议
希望列表或详情自动出现新内容 保存字段不等于已有展示能力
拿到真实响应后再判断

若上游已转换成现有输入结构,可复用已有映射。 若只返回新的嵌套结构,再选择上游转换或 AIDP 适配。 仅在结果 metadata 中看到新 key,不能证明图搜请求使用过它。

三个仓库均未找到 image_prompt_info、ImagePromptInfo 或 imagePromptInfo 实现。 这不排除线上上游已有字段转换,需要实际响应验证。

B

项目与文档分别确认了什么

证据 已确认的事实 尚未确认
项目 2766568 编辑页 VisualSearch,App 65766316,来源显示“豆包视觉搜索query-app” 实际数据响应
项目详情只读响应 crawl_type=57,use_biz_storage=false 线上实际执行版本
项目保存的来源配置 key 为 doubao_visual_search_query_app;handler 为 DouBaoSessionHandler;EkkoLink 为空 数据平台两个接口是否同步包含新字段
用户向来源方确认 在 API 7387617535350391817 新增字段 实际响应中的路径、类型、值
样例文档 revision 87 新字段值包含 query、ImageUrl、Xmin/Ymin/Xmax/Ymax 完整接口封装和字段的实际 JSON 路径
当前本地源码 存在显式图片字段映射和通用 metadata 容器 线上部署版本、上游转换规则

57 在代码中是 GSOffline,与 58 历史 Prompt 属于同组来源能力。 来源展示名称不能单独证明使用 EkkoSessionHandler。

本次已通过项目配置确认真实来源,不再只按名称推断。 当前视觉分支读取会话接口 7389155172762600485。 该分支不调用上述新增字段的消息明细接口。 应先核对新字段是否也进入会话接口返回。

项目页面 · 用户提供的字段样例

证据:eval-crawl-admin/consts/common.go:475;eval-crawl-admin/consts/app.go:62。

C

文档中的 image_prompt_info 表达什么

下列内容只保留字段结构。图片地址和用户文字均替换为示意值。 这不是完整 Ekko 响应,也不是可直接调用的请求。

image_prompt_info 的内容结构 · sketchjson
{  "query": "消息块 JSON 字符串",  "ImageUrl": "示例图片地址",  "Xmin": 0.0,  "Ymin": 0.0,  "Xmax": 1.0,  "Ymax": 1.0}
字段 用途 映射时要核对什么
query 用户上传图片时的文字或消息块 示例含消息块结构,不应盲目当作纯文本
ImageUrl 原始图片 来源地址是否可读,是否走已有图片处理
Xmin/Ymin/Xmax/Ymax 裁剪或 ROI 坐标 类型、范围、坐标含义

文档还列出 search_query_list 与 history_5_rounds。 它们也是独立语义,不能仅靠新增字段名自动生效。

D

接收阶段为什么不会自动保留全部字段

当前存在两类需要分开看的取数协议。

路径 解析结构 对新增字段的影响
豆包数据平台视觉来源 enc_message_str_list → SessionMessageItem 只接收结构中定义的字段
Ekko 历史来源 data.data → Data / FieldValueMap → GQueryStruct 未知同级字段不会自动进入业务对象
已定义已放入 penetrate独立未知字段来源原始响应字段是否属于接收协议?显式字段投影扩展 JSON 容器不进入业务对象图片或 Prompt 输入元数据保存

SessionMessageItem 定义了 query/imageurl/xmin/ymin/xmax/ymax。 没有定义外层 image_prompt_info。 视觉格式化函数直接使用已展开的字段构造 ImageQuery。

文档中坐标是数字,当前这个 DTO 的坐标字段是 string。 若直接按该 DTO 解码,数值类型也需要统一。 不能只把外层字段去掉,就认定契约完全兼容。

Ekko 的 Data 与 FieldValueMap 同样是显式结构体。 当前历史取题入口传入空 ImportConf。 另一个 URL 导题入口的配置化抽取,不能直接套到这里。

证据:eval-crawl-admin/models/gpt_data_plat.go:107;eval-crawl-admin/service/gpt_douyin_session.go:972;eval-crawl-admin/models/gpt_prompt/helper.go:1608;eval-crawl-admin/service/gpt_douyin_session.go:1423。

E

E penetrate 已支持什么,又没有支持什么

Ekko 的消息与 session 都已有 penetrate 字符串字段。 其中可以放 JSON 对象,承载任意 metadata key。

仅保存元数据的协议形状 · sketchjson
{  "penetrate": "{\"image_prompt_info\":{\"source\":\"example\"}}"}

这里的 penetrate 是 JSON 字符串,不是直接的对象值。

legacy 保存Biz 保存Ekko penetrate 字符串GQueryStruct.PenetrateQueryInfo.Penetrate旧 Task Extra.PenetrateBiz Task.penetrate_json
边界 实际行为
Ekko 多轮聚合 后一条非空消息 penetrate 可覆盖前面的整个值
语言字段补充 解 JSON 对象,补字段,再序列化
metadata 保存 不要求为每个 key 新增 DTO 字段
模型发送 不会自动把 metadata 全量放入请求
已创建 Task 上游新增字段不会自动回填旧数据

不是每个原始消息的 penetrate 都做深合并。 失败题目分支也不能保证保留全部 metadata。

证据:eval-crawl-admin/models/gpt_prompt/helper.go:1872;eval-crawl-admin/service/gpt_douyin_session.go:1446;eval-crawl-admin/service/gpt.go:1059;eval-crawl-admin/views/biz_create_entry.go:5494。

F

VisualSearch 实际请求使用哪些输入

McpVisualSearch 的请求构造有三条输入分支。 实际是否命中该处理器,还取决于环境 mode/tool 配置。

分支 输入 构造行为
ImageQuery 已有值 图片地址与 RelBbox 重建 image_query,准备图片数据
存在普通图片 URL 附件 FilesMultiList 的 URL 与 BBox 同样重建 image_query
没有 URL,使用 MCP 附件 McpToolParamsStr 解析自由 JSON map

之后合并环境 CrawlUrl.params,再生成 ToolRequest。 这里没有通用读取 Task.Penetrate 并合入请求的逻辑。

另一路径ImageQuery构造图搜参数图片 URL 附件MCP 参数字符串自由参数 map合并环境参数ToolRequestAPIHub 或 MCP 下游Task Penetrate结果元数据补充

响应解析后,部分 APIHub/VisualSearch 路径会补充 Task Penetrate 到结果 TOS。 结果里出现新 key,不证明实际请求使用过它。 已存在的非空结果字段不会被该补充覆盖。

证据:eval-crawl-crawl/helper/api_hub.go:762;eval-crawl-crawl/helper/api_hub.go:814;eval-crawl-crawl/helper/api_hub.go:703;eval-crawl-crawl/helper/api_hub.go:928。

G

真要接入这个字段,最小动作是什么

目标 需要落实的动作
只保存原始 metadata 约定合法 penetrate JSON 字符串,并验证 Task 中存在
图片和文字用于图搜 明确解析 image_prompt_info,映射现有输入结构
新参数直接交给 MCP 进入正确的自由参数字符串和请求分支
展示简单标量 配置项目的 penetrate_field_info
展示对象、图片或卡片 增加明确 renderer,不能把 object 直接当文本

对于图搜输入,映射至少要覆盖:

  1. 明确 image_prompt_info 的完整响应路径。
  2. 确认它是字符串还是对象。
  3. 解析 query 内的消息块或文本。
  4. 归一化图片地址和坐标类型。
  5. 构造 ImageQuery、VisualSearchPromptList 或文件输入。
  6. 验证最终 ToolRequest,而不只检查数据库或结果 TOS。

映射可以由上游取数转换层完成,也可以由 AIDP 后端完成。 关键是接收端拿到已支持的契约;不能只增加一个无人读取的同级字段。

H

按同一条记录逐段验证

核验人员项目配置实际取数接口已有任务实际请求确认来源 key、handler 或 Ekko 链接1按原协议请求最小样本2保存解析前完整 JSON3对照转换后输入和 penetrate4对照最终 ToolRequest5在字段首次变化或消失处决定适配层
检查位置 必须确认的内容
项目配置 data.project.query_source 与 source_struct_list
Ekko 来源坐标 data.project.session_info.query_source_id 与 ekko_link
非 Ekko 配置 用来源 key 核对 handler、param 和实际数据服务
原始响应 字段完整路径、对象或字符串、大小写、数字或字符串
转换后任务 图、文字、ROI 是否进入支持的输入结构
最终请求 下游是否收到这些值,而不只看结果 metadata

项目读取接口只返回配置,不返回原始取数响应。 来源候选接口也只返回配置。 若确认走 Ekko,可按原方法、链接和日期请求 pageSize=1。 若确认走数据平台 RPC,应核验对应 RPC 响应。 不要仅按来源展示名称选择核验接口。

可请来源方提供以下证据:

请按该项目实际使用的取数接口,提供一条脱敏原始响应。 需要保留完整外层 JSON 和 image_prompt_info 的路径、类型。 请说明是否已在返回前展开或转换,及当前生效版本。

当前证据状态:

证据层 状态
字段样例 已读用户提供文档,revision 87
项目 App 与 crawl_type 已从页面及只读详情响应确认
当前源码字段接收与保存 已核对 Admin、Crawl、前端
原始取数接口完整响应 文档未提供完整封装,本次未取得
项目实际 source key / handler 已从项目只读响应核验;使用数据平台视觉分支
真实取数 API 按配置与当前源码对应到会话接口 7389155172762600485
消息明细 API 新字段 用户确认在 7387617535350391817 新增;原始数据尚未取得
线上是否已有上游转换 尚未核验

浏览器读取已恢复,项目配置已取得。 本次未执行数据平台查询,也未取得原始数据响应。 当前没有证据决定由 Ekko 转换还是由 AIDP 适配。

本次没有修改业务代码,没有重抓或改配置。 没有运行 Go 构建或测试。 字段接入点应在完整响应与最终请求之间定位。

回到总览 · 历史 Prompt 来源 · 如何查看原始返回