Generated by Answer me with HTML 0.5.10 · 2026-11-04 16:39 · ★ Star on GitHub
Ekko 新字段会自动透传吗
以 image_prompt_info 为例,分清接收、保存、请求和展示四层。
已确认本项目使用数据平台 RPC,而非 Ekko HTTP 取数分支。 先验证实际接口的原始响应,再决定由谁转换。 下文保留两类协议边界,便于区分相似场景。
回到总览 · 历史 Prompt 来源 · 如何查看原始返回
这次能给出的结论
先确认真实数据源,再取一条解析前的完整响应。 将同一条记录与任务输入、最终 ToolRequest 对照。 当前尚未取得原始响应,转换方案保持待定。
下表是代码支持条件,不是对线上实际返回的判断。
| Ekko 的交付方式或目标 | 当前代码支持情况 |
|---|---|
只新增独立的 image_prompt_info 字段 |
没有同名接收与映射逻辑,不能依赖自动透传 |
| 上游已展开成现有图片、文字、坐标字段 | 可复用现有图搜输入协议;需核对类型和实际分支 |
放进已有 penetrate JSON 字符串,仅保存 metadata |
通用容器可承载任意合法 key |
| 只在 penetrate 中,期望改变实际搜索请求 | 没有通用的自动桥接 |
| 放进已支持的 MCP 自由参数字符串 | 进入自由 map 分支时可保留,需满足目标接口协议 |
| 希望列表或详情自动出现新内容 | 保存字段不等于已有展示能力 |
若上游已转换成现有输入结构,可复用已有映射。 若只返回新的嵌套结构,再选择上游转换或 AIDP 适配。 仅在结果 metadata 中看到新 key,不能证明图搜请求使用过它。
三个仓库均未找到 image_prompt_info、ImagePromptInfo 或 imagePromptInfo 实现。
这不排除线上上游已有字段转换,需要实际响应验证。
项目与文档分别确认了什么
| 证据 | 已确认的事实 | 尚未确认 |
|---|---|---|
| 项目 2766568 编辑页 | VisualSearch,App 65766316,来源显示“豆包视觉搜索query-app” | 实际数据响应 |
| 项目详情只读响应 | crawl_type=57,use_biz_storage=false |
线上实际执行版本 |
| 项目保存的来源配置 | key 为 doubao_visual_search_query_app;handler 为 DouBaoSessionHandler;EkkoLink 为空 |
数据平台两个接口是否同步包含新字段 |
| 用户向来源方确认 | 在 API 7387617535350391817 新增字段 |
实际响应中的路径、类型、值 |
| 样例文档 revision 87 | 新字段值包含 query、ImageUrl、Xmin/Ymin/Xmax/Ymax | 完整接口封装和字段的实际 JSON 路径 |
| 当前本地源码 | 存在显式图片字段映射和通用 metadata 容器 | 线上部署版本、上游转换规则 |
57 在代码中是 GSOffline,与 58 历史 Prompt 属于同组来源能力。
来源展示名称不能单独证明使用 EkkoSessionHandler。
本次已通过项目配置确认真实来源,不再只按名称推断。
当前视觉分支读取会话接口 7389155172762600485。
该分支不调用上述新增字段的消息明细接口。
应先核对新字段是否也进入会话接口返回。
证据:eval-crawl-admin/consts/common.go:475;eval-crawl-admin/consts/app.go:62。
文档中的 image_prompt_info 表达什么
下列内容只保留字段结构。图片地址和用户文字均替换为示意值。 这不是完整 Ekko 响应,也不是可直接调用的请求。
{ "query": "消息块 JSON 字符串", "ImageUrl": "示例图片地址", "Xmin": 0.0, "Ymin": 0.0, "Xmax": 1.0, "Ymax": 1.0}| 字段 | 用途 | 映射时要核对什么 |
|---|---|---|
| query | 用户上传图片时的文字或消息块 | 示例含消息块结构,不应盲目当作纯文本 |
| ImageUrl | 原始图片 | 来源地址是否可读,是否走已有图片处理 |
| Xmin/Ymin/Xmax/Ymax | 裁剪或 ROI 坐标 | 类型、范围、坐标含义 |
文档还列出 search_query_list 与 history_5_rounds。
它们也是独立语义,不能仅靠新增字段名自动生效。
接收阶段为什么不会自动保留全部字段
当前存在两类需要分开看的取数协议。
| 路径 | 解析结构 | 对新增字段的影响 |
|---|---|---|
| 豆包数据平台视觉来源 | enc_message_str_list → SessionMessageItem | 只接收结构中定义的字段 |
| Ekko 历史来源 | data.data → Data / FieldValueMap → GQueryStruct | 未知同级字段不会自动进入业务对象 |
SessionMessageItem 定义了 query/imageurl/xmin/ymin/xmax/ymax。
没有定义外层 image_prompt_info。
视觉格式化函数直接使用已展开的字段构造 ImageQuery。
文档中坐标是数字,当前这个 DTO 的坐标字段是 string。 若直接按该 DTO 解码,数值类型也需要统一。 不能只把外层字段去掉,就认定契约完全兼容。
Ekko 的 Data 与 FieldValueMap 同样是显式结构体。
当前历史取题入口传入空 ImportConf。
另一个 URL 导题入口的配置化抽取,不能直接套到这里。
证据:eval-crawl-admin/models/gpt_data_plat.go:107;eval-crawl-admin/service/gpt_douyin_session.go:972;eval-crawl-admin/models/gpt_prompt/helper.go:1608;eval-crawl-admin/service/gpt_douyin_session.go:1423。
E penetrate 已支持什么,又没有支持什么
Ekko 的消息与 session 都已有 penetrate 字符串字段。
其中可以放 JSON 对象,承载任意 metadata key。
{ "penetrate": "{\"image_prompt_info\":{\"source\":\"example\"}}"}这里的 penetrate 是 JSON 字符串,不是直接的对象值。
| 边界 | 实际行为 |
|---|---|
| Ekko 多轮聚合 | 后一条非空消息 penetrate 可覆盖前面的整个值 |
| 语言字段补充 | 解 JSON 对象,补字段,再序列化 |
| metadata 保存 | 不要求为每个 key 新增 DTO 字段 |
| 模型发送 | 不会自动把 metadata 全量放入请求 |
| 已创建 Task | 上游新增字段不会自动回填旧数据 |
不是每个原始消息的 penetrate 都做深合并。 失败题目分支也不能保证保留全部 metadata。
证据:eval-crawl-admin/models/gpt_prompt/helper.go:1872;eval-crawl-admin/service/gpt_douyin_session.go:1446;eval-crawl-admin/service/gpt.go:1059;eval-crawl-admin/views/biz_create_entry.go:5494。
VisualSearch 实际请求使用哪些输入
McpVisualSearch 的请求构造有三条输入分支。 实际是否命中该处理器,还取决于环境 mode/tool 配置。
| 分支 | 输入 | 构造行为 |
|---|---|---|
| ImageQuery 已有值 | 图片地址与 RelBbox | 重建 image_query,准备图片数据 |
| 存在普通图片 URL 附件 | FilesMultiList 的 URL 与 BBox | 同样重建 image_query |
| 没有 URL,使用 MCP 附件 | McpToolParamsStr | 解析自由 JSON map |
之后合并环境 CrawlUrl.params,再生成 ToolRequest。
这里没有通用读取 Task.Penetrate 并合入请求的逻辑。
响应解析后,部分 APIHub/VisualSearch 路径会补充 Task Penetrate 到结果 TOS。 结果里出现新 key,不证明实际请求使用过它。 已存在的非空结果字段不会被该补充覆盖。
证据:eval-crawl-crawl/helper/api_hub.go:762;eval-crawl-crawl/helper/api_hub.go:814;eval-crawl-crawl/helper/api_hub.go:703;eval-crawl-crawl/helper/api_hub.go:928。
真要接入这个字段,最小动作是什么
| 目标 | 需要落实的动作 |
|---|---|
| 只保存原始 metadata | 约定合法 penetrate JSON 字符串,并验证 Task 中存在 |
| 图片和文字用于图搜 | 明确解析 image_prompt_info,映射现有输入结构 |
| 新参数直接交给 MCP | 进入正确的自由参数字符串和请求分支 |
| 展示简单标量 | 配置项目的 penetrate_field_info |
| 展示对象、图片或卡片 | 增加明确 renderer,不能把 object 直接当文本 |
对于图搜输入,映射至少要覆盖:
- 明确 image_prompt_info 的完整响应路径。
- 确认它是字符串还是对象。
- 解析 query 内的消息块或文本。
- 归一化图片地址和坐标类型。
- 构造 ImageQuery、VisualSearchPromptList 或文件输入。
- 验证最终 ToolRequest,而不只检查数据库或结果 TOS。
映射可以由上游取数转换层完成,也可以由 AIDP 后端完成。 关键是接收端拿到已支持的契约;不能只增加一个无人读取的同级字段。
按同一条记录逐段验证
| 检查位置 | 必须确认的内容 |
|---|---|
| 项目配置 | data.project.query_source 与 source_struct_list |
| Ekko 来源坐标 | data.project.session_info.query_source_id 与 ekko_link |
| 非 Ekko 配置 | 用来源 key 核对 handler、param 和实际数据服务 |
| 原始响应 | 字段完整路径、对象或字符串、大小写、数字或字符串 |
| 转换后任务 | 图、文字、ROI 是否进入支持的输入结构 |
| 最终请求 | 下游是否收到这些值,而不只看结果 metadata |
项目读取接口只返回配置,不返回原始取数响应。
来源候选接口也只返回配置。
若确认走 Ekko,可按原方法、链接和日期请求 pageSize=1。
若确认走数据平台 RPC,应核验对应 RPC 响应。
不要仅按来源展示名称选择核验接口。
可请来源方提供以下证据:
请按该项目实际使用的取数接口,提供一条脱敏原始响应。 需要保留完整外层 JSON 和 image_prompt_info 的路径、类型。 请说明是否已在返回前展开或转换,及当前生效版本。
当前证据状态:
| 证据层 | 状态 |
|---|---|
| 字段样例 | 已读用户提供文档,revision 87 |
| 项目 App 与 crawl_type | 已从页面及只读详情响应确认 |
| 当前源码字段接收与保存 | 已核对 Admin、Crawl、前端 |
| 原始取数接口完整响应 | 文档未提供完整封装,本次未取得 |
| 项目实际 source key / handler | 已从项目只读响应核验;使用数据平台视觉分支 |
| 真实取数 API | 按配置与当前源码对应到会话接口 7389155172762600485 |
| 消息明细 API 新字段 | 用户确认在 7387617535350391817 新增;原始数据尚未取得 |
| 线上是否已有上游转换 | 尚未核验 |
浏览器读取已恢复,项目配置已取得。 本次未执行数据平台查询,也未取得原始数据响应。 当前没有证据决定由 Ekko 转换还是由 AIDP 适配。
本次没有修改业务代码,没有重抓或改配置。 没有运行 Go 构建或测试。 字段接入点应在完整响应与最终请求之间定位。
回到总览 · 历史 Prompt 来源 · 如何查看原始返回