# 安洁智巡 多模态能力扩展构想

方案日期：2026年10月22日。状态：产品设计；网页提供预设案例交互，尚未接入模型或生产系统，效果指标待实测。

## 1. 产品定位

以群众生命财产安全为出发点，将多模态大模型、安洁业务本体和岗位协同结合，服务安全生产巡查巡检与隐患闭环治理。图片、视频、语音、文档、台账和工单是同一业务过程的不同输入。问答、现场发现、整改提交和交接均可发起辅助任务。

产品采用成熟多模态基础模型，通过安洁的实体、属性、关系、规则与审核案例形成行业能力。业务本体明确对象是谁、要求是否适用、材料证明什么、责任如何承接；模型负责理解材料并提出候选；正式办理由相应岗位依既有流程确认。

核心体验：上传现场材料后，返回带原材料定位的观察、隐患候选、待补信息和下一动作，并能沿对象与事项时间线继续追踪。

## 2. 一张图片如何进入完整业务

以门边堆放箱状物为设计示例：

1. **建立上下文。** 关联本次项目、任务、采集人及采集时间；可扫码选取已有对象，位置不清时保留候选。
2. **检查输入质量。** 判断清晰度、视角及覆盖范围；原图和分析使用的派生图分别留存。语音补充内容标记为人员陈述。
3. **识别可见现象。** 在图上标注箱状物与门前空间，保存区域坐标和观察描述；一张图可以产生多个观察，也可以没有可确认的异常。
4. **连接业务本体。** 核对具体位置、通道用途、检查项及有效要求。视觉模型发现物品，业务上下文决定应如何核查其影响。
5. **主动补充信息。** 按缺口提示补拍位置全景、对象标签或另一角度；需要尺寸、功能等信息时，提示取得相应现场记录。补拍请求记录目的与最终是否有效。
6. **关联历史事项。** 在确认的对象与时间范围内查找相关工单，区分新发现、旧问题重复反映、持续未决和疑似复发；关联候选交人员确认。
7. **形成办理草稿。** 汇集现象、原图区域、适用依据、事项范围、责任建议、所需材料及下一动作。确认后由原模块流程办理，保留承接、退回、回执和失败记录。
8. **辅助整改复核。** 对照同一对象、本轮材料与待证明事实，说明哪些部分可见改变、哪些仍未覆盖。复核保存实际已审材料和依据版本。
9. **审核后沉淀知识。** 将人员纠正、对象映射和案例解释作为候选，经审核发布为图文案例或规则，进入后续回归验证。

现场人员判断需立即处置，或符合经审核项目预案触发条件时，按既有程序处置和报告；AI整理与补问不成为应急行动的前置条件。

## 3. 六类应用的能力升级

| 岗位场景 | 多模态能力 | 业务交付 |
|---|---|---|
| A 巡前准备 | 检查要求与示例图、历史照片、周期资料相结合 | 有范围、版本、拍摄要点及未明事项的检查卡 |
| B 巡中发现 | 图像定位、短视频片段、语音记录、复合现象拆分、主动补问 | 可追溯观察、隐患候选和员工确认记录 |
| C 工单协同 | 多源材料与历史事项匹配，形成可办理草稿 | 局部图、事实、依据、责任建议与承接记录 |
| D 整改复核 | 同对象前后对比、材料覆盖核对、来源与轮次校验 | 可见变化、证据缺口、补正及复核草稿 |
| E 复查治理 | 对象时间线、图文交接、重复与复发候选辨别 | 未决清单、下一动作、复查安排和历史依据 |
| F 知识培育 | 图文标注纠错、语音修订、规则审核、看图情境学习 | 审核案例、知识版本、失败样本与回归结果 |

六类场景保持18项岗位任务，并通过现有16类相关业务模块接入。详细岗位设计见[完整竞赛方案](proposal.md)与[初赛场景说明](scenario.md)。

## 4. 产品与技术架构

**现场输入 → 多模态感知 → 本体与知识推理 → 岗位协同 → 审核与验证回流。**

- 输入层：图片、视频、语音、文档、结构化台账和工单，保留来源、版本与访问范围。
- 感知层：视觉理解、对象定位、文字与读数读取、语音转写、视频片段分析，输出带来源的候选。
- 本体层：对象身份、适用要求、职责授权、事项轮次、历史记录、材料覆盖、状态与例外规则。
- 协同层：检查卡、补问、记录草稿、工单建议、整改对照、复核辅助、复查和学习材料；授权动作经确认后调用接口，成功以回执为准。
- 培育层：记录人工纠错与采用情况，审核案例和规则，发布版本并回测；未经审核的反馈不直接用于训练或覆盖正式知识。

可采用已有视觉语言模型处理图片与文字资料；语音转写按运行条件评估。若小目标定位、读数或计数需要稳定的专用能力，再依据样本表现增加检测组件。以中文现场理解、困难样本、部署条件、响应耗时、维护与使用成本选择模型。企业知识优先通过检索和规则参与推理；是否进行适配训练，待积累审核样本并验证必要性后决定。

公开技术资料提供了图像理解、对象定位与视频时间定位等候选能力，参考[Qwen官方视觉模型资料](https://github.com/QwenLM/Qwen3-VL)、[图像理解文档](https://ai.google.dev/gemini-api/docs/image-understanding)和[视频理解文档](https://ai.google.dev/gemini-api/docs/video-understanding)。基础能力不等于安洁业务场景的可靠性，需独立验证。

## 5. 多模态本体扩展

业务核心保持14类概念组、23个实体、180项属性和38条关系。独立增加4个感知扩展实体：**媒体片段、观察候选、推理运行、确认与纠错事件**，共31项扩展属性及12条条件关系。扩展与核心分别统计；材料仍复用“材料版本”，确认问题仍复用“问题事项”。

感知记录保存图像区域、视频或音频时间、原始与派生版本及坐标映射。推理运行保存实际使用的输入、模型、知识及规则版本；确认记录保存判断人、权限、范围和依据。完整定义见[多模态本体扩展词典](multimodal-ontology.md)。

每项输出必须区分：

| 输出 | 含义 | 后续 |
|---|---|---|
| 可见信息 | 材料中能辨认的对象与现象，附定位和可见范围 | 可核对原材料、纠正或补充 |
| 业务候选 | 结合对象用途与适用要求提出的问题或关联 | 由相应岗位确认身份、范围及规则 |
| 待现场核验 | 单凭材料无法回答的尺寸、状态、性能或范围 | 取得适用证据并由有职责人员判断 |

视觉分数与业务风险等级分别保存。普通照片不能直接证明应急功能或电气性能；相似外观不能代替设备身份；未拍到、被遮挡、视频未采样部分不视为正常。语音中的说法不直接变成已证实事实。后补材料不倒填旧复核。

## 6. 建设路径与竞赛展示

**验证方向：图片与文字辅助巡检。** 选定少量高频可见现象，整理真实且获准使用的材料、业务标注与困难样本，接入模型，完成定位、补问、事项确认及工单草稿。

**二期：短视频、整改对比与对象时间线。** 对同对象前后材料、遮挡、旧图、相似位置和跨项目差异验证，输出逐项对照及复查建议。

**三期：授权办理与持续培育。** 根据接口条件接入任务及工单，处理幂等、失败回执和待办；将纠错、使用与版本验证纳入维护流程。

竞赛主线采用“图片发现 → 语音补充 → 定向补拍 → 本体匹配 → 工单草稿 → 整改对照 → 人工复核 → 知识沉淀”。同一案例同时体现多模态、业务知识、岗位行动和持续培育。当前页面中的示意素材及预设输出用于讲清设计，不参与真实效果评测，也不伪装为模型现场运行。

## 7. 效果验证

使用同一模型，对照直接识图、文档检索增强、本体与规则增强三种配置，保持输入、可用知识、工具权限与预算一致。以人工基线衡量岗位总耗时与修订成本，并单列本体维护成本。

按项目与时间拆分开发和留出数据，同次巡查、原图与裁剪、连续视频帧及同案轮次保持同组，防止相似样本泄漏。保留正常、异常、信息不足和非适用场景；按类别、可见程度与项目分别报告样本数和结果。

- 识别：现象定位、漏报、误报、正确拒识及过度拒识。
- 业务：对象误认、依据适用错误、无出处断言、事项误合并及前后材料错配。
- 协同：补问有效性、人工修订、从问题确认到岗位有效承接的耗时、未承接及错误闭环。
- 运行：响应时间、推理费用、维护工时、失败重试与权限内使用情况。

真实材料按授权用途和项目权限访问；对个人信息采用必要范围内的脱敏处理。原始版本、派生版本和访问记录分别保存。全部指标待实测后报告，不预设准确率或提效比例。