# 安洁物业多模态本体智能体：感知扩展设计

## 业务目标与架构定位

员工拍照、录制巡查视频或口述情况后，系统能够提出可定位的疑似问题，说明依据和缺口，连接项目对象、适用要求、任务与历史事项，协助形成记录、办理建议和复查清单。模型负责感知与表达，业务本体固定对象身份、关系、版本和约束，人员完成必要确认与授权办理。问答、看图、语音记录与整改比对共同服务安全治理闭环。

现有业务本体基线为 **14 类概念分组、23 个核心实体、180 项属性、38 条关系**。本设计增加四个感知扩展实体，其字段与关系单独统计，不改变基线口径。上传文件沿用“材料版本”，确认的问题沿用“问题事项”，避免另建一套与原工单割裂的数据。

本方案属于拟建设计；尚未接入识别模型或生产接口，未提供准确率、提效或自动闭环的实测结论。“多模态本体智能体”表达多模态模型与业务本体协同，不暗示已训练安洁自有基础大模型。

## 四个感知扩展实体

| 实体 | 保存什么 | 与现有业务的连接 |
| --- | --- | --- |
| 媒体片段 | 图片区域、视频时段、语音片段、文档页块及其实际版本、坐标、时间与质量 | 定位到材料版本，沿来源追溯执行记录；关联对象身份仍可待核 |
| 观察候选 | 可见现象、陈述内容、疑似问题解释、证据锚点、不确定性和补证建议 | 对应安全对象候选、核验项和适用要求；确认后再建立问题事项关联 |
| 推理运行 | 本次使用的输入版本、分析范围、模型与规则配置、知识依据、输出和失败记录 | 固定当时的材料与要求版本，后补资料触发新运行，不倒填旧结论 |
| 确认与纠错事件 | 谁审了什么、判断范围、决定、理由、更正及业务承接结果 | 引用有效职责授权，形成事项关联或材料支持关系，保留原流程权限 |

候选须能回答四个问题：**看见或听见了什么、在哪个片段、据何提出问题、还缺什么事实**。不确定性应具体到遮挡、对象身份不明、时间缺失或依据不适用，而不是只给一个百分比。模型未提供且未校准的分数不能包装为准确概率；视觉分数、风险等级与处置优先级分别保存。

## 从上传材料到业务承接

1. **接收与定位。** 保留原始材料版本，生成必要的脱敏、裁剪或转码版本，并记录派生链。每个矩形或多边形保存坐标单位、基准尺寸和原点；裁剪、缩放、旋转须能映射回原图。映射缺失时保留说明，不显示虚假的精确位置。
2. **感知与组织。** 将照片区域、视频片段、语音陈述和 OCR 结果组织为候选。可见事实与业务解释分别表达。同一画面出现多种问题时逐项保存；相似外观不直接证明同一设备，文字相似不直接合并历史事项。
3. **本体约束与补证。** 结合已确认的项目、对象、检查项和有效要求提出解释，引用实际使用的依据版本。适用范围、现场身份或功能状态不明时，建议补拍、核实或提交相应记录；材料不足时允许明确返回“无法判断”。
4. **确认与办理。** 人员确认或纠错后，按原流程登记事项、形成核验意见或办理草稿。拟稿、已提交和岗位已接受分别留痕。观察成立不直接等于工单派发成功，外观变化不直接等于专业复核通过或销项。

采集时刻、上传时刻、分析时刻及视频或音频内时间分别保存。只有起点和时钟关系可靠时，媒体内秒数才换算为现场时间。视频需记录总时长、分析时段、抽帧策略及失败区间；未采样时段属于覆盖缺口，不能因抽取帧没有异常就判断全程无异常。

## 一个完整业务例子

员工上传一张走廊照片，并口述“这里又放了东西”。系统先圈出画面中的堆物，形成“通行区域内可见物品”的观察候选；“又”只作为员工陈述保存，不能据此确认复发。项目、具体位置、通道用途或适用要求尚不明确时，系统提示核对位置、补充全景或选择检查项。

人员确认对象和业务性质后，系统协助检索历史事项：同一问题尚未解决，追加发现记录；原事项已解决而现象再次出现，提出复发候选；身份不足则保持待核。三种情况分别处理，不凭照片相似度自动归并。办理建议携带对象、现象、依据、材料和待确认项，交给适用岗位确认承接。

整改后上传新照片，系统先核对对象、时间和可比视角，提示原堆物区域是否仍被遮挡、材料是否覆盖本次事项，再形成核验意见草稿。画面中看不到堆物，只能支持该可见范围内的变化；其他位置、功能状态及专业结论按相应要求核实。人员判断紧急或符合既有预案条件时，先按原响应流程办理，不等待 AI 分析。

## 多模态能力与持续改进

照片可定位疑似隐患并指导补拍；视频可组织带时间定位的观察清单；语音可整理待确认巡检记录；铭牌、表计和表单 OCR 可减少重复录入；整改前后材料可辅助核对变化与证据缺口。上述能力共享同一对象与事项身份，支持围绕真实业务的追问，例如“这张图能证明整改完成到什么范围”。口述“已修复”是来源陈述，读出数值也不自动证明运行正常。

纠错按误报、漏报、对象误配、坐标错误、依据不适用和材料质量分别归因。样本先经脱敏、权限核对与业务审定，再进入知识、规则、提示或训练更新；人工点击确认不触发自动训练。评测使用独立样本，覆盖跨项目、夜间、遮挡和复杂背景，分别观察发现能力、错误肯定、定位与身份错误、补证有效性及人工修订成本，不能用单一“识别准确率”替代业务成效。

所有输出保留来源与版本。图片、音频和文档中的文字作为待分析内容处理，不成为操作指令。公开演示使用脱敏资料，原始材料访问遵从项目权限；模型观察、人工确认、岗位承接和授权复核始终可以分别追溯。