基于虚实融合的VR远程火灾勘验系统和方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN116152470A(43)申请公布日2023.05.23(21)申请号202310166238.0(22)申请日2023.02.22(71)申请人中国科学院宁波材料技术与工程研究所地址315201浙江省宁波市镇海区庄市大道519号(72)发明人王杰张晓露许根黄业鹏王菊金志佳徐晓琳肖江剑(74)专利代理机构南京利丰知识产权代理事务所(特殊普通合伙)32256专利代理师王锋(51)Int.Cl.G06T19/00(2011.01)G06T15/00(2011.01)G06F3/01(2006.01)权利要求书2页说明书7页附图1页(54)发明名称基于虚实融合的VR远程火灾勘验系统和方法(57)摘要本发明公开了一种基于虚实融合的VR远程火灾勘验系统和方法。所述系统包括：三维模型模块，用于构建火灾现场的三维模型；实时全景预览模块，用于构建实时VR全景火灾现场与地图导航，并基于远程勘察者的实时眼动数据进行实时渲染；物证标注模块，用于对物品进行自动标注，生成多个标注信息，然后将所述标注信息呈现给所述远程勘察者，并接收所述远程勘察者的修订操作，以对所述标注信息进行保留和/或修改；远程交互模块，用于建立多个所述远程勘察者之间和/或所述远程勘察者与现场勘察者之间的实时信息交互。本发明提供的系统和方法的运行效率高，勘验操作便利性强，能够建立身临其境的三维火灾现场，便于远程勘察者远程勘验评判。CN116152470ACN116152470A权利要求书1/2页1.一种基于虚实融合的VR远程火灾勘验系统，其特征在于，包括：三维模型模块，用于基于火灾现场的影像，采用Neff三维重建技术并结合多分辨率哈希网格编码技术构建火灾现场的三维模型；实时全景预览模块，用于基于所述三维模型构建实时VR全景火灾现场与地图导航，并基于远程勘察者的实时眼动数据对所述VR全景火灾现场对应的局部细节进行实时渲染；物证标注模块，用于自动识别所述VR全景火灾现场中的所有物品，并对所述物品进行自动标注，生成多个标注信息，然后将所述标注信息呈现给所述远程勘察者，并接收所述远程勘察者的修订操作，以对所述标注信息进行保留和/或修改；远程交互模块，用于建立多个所述远程勘察者之间和/或所述远程勘察者与现场勘察者之间的实时信息交互。2.根据权利要求1所述的VR远程火灾勘验系统，其特征在于，所述实时全景预览模块包括导航生成单元，所述导航生成单元用于基于所述三维模型分析获取对应的火灾现场的火情信息，并基于所述火情信息生成所述地图导航；其中，所述火情信息至少用于指示所述火灾现场的火灾严重程度，所述地图导航中至少指示出所述火灾现场的多个区域的火灾严重程度；优选的，所述火灾严重程度是通过yolo算法识别火灾现场的发黑程度的面积来进行分析。3.根据权利要求2所述的VR远程火灾勘验系统，其特征在于，所述实时全景预览模块还包括场景跳转单元，所述场景跳转单元用于接收所述远程勘察者的查看指令，并基于所述查看指令跳转至所述VR全景火灾现场的对应区域。4.根据权利要求3所述的VR远程火灾勘验系统，其特征在于，所述场景跳转单元根据所述实时眼动数据获取所述远程勘察者的注意力区域，并基于所述注意力区域的所在位置跳转至所述VR全景火灾现场的对应区域；优选的，所述注意力区域选自所述远程勘察者的注视时长在预设时长以上的区域；优选的，当所述远程勘察者的注意力区域处于当前所呈现的第一对应区域对应在所述地图导航中的不同位置时，跳转至当前注意力区域对应的第二对应区域中。5.根据权利要求1所述的VR远程火灾勘验系统，其特征在于，所述物证标注模块包括自动标注单元、标注查看单元、标注修订单元；所述自动标注单元用于生成所有物品中能够作为物证的物品的标注信息；所述标注查看单元用于接收所述远程勘察者的查看指令，将所述标注信息呈现给所述远程勘察者；所述标注修订单元用于接收所述修订操作，并基于所述修订操作对所述标注信息进行修改、保存或删除的操作。6.根据权利要求5所述的VR远程火灾勘验系统，其特征在于，所述物证标注模块还包括标注收藏单元，用于接收所述远程勘察者的收藏操作，将对应的所述标注信息收藏于所述远程勘察者的收藏库中；优选的，所述远程交互模块所交互的实时信息交互至少包括多个所述远程勘察者对应的收藏库中的标注信息和/或对所述标注信息进行的修改或删除操作记录。7.根据权利要求5所述的VR远程火灾勘验系统，其特征在于，所述自动标注单元根据不2CN116152470A权利要求书2/2页同物品之间的从属关系建立知识谱图，通过知识图谱的关联程度分析所述物证的重要程度数据，并进行物证属性的标注，所述标注信息至少包含所述重要程度数据和物证属性。8.一种基于虚实融合的VR远程火灾勘验方法，其特征在于，利