基于数字孪生的工作效率显示方法、装置及设备.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN114973109A(43)申请公布日2022.08.30(21)申请号202210809701.4G06V40/10(2022.01)(22)申请日2022.07.11G06V10/774(2022.01)G06V10/82(2022.01)(71)申请人卡奥斯工业智能研究院（青岛）有限G06F16/74(2019.01)公司G06N3/04(2006.01)地址266500山东省青岛市中国（山东）自G06N3/08(2006.01)由贸易试验区青岛片区岷山路1号申请人海尔卡奥斯物联生态科技有限公司海尔数字科技（青岛）有限公司(72)发明人王超鲁效平孙明景大智于晓义王玉梅高亚琼(74)专利代理机构北京同立钧成知识产权代理有限公司11205专利代理师李阳刘芳(51)Int.Cl.G06V20/40(2022.01)权利要求书2页说明书12页附图4页(54)发明名称基于数字孪生的工作效率显示方法、装置及设备(57)摘要本发明实施例提供一种基于数字孪生的工作效率显示方法、装置及设备，包括：接收摄像设备的视频数据，并截取得到待处理视频数据；将待处理视频数据分割，得到操作帧集合；将操作帧集合输入人体骨骼识别模型，得到操作骨骼帧序列；将操作骨骼帧序列输入数字孪生应用，以显示操作人员的数字孪生模型；依次对比操作骨骼帧序列中每帧与预设的各种标准动作骨骼帧序列中每帧，得到操作骨骼帧序列的目标工序；将目标工序对应的帧序列确定为目标骨骼帧序列；根据操作骨骼帧序列的帧数与目标骨骼帧序列的帧数，确定对应操作人员的工作效率；将工作效率赋值至对应操作人员的数字孪生模型以进行显示。本申请，解决了管理过程不够直观的问题。CN114973109ACN114973109A权利要求书1/2页1.一种基于数字孪生的工作效率显示方法，其特征在于，包括：接收摄像设备发送的视频数据，并截取所述视频数据中的操作人员工作区域作为待处理视频数据；将所述待处理视频数据按帧分割，得到操作帧集合；将所述操作帧集合输入预先训练得到的人体骨骼识别模型，得到操作骨骼帧序列；将所述操作骨骼帧序列输入预设的数字孪生应用，以显示所述操作人员的数字孪生模型；依次对比所述操作骨骼帧序列中每帧与预设的各种标准动作骨骼帧序列中每帧，得到所述操作骨骼帧序列对应的目标工序，其中每一种所述标准动作骨骼帧序列对应一种工序；将所述目标工序对应的标准动作骨骼帧序列或预先标定的骨骼帧序列确定为目标骨骼帧序列；根据所述操作骨骼帧序列的帧数与目标骨骼帧序列的帧数，确定所述操作骨骼帧序列对应操作人员的工作效率；将所述工作效率赋值至对应操作人员的数字孪生模型以进行显示。2.根据权利要求1所述的方法，其特征在于，所述根据所述操作骨骼帧序列的帧数与目标骨骼帧序列的帧数，确定所述操作骨骼帧序列对应操作人员的工作效率，包括：将所述目标骨骼帧序列的帧数减去所述操作骨骼帧序列的帧数，得到帧数差；将帧数差除以所述目标骨骼帧序列的帧数，得到所述操作骨骼帧序列对应操作人员的相对工作效率。3.根据权利要求1所述的方法，其特征在于，所述依次对比所述操作骨骼帧序列中每帧与预设的各种标准动作骨骼帧序列中每帧，得到所述操作骨骼帧序列对应的目标工序，包括：获取工序动作序列识别模型；将所述操作骨骼帧序列分别与各所述标准动作骨骼帧序列，输入所述工序动作序列识别模型，得到所述操作骨骼帧序列匹配的标准动作骨骼帧序列；将所述匹配的标准动作骨骼帧序列对应的工序，确定为所述操作骨骼帧序列对应的目标工序。4.根据权利要求1所述的方法，其特征在于，所述截取所述视频数据中的操作人员工作区域作为待处理视频数据，包括：获取所述视频数据对应的摄像设备标识；根据所述摄像设备标识，查找预设的操作区域标定信息；根据所述操作区域标定信息，截取所述视频数据中的操作人员工作区域作为待处理视频数据。5.根据权利要求1至4任一项所述的方法，其特征在于，在所述将所述操作骨骼帧序列输入预设的数字孪生应用，得到操作人员的数字孪生模型之后，还包括：获取工厂运行数据，并将所述工厂运行数据输入预获取的生产管理程序，以得到对应的生产需求信息；将所述生产需求信息输入所述预设的数字孪生应用，以在工厂的数字孪生模型中显示2CN114973109A权利要求书2/2页所述生产需求信息。6.根据权利要求1至4任一项所述的方法，其特征在于，所述得到所述操作骨骼帧序列对应的目标工序之后，还包括：对比所述操作骨骼帧序列中每帧与目标工序的标准动作骨骼帧序列中的多个关键帧，得到所述操作骨骼帧中的多个关键帧；读取所述操作骨骼帧序列中各相邻两关键帧之间的各第一帧数；读取所述标准动作骨骼帧序列中各相邻两关键帧之间的各第二帧数；若任一第一帧数大于对应的第二帧数，则生成对应的生