一种用于智慧城市的多源异构数据处理方法及系统.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115858895A(43)申请公布日2023.03.28(21)申请号202310139174.5(22)申请日2023.02.21(71)申请人山东优嘉环境科技有限公司地址276000山东省临沂市高新区应用科学城A座701(72)发明人梁聪王梓旭王一涵杨厚鑫林俊杰(74)专利代理机构郑州知倍通知识产权代理事务所(普通合伙)41191专利代理师邱珍珍(51)Int.Cl.G06F16/906(2019.01)G06F16/215(2019.01)G06F18/22(2023.01)G06Q50/26(2012.01)权利要求书2页说明书9页附图1页(54)发明名称一种用于智慧城市的多源异构数据处理方法及系统(57)摘要本发明涉及数据处理技术领域，具体涉及一种用于智慧城市的多源异构数据处理方法及系统。该方法包括：采集多源异构数据，将同一类型的多源异构数据作为同类型数据，确定待处理数据与模板数据，计算待处理数据段与模板数据段间的差异作为数据波动程度；搭建数据坐标系，确定待处理坐标点和模板坐标点，对待处理坐标点和模板坐标点进行动态时间规整处理，获取待处理数据段的偏移方向，得到拓展数据段，确定拓展数据段与待处理数据段的匹配程度；计算待处理数据的噪声可能性指标，根据噪声可能性指标从同类型数据中确定正常数据与噪声数据，标记噪声数据得到标记结果，将标记结果作为处理结果。本发明能够增强多源异构数据处理的可靠性。CN115858895ACN115858895A权利要求书1/2页1.一种用于智慧城市的多源异构数据处理方法，其特征在于，所述方法包括：采集多源异构数据，根据数据类型对所述多源异构数据进行分类，将同一类型的所述多源异构数据作为同类型数据，从所述同类型数据中任选某一数据作为待处理数据，确定所述待处理数据与相邻的所述同类型数据间的数据差异；将包含所述待处理数据的第一预设数量个相邻的所述同类型数据作为待处理数据段，获取历史数据，确定与所述待处理数据段中的数据同时刻的所述历史数据为模板数据，将所述模板数据组合作为模板数据段，计算所述待处理数据段与所述模板数据段间的差异作为数据波动程度；搭建数据坐标系，从所述数据坐标系中确定待处理坐标点和模板坐标点，对所述待处理坐标点和所述模板坐标点进行动态时间规整处理，获取所述待处理数据段的偏移方向，根据所述偏移方向和所述数据波动程度，对所述模板数据段进行拓展，得到拓展数据段，确定所述拓展数据段与所述待处理数据段的匹配程度；根据所述数据差异和所述匹配程度，计算所述待处理数据的噪声可能性指标，遍历所有类型的所述同类型数据，根据所述噪声可能性指标从所述同类型数据中确定正常数据与噪声数据，标记所述噪声数据得到标记结果，将所述标记结果作为所述多源异构数据的处理结果。2.如权利要求1所述的方法，其特征在于，所述确定所述待处理数据与相邻的所述同类型数据间的数据差异，包括：确定与所述待处理数据相邻的第二预设数量个所述同类型数据作为相邻数据；分别计算所述待处理数据与每个所述相邻数据间的差值绝对值作为相邻差异；计算所有所述相邻差异的和值归一化值作为所述数据差异。3.如权利要求1所述的方法，其特征在于，所述计算所述待处理数据段与所述模板数据段间的差异作为数据波动程度，包括：计算所述待处理数据段中的数据与同时刻的所述模板数据段中的数据的差值绝对值作为同时刻数据差异；计算所有所述同时刻数据差异的和值归一化值作为所述数据波动程度。4.如权利要求1所述的方法，其特征在于，所述搭建数据坐标系，从所述数据坐标系中确定待处理坐标点和模板坐标点，包括：以所述时间为横轴，所述数据值为纵轴搭建所述数据坐标系；按照时序顺序将所述待处理数据段中的数据映射至所述数据坐标系中，得到待处理坐标点，按照时序顺序将所述模板数据段中的数据映射至所述数据坐标系中，得到模板坐标点。5.如权利要求1所述的方法，其特征在于，所述对所述待处理坐标点和所述模板坐标点进行动态时间规整处理，获取所述待处理数据段的偏移方向，包括：基于动态时间规整算法对所述待处理坐标点和所述模板坐标点进行动态时间规整处理，确定相匹配的所述待处理坐标点和所述模板坐标点作为匹配数据对；计算所述匹配数据对中所述待处理坐标点的横坐标值和所述模板坐标点的横坐标值的差值为横轴差值，将所有所述匹配数据对的所述横轴差值的和值作为偏移系数；在所述偏移系数为非负值时，确定所述待处理数据段向右偏移；在所述偏移系数为负2CN115858895A权利要求书2/2页值时，确定所述待处理数据段向左偏移。6.如权利要求1所述的方法，其特征在于，所述根据所述偏移方向和所述数据波动程度，对所述模板数据段进行拓展，得到拓展数据段，包括：计算所述数据波动程度和所述第一预设数量