一种农业物联网用冗余数据处理方法及装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN109408466A(43)申请公布日2019.03.01(21)申请号201811294728.4(22)申请日2018.11.01(71)申请人江苏农牧科技职业学院地址225300江苏省泰州市凤凰东路8号(72)发明人叶惠娟毛利陈红娟钱小莉储慧朱云洁潘爱华侯怡吕达奇(74)专利代理机构南京瑞弘专利商标事务所(普通合伙)32249代理人李开婧(51)Int.Cl.G06F16/13(2019.01)G06F16/16(2019.01)G06F16/174(2019.01)G06Q50/02(2012.01)权利要求书2页说明书5页附图1页(54)发明名称一种农业物联网用冗余数据处理方法及装置(57)摘要本发明公开了一种农业物联网用冗余数据处理方法及装置，通过选择农业网联网中最优传感节点收集同类型的传感数据，将预定时间段内的数据流中的小文件合并成归档大文件，并分割成多个文件，以及根据多个文件建立多条线程进行数据处理任务，对数据进行预处理，将不完整数据进行填充，比较完整数据文件中两两数据间的哈希值，删除冗余数据，从而解决了现有技术中农业物联网传感数据存在的数据缺失、数据错误、冗余数据等问题。CN109408466ACN109408466A权利要求书1/2页1.一种农业物联网用冗余数据处理方法，应用于农业物联网的感测数据处理，其特征在于，所述方法包括：对不同感测类型的传感器节点进行筛查，选择一个传感器节点作为该感测类型的主节点，所述主节点收集所述感测类型下的传感数据；在每个所述感测类型下接收传感器实时传输的数据流，设定数据读取时间段N，在所述读取时间段N内截取M个归档时间段，将每个所述归档时间段中的小文件根据分布式文件系统的归档方法得到M个归档大文件，其中N、M为≥1的自然数；建立和M个归档大文件数量相同的M条数据处理线程，每条数据处理线程对应一个数据处理任务；每个数据处理任务进行对每个所述归档大文件中的数据块设置邻域半径的大小和邻域内最小值点的个数，对所述数据块划分成多个簇，根据所述簇的中心点与所述数据块中的数据的相似度的计算值进行数据填充，选择距离所述数据最近的所述中心点所属于的簇并把所述数据赋给该簇，得到所述感测类型的完整数据文件；设定滑动窗口，通过对所述完整数据文件进行哈希值计算，根据得到的哈希值遍历已有的列表，确认是否有相同的哈希值；如果有相同的哈希值，则代表记录已存在并在所述完整数据文件中删除。2.根据权利要求1所述的方法，其特征在于，进一步的，所述选择一个传感器节点作为该感测类型的主节点包括：选择设定一个周期内使用频率最低的传感器节点作为该感测类型的主节点，或者，选择设定一个周期内具有最高准确度的传感器节点作为该感测类型的主节点。3.根据权利要求1所述的方法，其特征在于，进一步的，所述确认是否有重复的哈希值，如果没有相同的哈希值，则保留该记录并继续遍历。4.一种农业物联网用冗余数据处理装置，应用于农业物联网的感测数据处理，其特征在于，所述装置包括：主节点处理模块，对不同感测类型的传感器节点进行筛查，选择一个传感器节点作为该感测类型的主节点，所述主节点收集所述感测类型下的传感数据；文件归档模块，在每个所述感测类型下接收传感器实时传输的数据流，设定数据读取时间段N，在所述读取时间段N内截取M个归档时间段，将每个所述归档时间段中的小文件根据分布式文件系统的归档方法得到M个归档大文件，其中N、M为≥1的自然数；线程建立模块，建立和所述M个归档大文件数量相同的M条数据处理线程，每条所述数据处理线程对应一个数据处理任务；数据填充模块，对每个所述归档大文件中的数据块设置邻域半径的大小和邻域内最小值点的个数，对所述数据块划分成多个簇，根据所述簇的中心点与所述数据块中的数据的相似度的计算值进行数据填充，选择距离所述数据最近的所述中心点所属于的簇并把所述数据赋给该簇，得到所述感测类型的完整数据文件；遍历模块，设定滑动窗口，通过对所述完整数据文件进行哈希值计算，根据得到的哈希值遍历已有的列表，确认是否有相同的哈希值；结果处理模块，如果有相同的哈希值，则代表记录已存在并在所述完整数据文件中删除。2CN109408466A权利要求书2/2页5.根据权利要求4所述的装置，其特征在于，所述主节点选择模块进一步包括：选择设定一个周期内使用频率最低的传感器节点作为该感测类型的主节点，或者，选择设定一个周期内具有最高准确度的传感器节点作为该感测类型的主节点。6.根据权利要求4所述的装置，其特征在于，所述结果处理模块进一步包括：所述确认是否有重复的哈希值，如果没有相同的哈希值，则保留该记录并继续遍历。3CN109408466A说明书1/5页一种农业物联网用冗余数据处理方法及装置