基于海量数据进行终端信息提取的方法、系统和电子设备.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN116016722A(43)申请公布日2023.04.25(21)申请号202211728887.7(22)申请日2022.12.30(71)申请人北京锐安科技有限公司地址100089北京市海淀区西小口路66号中关村东升科技园B-2号楼七层(72)发明人陈富群谢永恒万月亮(74)专利代理机构北京超凡宏宇专利代理事务所(特殊普通合伙)11463专利代理师徐丽(51)Int.Cl.H04L69/22(2022.01)H04L67/52(2022.01)H04L67/303(2022.01)权利要求书2页说明书9页附图2页(54)发明名称基于海量数据进行终端信息提取的方法、系统和电子设备(57)摘要本发明提供了一种基于海量数据进行终端信息提取的方法、系统和电子设备，涉及数据挖掘的技术领域，该方法包括：首先对预先获取的待分析的网络流量进行协议栈解析，生成待提取的非结构化数据；然后对非结构化数据进行解析和匹配处理，提取终端信息；终端信息包括终端设备特征信息和位置信息；其中，终端设备特征信息包括：MAC类别；位置信息包括终端设备的经纬度。通过上述方法解决了现有技术中存在的信息提取效率低、准确率低的技术问题，达到了提高信息提取效率、提高准确率的技术效果。CN116016722ACN116016722A权利要求书1/2页1.一种基于海量数据进行终端信息提取的方法，其特征在于，所述方法包括：对预先获取的待分析的网络流量进行协议栈解析，生成待提取的非结构化数据；对所述非结构化数据进行解析和匹配处理，提取终端信息；所述终端信息包括终端设备特征信息和位置信息；其中，所述终端设备特征信息包括：MAC类别；所述位置信息包括终端设备的经纬度。2.根据权利要求1所述的基于海量数据进行终端信息提取的方法，其特征在于，在对预先获取的待分析的网络流量进行协议栈解析，生成待提取的非结构化数据的步骤之前，所述方法还包括：利用多模匹配算法对网络流量进行正则规则匹配，获取待分析的网络流量；所述正则规则包括：IMEI规则、MAC规则、操作系统版本名称规则。3.根据权利要求2所述的基于海量数据进行终端信息提取的方法，其特征在于，所述协议栈解析包括：底层协议解析和内容提取；对预先获取的待分析的网络流量进行协议栈解析，生成待提取的非结构化数据的步骤，包括：对数据报文进行解析，获取传输层的负载，并将所述传输层的负载作为待提取的非结构化数据输出到指定待提取数据集中。4.根据权利要求1所述的基于海量数据进行终端信息提取的方法，其特征在于，对所述非结构化数据进行解析和匹配处理，提取终端信息的步骤，包括：通过MAC知识库规则进行对比，若符合则直接进行提取；否则，则对所述非结构化数据进行解析和匹配处理，提取终端信息。5.根据权利要求4所述的基于海量数据进行终端信息提取的方法，其特征在于，所述方法还包括：根据所述终端信息，对基于HTTP协议获取的观察窗口期内存储的数据进行分析判定。6.根据权利要求5所述的基于海量数据进行终端信息提取的方法，其特征在于，所述方法还包括：基于HTTP请求或HTTP响应生成key值，在观察窗口期内进行提取、统计和重点数据存储；输出目标数据，所述目标数据包括判定所提取字段具有明确含义，且能够放入确定的字段的数据。7.根据权利要求6所述的基于海量数据进行终端信息提取的方法，其特征在于，所述方法还包括：结合MAC知识库对所述MAC类别进行判定；所述MAC类别包括：wifi‑MAC和终端MAC；结合提取情况和输出情况，将key值及对应样例输出到智能数据挖掘知识库；对数据挖掘的结果进行理解和分析，优化与修订mac知识库。8.一种基于海量数据进行终端信息提取的系统，其特征在于，所述系统包括：数据解析模块，用于对预先获取的待分析的网络流量进行协议栈解析，生成待提取的非结构化数据；智能提取模块，用于对所述非结构化数据进行解析和匹配处理，提取终端信息；所述终端信息包括终端设备特征信息和位置信息；其中，所述终端设备特征信息包括：MAC类别；所述位置信息包括终端设备的经纬度。2CN116016722A权利要求书2/2页9.一种电子设备，包括存储器、处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述权利要求1至7任一项所述的方法的步骤。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有机器可运行指令，所述计算机可运行指令在被处理器调用和运行时，所述计算机可运行指令促使所述处理器运行所述权利要求1至7任一项所述的方法。3CN116016722A说明书1/9页基于海量数据进行终端信息提取的方法、系统和电子设备技术领域[0001]本发明涉及数据挖掘技术领