URL相似度检测方法、装置、设备及存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114186150A(43)申请公布日2022.03.15(21)申请号202111545196.9(22)申请日2021.12.16(71)申请人中国电信股份有限公司地址100033北京市西城区金融大街31号(72)发明人游丽娜钟良志(74)专利代理机构北京律智知识产权代理有限公司11438代理人孙宝海阚梓瑄(51)Int.Cl.G06F16/955(2019.01)权利要求书2页说明书10页附图5页(54)发明名称URL相似度检测方法、装置、设备及存储介质(57)摘要本申请涉及web安全技术领域，公开了一种URL相似度检测方法、装置、设备及存储介质，所述方法包括：获取源URL和目标URL；按照URL的层次结构和特殊字符对所述源URL进行分词，得到源分词序列；按照URL的层次结构和特殊字符对所述目标URL进行分词，得到目标分词序列；将所述目标分词序列中的分词和所述源分词序列中的分词作为最小测量单元，确定所述目标URL与所述源URL的编辑距离；根据所述编辑距离，确定所述目标URL与所述源URL的相似度。本申请提高URL相似检测准确性。CN114186150ACN114186150A权利要求书1/2页1.一种URL相似度检测方法，其特征在于，所述方法包括：获取源URL和目标URL；按照URL的层次结构和特殊字符对所述源URL进行分词，得到源分词序列；按照URL的层次结构和特殊字符对所述目标URL进行分词，得到目标分词序列；将所述目标分词序列中的分词和所述源分词序列中的分词作为最小测量单元，确定所述目标URL与所述源URL的编辑距离；根据所述编辑距离，确定所述目标URL与所述源URL的相似度。2.根据权利要求1所述的URL相似度检测方法，其特征在于，所述方法还包括：对所述源URL中满足预设规则的字符串进行泛化处理，得到第一泛化变量集；对所述目标URL中满足所述预设规则的字符串进行泛化处理，得到第二泛化变量集；根据所述第一泛化变量和所述第二泛化变量集的并集，得到第三泛化变量集；将所述目标分词序列和所述源分词序列中的分词作为最小测量单元，确定所述目标URL与所述源URL的编辑距离，包括：将所述目标分词序列和所述源分词序列中的分词作为最小测量单元，递归计算所述源分词序列中的前M个分词与所述目标分词序列中的前N个分词的编辑距离；其中，若所述源分词序列中的第M个分词和所述目标分词序列中的第N个分词均属于所述第三泛化变量集，则所述源分词序列中的前M个分词与所述目标分词序列中的前N个分词的编辑距离小于等于所述源分词序列中的前M‑1个分词与所述目标分词序列中的前N‑1个分词的编辑距离,1≤M,1≤N。3.根据权利要求2所述的URL相似度检测方法，其特征在于，所述将所述目标分词序列和所述源分词序列中的分词作为最小测量单元，确定所述目标URL与所述源URL的编辑距离，包括：采用如下公式，确定所述目标URL与所述源URL的检测矩阵；其中，a代表所述源分词序列，b代表所述源分词序列,leva,b(i,j)代表a中前i个分词和b中前j个分词的编辑距离，0≤i≤m,0≤j≤n,L代表所述第三泛化变量集；确定所述检测矩阵中leva,b(m,n)为所述目标URL与所述源URL的编辑距离。4.根据权利要求1所述的URL相似度检测方法，其特征在于，所述根据所述编辑距离，确定所述目标URL与所述源URL的相似度，包括：将所述源URL与目标URL的编辑距离归一化，得到归一化后编辑距离；据所述归一化后编辑距离，确定所述目标URL与所述源URL的相似度。5.根据权利要求4所述的URL相似度检测方法，其特征在于，所述将所述源URL与目标URL的编辑距离归一化，得到归一化后编辑距离，包括：获取所述目标分词序列的分词个数；2CN114186150A权利要求书2/2页将所述源URL与目标URL的编辑距离和所述分词个数的比值作为所述归一化后编辑距离。6.根据权利要求1所述的URL相似度检测方法，其特征在于，所述根据所述编辑距离，确定所述目标URL与所述源URL的相似度，包括：若所述编辑距离大于等于预设阈值，则确定所述目标URL与所述源URL不相似；若所述编辑距离小于所述预设阈值，则确定所述目标URL与所述源URL相似。7.根据权利要求1所述的URL相似度检测方法，其特征在于，所述按照URL的层次结构和特殊字符对所述源URL进行分词，得到源分词序列，包括：按照URL的层次结构进行所述源URL进行分割，得到多个子单元；按照URL的特殊字符和预设的正则表达式分别对所述多个子单元进行符号分割，得到多个字符子串；通过最大匹配算法对所述多个字符子串分别进行分割，得到所述源分词序列。8.一种URL相似度检测装置，其特征在