处理日志数据的方法、装置、存储介质及系统.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115017005A(43)申请公布日2022.09.06(21)申请号202210455496.6(22)申请日2022.04.24(71)申请人阿里巴巴（中国）有限公司地址311121浙江省杭州市余杭区五常街道文一西路969号3幢5层554室(72)发明人顾明(74)专利代理机构北京博浩百睿知识产权代理有限责任公司11134专利代理师谢湘宁李静茹(51)Int.Cl.G06F11/30(2006.01)G06F16/18(2019.01)权利要求书3页说明书15页附图5页(54)发明名称处理日志数据的方法、装置、存储介质及系统(57)摘要本发明公开了一种处理日志数据的方法、装置、存储介质及系统。其中，该方法包括：获取待处理的语音信号；将语音信号转换为时频谱信号；对时频谱信号进行卷积混合处理，得到关键词检测结果；基于关键词检测结果对应的控制指令，执行目标控制操作。本发明解决了相关技术中由于APP版本的高频次更新而造成的对于埋点日志的监测时效性差的技术问题。CN115017005ACN115017005A权利要求书1/3页1.一种处理日志数据的方法，其特征在于，包括：对日志数据流进行清洗，得到多个第一埋点日志；对所述多个第一埋点日志进行分组，得到目标分组结果；基于所述目标分组结果进行数据校验，得到校验结果；对所述校验结果进行统计分析，得到分析结果，其中，所述分析结果用于确定是否发出告警通知。2.根据权利要求1所述的方法，其特征在于，对所述日志数据流进行清洗，得到所述多个第一埋点日志包括：提取所述日志数据流中每个埋点日志的日志信息，其中，所述日志信息包括：第一组成信息和第二组成信息，所述第一组成信息为埋点规则结构信息，所述第二组成信息为通用属性信息，所述第一组成信息至少包括：所述日志数据流中每个埋点日志的事件编码；基于所述日志数据流中每个埋点日志的事件编码，对所述日志数据流进行过滤，得到过滤结果，其中，所述过滤结果包括：所述日志数据流中所述事件编码符合预设条件的部分埋点日志；利用所述第一组成信息的结构完整度对所述过滤结果进行过滤，得到所述多个第一埋点日志。3.根据权利要求2所述的方法，其特征在于，所述第一组成信息还包括：所述日志数据流中每个埋点日志的日志上报时间，对所述多个第一埋点日志进行分组，得到所述目标分组结果包括：利用所述多个第一埋点日志中每个埋点日志的所述日志上报时间对所述多个第一埋点日志进行过滤，得到多个第二埋点日志；基于所述多个第二埋点日志中每个埋点日志的所述第二组成信息，对所述多个第二埋点日志进行分组，得到初始分组结果；通过所述初始分组结果中每个埋点日志的所述日志上报时间对所述初始分组结果进行分组，得到所述目标分组结果。4.根据权利要求3所述的方法，其特征在于，通过所述初始分组结果中每个埋点日志的日志上报时间对所述初始分组结果进行分组，得到所述目标分组结果包括：通过所述初始分组结果中每个埋点日志的所述日志上报时间，查找所述日志上报时间所在时间分片对应的第一存储区域；获取所述第一存储区域的日志数据存储量；响应于所述日志数据存储量未超过第一预设阈值，将所述初始分组结果中每个埋点日志分别投递至所述第一存储区域，得到所述目标分组结果；和/或，响应于所述日志数据存储量超过所述第一预设阈值，从所述第一存储区域中淘汰部分日志数据，并将所述初始分组结果中每个埋点日志分别投递至所述第一存储区域，得到所述目标分组结果，其中，所述部分日志数据由所述第一存储区域对应的待投递日志数据量确定。5.根据权利要求2所述的方法，其特征在于，所述第一组成信息还包括：所述日志数据流中每个埋点日志的资源位标识、埋点行为标识和埋点事件标识，基于所述目标分组结果进行数据校验，得到所述校验结果包括：基于所述目标分组结果中每个埋点日志的资源位标识、埋点行为标识和埋点事件标识2CN115017005A权利要求书2/3页构造索引标识；利用所述索引标识查找所述目标分组结果中每个埋点日志对应的埋点规则，其中，所述埋点规则用于验证所述目标分组结果中是否存在错误日志数据；依据所述埋点规则对所述目标分组结果中每个埋点日志进行数据校验，得到所述校验结果。6.根据权利要求5所述的方法，其特征在于，利用所述索引标识查找所述目标分组结果中每个埋点日志对应的埋点规则包括：利用所述索引标识从本地缓存中查找所述目标分组结果中每个埋点日志对应的埋点规则；响应于所述本地缓存中未查找所述埋点规则，利用所述索引标识从埋点规则数据库中查找所述目标分组结果中每个埋点日志对应的埋点规则。7.根据权利要求5所述的方法，其特征在于，所述埋点规则包括：验证规则，所述第一组成信息还包括：所述日志数据流中每个埋点日志的自定义服务数据，依据所述埋点规则