基于日志报警的方法和装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113254319A(43)申请公布日2021.08.13(21)申请号202010088812.1(22)申请日2020.02.12(71)申请人北京沃东天骏信息技术有限公司地址100176北京市北京经济技术开发区科创十一街18号院2号楼4层A402室申请人北京京东世纪贸易有限公司(72)发明人李旭(74)专利代理机构中原信达知识产权代理有限责任公司11219代理人张一军郭晗(51)Int.Cl.G06F11/34(2006.01)G06F11/32(2006.01)权利要求书2页说明书12页附图6页(54)发明名称基于日志报警的方法和装置(57)摘要本发明公开了基于日志报警的方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：建立与系统相关的日志数据集；从所述日志数据集中提取异常指示信息组；根据特定聚类深度对与所述异常指示信息组关联的日志数据进行聚类，得到聚类结果；以及当所述聚类结果触发预定报警阈值时，向终端发送报警信息。该实施方式避免了因为埋点引入错误，提高了报警时效性。CN113254319ACN113254319A权利要求书1/2页1.一种基于日志报警的方法，其特征在于，包括：建立与系统相关的日志数据集；从所述日志数据集中提取异常指示信息组；根据特定聚类深度对与所述异常指示信息组关联的日志数据进行聚类，得到聚类结果；以及当所述聚类结果触发预定报警阈值时，向终端发送报警信息。2.根据权利要求1所述的方法，其特征在于，其中，所述异常指示信息组包括与所述异常关联的以下中的一个或多个：时间信息、机器信息、异常来源信息、文本提示信息、位置信息和特殊ID信息。3.根据权利要求1所述的方法，其特征在于，其中，所述特定聚类深度与最佳泛化表示相关联，所述最佳泛化表示通过以下公式组计算得到，并且其中，所述最佳泛化表示是H(C)值最小时对应的g：其中，C表示报警日志集合；a表示C中的报警日志；g是C的一个泛化表示；D表示两个元素之间的不相似程度；Ai表示报警日志的属性；并且Dom是Ai的值域。4.根据权利要求1所述的方法，其特征在于，其中，与所述系统相关的所述日志数据集是所述系统运行过程中的实时日志流。5.一种基于日志报警的装置，其特征在于，包括：数据集建立模块，用于建立与系统相关的日志数据集；信息提取模块，用于从所述日志数据集中提取异常指示信息组；聚类模块，用于根据特定聚类深度对与所述异常指示信息组关联的日志数据进行聚类，得到聚类结果；以及报警模块，用于当所述聚类结果触发预定报警阈值时，向终端发送报警信息。6.根据权利要求5所述的装置，其特征在于，其中，所述异常指示信息组包括与所述异常关联的以下中的一个或多个：时间信息、机器信息、异常来源信息、文本提示信息、位置信息和特殊ID信息。7.根据权利要求5所述的装置，其特征在于，其中，所述特定聚类深度与最佳泛化表示相关联，所述最佳泛化表示通过以下公式组计算得到，并且其中，所述最佳泛化表示是H(C)值最小时对应的g：其中，C表示报警日志集合；a表示C中的报警日志；g是C的一个泛化表示；D表示两个元素之间2CN113254319A权利要求书2/2页的不相似程度；Ai表示报警日志的属性；并且Dom是Ai的值域。8.根据权利要求5所述的装置，其特征在于，其中，与所述系统相关的所述日志数据集是所述系统运行过程中的实时日志流。9.一种基于日志报警的电子设备，其特征在于，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-4中任一所述的方法。10.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-4中任一所述的方法。3CN113254319A说明书1/12页基于日志报警的方法和装置技术领域[0001]本发明涉及计算机技术领域，尤其涉及一种基于日志报警的方法和装置。背景技术[0002]随着互联网的发展，各类系统也越来越复杂，因此对系统的监控显得尤为重要。目前市场上开源的监控系统有例如smokeping、cacti、nagios、zabbix和ntop等。现有的监控系统通常采用埋点的方式，定时采集系统信息，然后通过分析采集到的信息来决定是否需要报警。通过现有技术中的这类监控系统我们只能通过告警知道发生了问题，但是不知道问题所在，想要知道问题我们还要去看日志。[0003]在实现本发明过程中，发明人发现现有技术中至少存在如下问题：[0004]1、需要在系统中埋点，这种埋点定时上报的方式需要预先埋点，如果开发过程中没有埋点就无法采集到相关信息并报警。[0005]2、因为埋点所以对代码有侵入性，此