日志采集装置、方法和计算机可读存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN112306827A(43)申请公布日2021.02.02(21)申请号202010218588.3(22)申请日2020.03.25(71)申请人北京沃东天骏信息技术有限公司地址100176北京市大兴区北京经济技术开发区科创十一街18号院2号楼4层A402室申请人北京京东世纪贸易有限公司(72)发明人郭彦涛王如星(74)专利代理机构中国贸促会专利商标事务所有限公司11038代理人李昊许蓓(51)Int.Cl.G06F11/34(2006.01)权利要求书2页说明书7页附图4页(54)发明名称日志采集装置、方法和计算机可读存储介质(57)摘要本发明公开了一种日志采集装置、方法和计算机可读存储介质，涉及计算机技术领域。日志采集方法包括：响应于获取日志，通过多个入队线程向环形队列中写入日志，并且在通过每个入队线程写入日志时，循环尝试获取环形队列对应的入队指针、并向入队指针指向位置的下一个位置写入日志，直到写入成功，在入队指针指向位置的下一个位置为空的情况下，写入成功；根据环形队列对应的出队指针从环形队列中读取日志；将读取的日志发送给服务器。本发明能够提高日志采集的效率和处理性能，满足高吞吐量、低时延的要求。CN112306827ACN112306827A权利要求书1/2页1.一种日志采集方法，包括：响应于获取日志，通过多个入队线程向环形队列中写入所述日志，并且在通过每个入队线程写入所述日志时，循环尝试获取所述环形队列对应的入队指针、并向所述入队指针指向位置的下一个位置写入所述日志，直到写入成功，其中，在所述入队指针指向位置的下一个位置为空的情况下，写入成功；根据所述环形队列对应的出队指针从所述环形队列中读取日志；将读取的日志发送给服务器。2.根据权利要求1所述的日志采集方法，其中，每个环形队列对应一个出队线程；所述根据所述环形队列对应的出队指针从所述环形队列中读取日志包括：通过所述出队线程、利用原子操作批量获取相应的环形队列中的日志，并清空所述相应的环形队列中被读取的日志。3.根据权利要求1所述的日志采集方法，其中，所述环形队列有多个；所述日志采集方法还包括：确定获取日志的时间的哈希值；将所述日志分配给所述哈希值对应的环形队列进行存储。4.根据权利要求1所述的日志采集方法，还包括：在所述入队指针指向位置的下一个位置不为空的情况下，为相应的日志分配其他环形队列进行存储。5.根据权利要求1所述的日志采集方法，还包括：初始化预设数量的环形队列；响应于当前队列均已填满，创建新的环形队列。6.根据权利要求1所述的日志采集方法，还包括：在当前环形队列的数量高于所述初始队列数量、并且环形队列的最后被写入日志的时间距离当前时间的时间长度超过阈值的情况下，销毁相应的环形队列。7.根据权利要求1所述的日志采集方法，还包括：在获取到结束日志采集服务对应的进程的指示后，将所述环形队列中的日志进行本地存储；在所述日志采集服务下一次启动时，将本地存储的消息发送给服务器。8.根据权利要求1～7中任一项所述的日志采集方法，其中，所述环形队列是通过原子型数组结构实现的。9.一种日志采集装置，包括：日志采集接口，被配置为获取日志；环形队列，被配置为存储日志，其中，所述环形队列对应的入队指针指向所述环形队列中最后一个被写入的位置、出队指针指向所述环形队列中最后一个被读取的位置；入队模块，包括多个入队线程，每个入队线程被配置为循环尝试获取所述入队指针、并向所述入队指针指向位置的下一个位置写入所述日志，直到写入成功，其中，在所述入队指针指向位置的下一个位置为空的情况下，写入成功；出队模块，被配置为根据所述出队指针从所述环形队列中读取日志，并将读取的日志发送给日志发送组件；2CN112306827A权利要求书2/2页日志发送组件，被配置为将获取的日志发送给服务器。10.一种日志采集装置，包括：存储器；以及耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行如权利要求1～8中任一项所述的日志采集方法。11.一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现权利要求1～8中任一项所述的日志采集方法。3CN112306827A说明书1/7页日志采集装置、方法和计算机可读存储介质技术领域[0001]本发明涉及计算机技术领域，特别涉及一种日志采集装置、方法和计算机可读存储介质。背景技术[0002]在很多互联网客户端(或简称为C端)业务系统中，经常需要记录业务数据日志，该日志可以用来记录业务系统的行为数据，以便于追查问题、保留痕迹。例如，日志可以记录核心状态变更、外部系统调用。此外，还可以利用日志进行实时计算、分析趋势。[0003]这类日志记录行为有以下几个特点或