一种风险控制方法、装置、电子设备和存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113765772A(43)申请公布日2021.12.07(21)申请号202010611361.5G06F16/58(2019.01)(22)申请日2020.06.29G06F40/289(2020.01)(71)申请人北京沃东天骏信息技术有限公司地址100176北京市大兴区北京经济技术开发区科创十一街18号院2号楼4层A402室申请人北京京东世纪贸易有限公司(72)发明人张学理(74)专利代理机构北京品源专利代理有限公司11332代理人孟金喆(51)Int.Cl.H04L12/58(2006.01)G06F16/22(2019.01)G06F16/24(2019.01)权利要求书2页说明书10页附图7页(54)发明名称一种风险控制方法、装置、电子设备和存储介质(57)摘要本发明实施例公开了一种风险控制方法、装置、设备和存储介质，该方法包括：当接收到待投递消息时，对所述待投递消息进行风险识别；若所述待投递消息存在风险内容，则对所述待投递消息进行管控，以阻止将所述风险内容投递至目标客户端进行展示。通过本发明实施例的技术方案，实现了风险内容的实时识别与管控，从而使风险内容传播性安全可控，避免了恶劣影响的产生。CN113765772ACN113765772A权利要求书1/2页1.一种风险控制方法，其特征在于，包括：当接收到待投递消息时，对所述待投递消息进行风险识别；若所述待投递消息存在风险内容，则对所述待投递消息进行管控，以阻止将所述风险内容投递至目标客户端进行展示。2.根据权利要求1所述的方法，其特征在于，若所述待投递消息为文本消息，所述当接收到待投递消息时，对所述待投递消息进行风险识别，包括：当接收到待投递消息时，对所述待投递消息进行分词处理，得到至少一个分词；针对每个分词生成对应的哈希值，将当前分词的哈希值与预设风险词库中每个风险词的哈希值分别进行匹配，所述预设风险词库通过哈希算法预先存储至本地内存；若匹配到相似度达到设定阈值的风险词，则确定当前分词为风险词；若所述待投递消息包括至少一个风险词，则确定所述待投递消息存在风险内容。3.根据权利要求2所述的方法，其特征在于，所述若所述待投递消息存在风险内容，对所述待投递消息进行管控，以阻止将所述风险内容投递至目标客户端进行展示，包括：将所述待投递消息中的风险词屏蔽；将屏蔽风险词的所述待投递消息投递至目标客户端，以使目标客户端对所述待投递消息进行展示。4.根据权利要求1所述的方法，其特征在于，若所述待投递消息为图片，所述当接收到待投递消息时，对所述待投递消息进行风险识别，包括：当接收到待投递图片时，对所述待投递图片进行存储，并生成所述待投递图片的存储地址信息；根据所述存储地址信息基于预设图片识别模型对所述待投递图片进行特征识别；当生成所述待投递图片的存储地址信息时延迟预设时长后将所述存储地址信息发送至所述待投递图片的发送客户端，以使所述发送客户端基于所述存储地址信息向服务端发送投递指令；当接收到所述发送客户端发送的投递指令时，从预设缓存数据库读取所述待投递图片的图片特征，当所述基于预设图片识别模型对所述待投递图片进行特征识别完成时，将识别到图片特征存储于所述预设缓存数据库；基于所述图片特征对所述待投递图片进行风险识别。5.根据权利要求4所述的方法，其特征在于，所述基于所述图片特征对所述待投递图片进行风险识别，包括：将所述待投递图片的图片特征与预设风险图片的图片特征进行相似度计算；若存在相似度达到相似度阈值的预设风险图片，则确定所述待投递图片为风险图片。6.根据权利要求4所述的方法，其特征在于，所述若所述待投递消息存在风险内容，对所述待投递消息进行管控，以阻止将所述风险内容投递至目标客户端进行展示，包括：将所述待投递图片拦截，以阻止将所述待投递图片发送至目标客户端进行展示。7.根据权利要求4所述的方法，其特征在于，所述预设缓存数据库包括Redis。8.根据权利要求4所述的方法，其特征在于，将所述存储地址信息发送至所述待投递消息的发送客户端的同时，还包括：向所述发送客户端发送图片上传成功的通知消息，以通知用户所述待投递图片上传成2CN113765772A权利要求书2/2页功。9.根据权利要求1-8任一项所述的方法，其特征在于，所述对所述待投递消息进行风险识别之前，还包括：确定所述待投递消息发送用户的风险等级；若所述风险等级低于等级阈值，则继续执行所述对所述待投递消息进行风险识别的操作，否则直接将所述待投递消息拦截，不执行所述对所述待投递消息进行风险识别的操作。10.根据权利要求9所述的方法，其特征在于，所述确定所述待投递消息发送用户的风险等级，包括：基于所述发送用户的身份识别码从用户风险等级库获取所述发送用户