多场景内容风险控制方法和系统.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115983637A(43)申请公布日2023.04.18(21)申请号202211678414.0(22)申请日2022.12.26(71)申请人支付宝（杭州）信息技术有限公司地址310023浙江省杭州市西湖区西溪路556号8层B段801-11(72)发明人赵建英黄晓磊(74)专利代理机构上海专利商标事务所有限公司31100专利代理师钱孟清(51)Int.Cl.G06Q10/0635(2023.01)G06Q10/10(2023.01)G06Q10/0631(2023.01)权利要求书2页说明书11页附图9页(54)发明名称多场景内容风险控制方法和系统(57)摘要本公开提出了一种多场景内容风险控制方法和系统。该方法包括：获取目标内容并识别该目标内容所处场景；评估该场景的场景健康度并基于该场景健康度确定该目标内容的风险层级；基于该风险层级为该目标内容动态分配风控档位，其中该风控档位包括风控动作和风控频率；以及基于所分配的风控档位来确定该目标内容是否为风险内容。CN115983637ACN115983637A权利要求书1/2页1.一种多场景内容风险控制方法，包括：获取目标内容并识别所述目标内容所处场景；评估所述场景的场景健康度并基于所述场景健康度确定所述目标内容的风险层级；基于所述风险层级为所述目标内容动态分配风控档位，其中所述风控档位包括风控动作和风控频率；基于所分配的风控档位来确定所述目标内容是否为风险内容。2.根据权利要求1所述的方法，所述目标内容是多元数据，所述多元数据包括结构化主体数据、非结构化内容元素数据、算法模型类数据。3.根据权利要求1所述的方法，评估所述场景的场景健康度是经由针对不同场景统一化的评估模型来执行的。4.根据权利要求1所述的方法，基于所分配的风控档位来确定所述目标内容是否为风险内容进一步包括：基于所分配的风控档位来选择风控策略；采用所选择的风控策略来确定所述目标内容是否为风险内容。5.根据权利要求4所述的方法，所选择的风控策略是从候选风控策略池中选择的，所述候选风控策略池包括基础风控策略和辅助风控策略。6.根据权利要求5所述的方法，基于所分配的风控档位来选择风控策略进一步包括：从所述候选风控策略池中选择与所分配的风控档位的风控动作和风控频率相匹配的风控策略。7.根据权利要求1所述的方法，还包括：如果所述目标内容被识别为风险内容，则根据识别结果执行相应的惩罚措施以控制风险。8.根据权利要求1所述的方法，还包括：基于风险层级的变化而切换所分配的风控档位，其中所述风险层级的变化包括同一场景下的风险层级变化或者由于场景切换引起的风险层级变化。9.根据权利要求8所述的方法，基于风险层级的变化而切换所分配的风控档位进一步包括：基于风险层级的变化而将当前风控档位切换至新的风控档位，其中所述新的风控档位与所述当前风控档位具有不同的风控动作和/或风控频率。10.一种多场景内容风险控制系统，包括：内容获取模块，获取目标内容并识别所述目标内容所处场景；风险层级模块，评估所述场景的场景健康度并基于所述场景健康度确定所述目标内容的风险层级；风控档位模块，基于所述风险层级为所述目标内容动态分配风控档位，其中所述风控档位包括风控动作和风控频率；以及风险确定模块，基于所分配的风控档位来确定所述目标内容是否为风险内容。11.根据权利要求10所述的系统，还包括策略切换模块，其被配置成基于风险层级的变化而切换所分配的风控档位，其中所述风险层级的变化包括同一场景下的风险层级变化或者由于场景切换引起的风险层级变化。2CN115983637A权利要求书2/2页12.根据权利要求11所述的系统，所述策略切换模块还被配置成：基于风险层级的变化而将当前风控档位切换至新的风控档位，其中所述新的风控档位与所述当前风控档位具有不同的风控动作和/或风控频率。13.一种计算机可读存储介质，其存储计算机程序，所述计算机程序能被处理器执行以执行如权利要求1‑9中任一项所述的方法。3CN115983637A说明书1/11页多场景内容风险控制方法和系统技术领域[0001]本公开主要涉及风险控制技术领域，尤其涉及多场景内容风险控制方法和系统。背景技术[0002]随着行业内容愈发复杂且海量，信息传播的媒介及形态越来越多样化，涉及视频、音频、文本、图片等各种形式。传统的人工审核方式已经不能从容应对内容安全危机，由此产生了基于算法技术及人工智能的机器辅助人工审核的方式。人工审核加上机器辅助审核已经成为管理内容风险的首要选择。如何部署性能优越的人机审核平台，使其更加高效、准确地实现风险的识别，成为了内容风控策略体系待解决的一个问题。[0003]目前的策略体系比较扁平、固化、缺乏较灵活的动态调整机制。因此需要更加全