用于测试系统的应用的方法、计算设备和存储介质.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115048284A(43)申请公布日2022.09.13(21)申请号202210301598.2(22)申请日2022.03.24(71)申请人上海任意门科技有限公司地址201203上海市浦东新区中国(上海)自由贸易试验区碧波路690号3幢203-03室(72)发明人项凯张璐陶明陈莹(74)专利代理机构北京市金杜律师事务所11256专利代理师张平(51)Int.Cl.G06F11/36(2006.01)权利要求书2页说明书11页附图7页(54)发明名称用于测试系统的应用的方法、计算设备和存储介质(57)摘要本公开的实施例涉及用于测试系统的应用的方法、计算设备和计算机存储介质。该方法包括：获取用于测试应用的实验配置信息，响应于确定用户不属于白名单，基于实验配置项过滤用户，以便确定实验用户；基于实验配置项，为每个实验用户确定关联的类别标签；针对每一个类别标签，经由哈希算法，将与每一个类别标签相关联的实验用户分别分配至对应的实验桶；基于预定流量占比，确定实验组落组用户和对照组落组用户；以及基于实验组落组用户针对第二版本应用的第二测试指标项数据和对照组落组用户针对第一版本应用的第一测试指标项数据的比较确定测试结果。本公开能够有效降低分流所形成的目标人群组之间的差异和实验噪声。CN115048284ACN115048284A权利要求书1/2页1.一种用于测试系统的应用的方法，包括：获取用于测试所述应用的实验配置信息，所述实验配置信息至少指示多个与实验用户相关联的实验配置项、关于实验组和对照组的配置信息和测试指标项；响应于确认接收到关于用户的实验分组请求，确认所述用户是否属于与预定实验组或者预定对照组相关联的白名单；响应于确定所述用户不属于所述白名单，基于所述实验配置项过滤所述用户，以便将与实验配置项相匹配的用户确定为实验用户；基于所述实验配置项，为每个实验用户确定关联的类别标签；针对每一个类别标签，经由哈希算法，将与每一个类别标签相关联的实验用户分别分配至对应的实验桶；基于预定流量占比，在多个实验桶号中确定用于作为实验组或者对照组的实验桶，以便确定实验组落组用户和对照组落组用户；以及获取实验组落组用户针对第二版本应用的第二测试指标项数据和对照组落组用户针对第一版本应用的第一测试指标项数据，以便基于第一测试指标项数据和第二测试指标项数据的比较结果确定关于系统的应用的测试结果。2.根据权利要求1所述的方法，还包括：基于预定流量占比，将已分配实验用户的多个实验桶中的至少部分实验桶分为多个组；在测试指标项中选择部分测试指标项作为兴趣点指标项；获取多个组的实验桶的用户在预定时间间隔内针对所述第一版本应用的关于兴趣点指标项的多个数据；以及比较关于兴趣点指标项的多个数据之间的差异，以便将差异符合第一预定条件的两个组分别确定为实验组和对照组。3.根据权利要求1所述的方法，其中所述实验配置项至少包括以下两项：所述用户的注册时间、用户设备所配置的应用程序版本、用户设备所配置的操作系统的类型、所述用户所属的年龄范围、所述用户的性别以及所述用户所属城市的类别。4.根据权利要求1所述的方法，还包括：响应于确定所述用户属于与预定实验组或者预定对照组相关联的白名单，将所述用户确定为预定实验组或者预定对照组的实验用户。5.根据权利要求3所述的方法，还包括：基于用户的用户设备相关联的互联网协议地址，确定所述用户设备的所属城市；以及基于所确定的所属城市，确定所述用户所属城市的类别。6.根据权利要求1所述的方法，其中经由哈希算法将与每一个类别标签相关联的实验用户分别分配至对应的实验桶还包括：确定所述实验用户的数量是否大于或者等于用户数量阈值；以及响应于确定所述实验用户的数量大于或者等于用户数量阈值，经由哈希算法，将与每一个类别标签相关联的实验用户分别分配至对应的实验桶。7.根据权利要求1所述的方法，还包括：确定预定流量占比是否由第一流量占比增加至第二流量占比；2CN115048284A权利要求书2/2页响应于确定预定流量占比由第一流量占比增加至第二流量占比；计算第二流量占比与第一流量占比的流量占比变化值；以及基于流量占比变化值，在基于第一流量占比所确定的用于作为实验组的实验桶之外的其他实验桶中，经由洗牌算法确定作为实验组的实验桶。8.根据权利要求1所述的方法，其中基于第一测试指标项数据和第二测试指标项数据的比较结果确定关于系统的应用的测试结果包括：比较来自第一实验组落组用户的第二测试指标项数据和来自第二实验组落组用户的第二测试指标项数据，以便生成实验组差异数据；确定所述实验组差异数据是否符合第二预定条件；以及响应于确定所述实验组差异数据符合第二预定条件，基于第一测试指标项数据和第二测试指标项数据的比较结果确