数据采集方法、装置和电子设备.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111680203A(43)申请公布日2020.09.18(21)申请号202010378074.4(22)申请日2020.05.07(71)申请人支付宝（杭州）信息技术有限公司地址310000浙江省杭州市西湖区西溪路556号8层B段801-11(72)发明人朱标章鹏崔阳(74)专利代理机构北京三友知识产权代理有限公司11127代理人周达刘飞(51)Int.Cl.G06F16/951(2019.01)G06Q10/04(2012.01)G06Q10/06(2012.01)权利要求书2页说明书10页附图3页(54)发明名称数据采集方法、装置和电子设备(57)摘要本说明书实施例公开了一种数据采集方法、装置和电子设备的实施例。所述方法包括：利用以下步骤进行迭代处理，直至满足预设条件：根据价值预测模型，从第一数据集中选取第一数据，所述第一数据集包括至少一个第一数据，所述第一数据由粗采集方式采集得到；根据选取的第一数据所对应的数据标识，利用精采集方式采集第二数据；根据选取的第一数据，获取数据标识对应的特征数据；根据采集的第二数据，确定数据标识对应的标签；根据标签和特征数据，对所述价值预测模型进行训练。本说明书实施例的数据采集方法、装置和电子设备，可以节省数据的采集成本。CN111680203ACN111680203A权利要求书1/2页1.一种数据采集方法，包括：利用以下步骤进行迭代处理，直至满足预设条件：根据价值预测模型，从第一数据集中选取第一数据，所述第一数据集包括至少一个第一数据，所述第一数据由粗采集方式采集得到；根据选取的第一数据所对应的数据标识，利用精采集方式采集第二数据；根据选取的第一数据，获取数据标识对应的特征数据；根据采集的第二数据，确定数据标识对应的标签；根据标签和特征数据，对所述价值预测模型进行训练。2.如权利要求1所述的方法，所述数据标识包括页面标识；所述第一数据包括通过静态页面方式爬取到的页面数据；所述第二数据包括通过动态渲染页面方式爬取到的页面数据。3.如权利要求1所述的方法，所述从第一数据集中选取第一数据，包括：利用价值预测模型对第一数据集中的第一数据进行预测，得到第一数据的精采集价值；根据精采集价值，从第一数据集中选取第一数据。4.如权利要求3所述的方法，还包括：对第一数据的精采集价值进行修正；所述从第一数据集中选取第一数据，包括：根据修正后的精采集价值，从第一数据集中选取第一数据。5.如权利要求1所述的方法，所述获取数据标识对应的特征数据，包括：从选取的第一数据中提取特征数据，作为数据标识对应的第一类型的特征数据。6.如权利要求1或5所述的方法，所述数据标识对应有业务对象，所述方法还包括：获取业务对象的属性数据，作为数据标识对应的第二类型的特征数据。7.如权利要求1所述的方法，所述确定数据标识对应的标签，包括：计算第二数据相对于第一数据的信息增益，作为数据标识对应的信息增益；利用业务模型获取第二数据的业务价值，作为数据标识对应的业务价值；根据信息增益和业务价值，确定数据标识对应的标签。8.如权利要求7所述的方法，所述确定数据标识对应的标签，包括：根据信息增益和业务价值，计算数据标识对应的复合价值；根据复合价值，确定数据标识对应的标签。9.如权利要求1所述的方法，还包括：将选取的第一数据从第一数据集中删除。10.一种数据采集装置，包括：迭代模块，用于利用以下子模块进行迭代处理，直至满足预设条件：选取子模块，用于根据价值预测模型，从第一数据集中选取第一数据，所述第一数据集包括至少一个第一数据，所述第一数据由粗采集方式采集得到；采集子模块，用于根据选取第一数据所对应的数据标识，利用精采集方式采集第二数据；获取子模块，用于根据选取的第一数据，获取数据标识对应的特征数据；2CN111680203A权利要求书2/2页确定子模块，用于根据采集的第二数据，确定数据标识对应的标签；训练子模块，用于根据标签和特征数据，对所述价值预测模型进行训练。11.一种电子设备，包括：至少一个处理器；存储有程序指令的存储器，其中，所述程序指令被配置为适于由所述至少一个处理器执行，所述程序指令包括用于执行如权利要求1-9中任一项所述方法的指令。3CN111680203A说明书1/10页数据采集方法、装置和电子设备技术领域[0001]本说明书实施例涉及计算机技术领域，特别涉及一种数据采集方法、装置和电子设备。背景技术[0002]在一些场景下，需要采集数据以供业务模型使用。例如，需要从互联网中采集页面数据，将采集的页面数据提供给风险识别模型，以识别企业的金融风险。[0003]如何节省数据的采集成本，是当前亟需解决的技术问题。发明内容[0004]本说明书实施例提供一种数据