一种基于大数据的人工智能数据采集分析方法及其设备.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN114840731A(43)申请公布日2022.08.02(21)申请号202210473222.X(22)申请日2022.04.29(71)申请人杜元翰地址210000江苏省南京市北京西路20号(72)发明人杜元翰肖茂然刘子寒(74)专利代理机构北京深川专利代理事务所(普通合伙)16058专利代理师张娴(51)Int.Cl.G06F16/906(2019.01)G06F16/903(2019.01)权利要求书1页说明书3页(54)发明名称一种基于大数据的人工智能数据采集分析方法及其设备(57)摘要本发明涉及大数据技术领域，且公开了一种基于大数据的人工智能数据采集分析方法，包括以下步骤：人员确地人工智能数据采集的关键词，然后从每个互联网访问设备中获取该关键词的目标图像、音频、基本信息、日志信息和用户相关信息。该基于大数据的人工智能数据采集分析方法及其设备，人员确地人工智能数据采集的关键词，然后从设备中获取该关键词数据，并按照预设的大数据收集分类对分类标签进行排序分类，再筛分数据进行过滤或修改不完整的数据、错误的数据或重复的数据，过滤整合的数据与外部信息进行关联分析进行影响分析，再进行二次数据采集，然后通过数据挖掘中搜索隐藏的信息，寻找数据之间的规律，实现智能数据采集分析。CN114840731ACN114840731A权利要求书1/1页1.一种基于大数据的人工智能数据采集分析方法，其特征在于，包括以下步骤：1)人员确地人工智能数据采集的关键词，然后从每个互联网访问设备中获取该关键词的目标图像、音频、基本信息、日志信息和用户相关信息；2)根据步骤一中获取的目标图像、音频、基本信息、日志信息和用户相关信息在智能识别模型中对目标图像、音频、基本信息、日志信息和用户相关信息进行分类标签，并按照预设的大数据收集分类对分类标签进行排序分类；3)根据步骤二中的分类标签进行排序分类筛分数据进行过滤或修改不完整的数据、错误的数据或重复的数据；4)根据步骤三中过滤整合的数据与外部信息进行关联分析进行影响分析，再进行修正；5)根据步骤四中修正后的数据确定一级数据采集标签，再根据目标图像、音频、基本信息、日志信息和用户相关信息进行二次数据采集；6)根据步骤五中二次采集的数据再进行过滤整合，然后通过数据挖掘中搜索隐藏的信息，寻找数据之间的规律。2.根据权利要求1所述的一种基于大数据的人工智能数据采集分析方法，其特征在于，步骤二中所述预设的大数据收集分类为一级分类和二级分类。3.根据权利要求2所述的一种基于大数据的人工智能数据采集分析方法，其特征在于，所述一级分类为关键词分类、时间分类、频率分类和地点分类。4.根据权利要求2所述的一种基于大数据的人工智能数据采集分析方法，其特征在于，所述二级分类为分类频率使用度、时间段数据密度和关键词重复率。5.根据权利要求1所述的一种基于大数据的人工智能数据采集分析方法，其特征在于，所述获取目标图像、音频、基本信息、日志信息和用户相关信息时相关平台对数据质量和数据安全进行监控。6.根据权利要求1所述的一种基于大数据的人工智能数据采集分析设备，包括存储器和中央处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5中任一项所述方法的步骤。2CN114840731A说明书1/3页一种基于大数据的人工智能数据采集分析方法及其设备技术领域[0001]本发明涉及大数据技术领域，具体为一种基于大数据的人工智能数据采集分析方法及其设备。背景技术[0002]大数据(bigdata)，IT行业术语，是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。换而言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。从技术上看，大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理，必须采用分布式架构。它的特色在于对海量数据进行分布式数据挖掘。但它必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术。随着云时代的来临，大数据(Bigdata)也吸引了越来越多的关注。分析师团队认为，大数据(Bigdata)通常用来形容一个公司创造的大量非结构化数据和半结构化数据，这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起，因为实时的大型数据集分析需要像MapReduce一样的框架来向数十、数百或甚至数千的