基于大数据的数据分析、挖掘、渲染及可视化方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN108268621A(43)申请公布日2018.07.10(21)申请号201810017816.3(22)申请日2018.01.09(71)申请人上海大学地址200444上海市宝山区上大路99号(72)发明人武星张南(74)专利代理机构上海上大专利事务所(普通合伙)31205代理人陆聪明(51)Int.Cl.G06F17/30(2006.01)权利要求书1页说明书2页附图4页(54)发明名称基于大数据的数据分析、挖掘、渲染及可视化方法(57)摘要本发明提出基于大数据的数据分析、挖掘、渲染及可视化方法，本方法的操作步骤是：（1），采集数据；（2），进行数据处理；（3），进行数据分析；（4），进行数据挖掘；（5），数据渲染和拼接；（6），数据可视化；（7），人机交互。该方法能够通过爬虫及线下的数据收集进行数据采集，然后通过文本抽取、正则表达式、字符串截取等方法进行数据的清洗和处理，数据经过处理后，对数据集进行分析与数据挖掘，最后对数据进行渲染即可视化，并提供人机交互功能。CN108268621ACN108268621A权利要求书1/1页1.一种基于大数据的数据分析、挖掘、渲染及可视化方法，其特征在于操作步骤如下：a)收集各种数据：从各种渠道收集各种形式的源数据；b)进行数据处理：用ETL（数据仓库）技术处理数据；c)进行数据分析：运用专业的数据分析方法分析数据；d)在数据集上进行数据挖掘：通过建立模型和评估数据进行数据挖掘；e)对挖掘到的数据模型进行渲染：应用专业的数据渲染技术进行数据的渲染和拼接；f)将渲染的数据可视化展示：通过环形大屏轻松搭建专业的可视化应用；g)人机交互：通过手势、肢体、鼠标等与可视化大屏进行人机交互。2.根据权利要求1所述的基于大数据的数据分析、挖掘、渲染及可视化方法，其特征在于：所述步骤a)中从各种渠道收集各种形式的源数据：数据来源主要通过两种方式进行收集，其中一种是通过线下收集专业形式的数据、文本、图像、视频、邮件、音频图像数据，另一种是通过专业的搜索引擎即爬虫从互联网自动检索并采集各种格式的数据。3.根据权利要求1所述的基于大数据的数据分析、挖掘、渲染及可视化方法，其特征在于：所述步骤b)进行数据处理是：运用ETL技术进行数据提取，提取出关键数据并进行数据转换及加载，将处理好的数据存入数据仓库。4.根据权利要求1所述的基于大数据的数据分析、挖掘、渲染及可视化方法，其特征在于：所述步骤c)进行数据分析的方法是：通过读取数据仓库中的数据进行探索、建模及推断，分析出数据之间的关联关系，并将分析的结果入库。5.根据权利要求1所述的基于大数据的数据分析、挖掘、渲染及可视化方法，其特征在于：所述步骤d)在数据集上进行数据挖掘的方法是：在数据分析及数据建模的过程中对数据模型进行评估及结果评估，并将评估模型进行数据渲染。6.根据权利要求1所述的基于大数据的数据分析、挖掘、渲染及可视化方法，其特征在于：所述步骤e)对挖掘到的数据模型进行渲染的方法是：利用负载平衡算法和几何校正算法对数据进行并行渲染和无缝拼接，为数据可视化提供数据源。7.根据权利要求1所述的基于大数据的数据分析、挖掘、渲染及可视化方法，其特征在于：所述步骤ｆ)将渲染的数据可视化展示的方法是：运用专业的数据可视化技术对数据进行几何可视化、图像可视化、图像可视化、时间可视化和空间可视化，并通过大型环屏进行数据展示。8.根据权利要求1所述的基于大数据的数据分析、挖掘、渲染及可视化方法，其特征在于：所述步骤ｇ)人机交互的方法是：运用专业的可视化技术及人机交互技术对可视化数据进行鼠标交互、肢体交互、手势交互。2CN108268621A说明书1/2页基于大数据的数据分析、挖掘、渲染及可视化方法技术领域[0001]本发明属于大数据和数据挖掘领域，涉及一种基于大数据的分析、挖掘、渲染及可视化方法，是一种将丰富的海量数据通过分析、建模，并将评估的结果进行渲染、校正及无缝拼接，供数据进行可视化并进行人际交互。背景技术[0002]当前信息时代，数据规模增长速度远超我们的预期，存在大量的交易数据、社交信息、文本信息、图片文件、视频文件、邮件信息、音频信息和互联网交互信息等。在这种情况下，人眼往往不能从大量的数据信息中直接读取其中隐含的信息，也不容易从大量的信息中看出某个事物的发展趋势。然而，传统的数据处理方法是人工数据处理。虽然这种方法很容易实现，但是人工数据处理难以充分实现共享，冗余度也极大。此外，人工处理是费时又费力，而可视化出的屏幕展示也是只能观看，而无人机交互的功能。数据种类很丰富，同样就有许多不同数据展示的方法，如可视化、可听化等等方面。大数据的获取、处理及数据的展示和人机交互是一个新兴研