云计算环境下数据挖掘技术分析论文.docx

云计算环境下数据挖掘技术分析论文云计算环境下数据挖掘技术分析论文摘要：随着经济社会不断发展与进步，科技信息技术为了适应社会发展的需求，也在不断地提高。云计算作为互联网发展中的一项新兴技术，渐渐成为了人们生活中不可或缺的一部分，并被广泛运用于军事领域、医疗领域与金融领域等。随着计算机的不断发展，基于云计算环境下的数据挖掘技术已经成为一项非常高效与实用的技术，它可以有效的解决传统数据挖掘方式不适合解决海量数据的问题。本文通过对云计算环境下的数据挖掘技术的分析与探讨，期望可以加深同行业工作者对数据挖掘技术的了解，为将来电子商务发展效率的提高，打下结实的基础。关键词：数据挖掘，云计算，技术随着移动互联网和物联网的迅速发展，如今的社会正处于大数据时代。数据的海量增加，对数据挖掘系统带来了极大的挑战。而云计算的出现便能有效解决这一难题，它可以使分布在不同计算机的数据集中在统一的云端，这样便有利于我们对数据的获取与挖掘。云计算中可弹性变化的计算能力和海量存储能力，更是为解决海量数据挖掘提供了有效的解决途径。一、数据挖掘的内涵数据挖掘是我们通过大量数据集进行分类以识别趋势和模式并建立关系的自动化过程。因为当今是一个大数据时代，我们需要从海量数据中提取和挖掘对我们有利的.信息，从而来更好地为各种应用系统服务，如物联网、社交媒体等。而数据挖掘，就能从海量数据的挖掘到所需的信息，从而为你提供比没有使用这些工具的竞争对手更大的优势。二、基于云计算环境下的数据挖掘技术分析数据挖掘具有数据清理、数据变换、数据挖掘实施过程、模式评估与知识表示等8个步骤。这8个步骤，能帮我们更好地从海量数据中提取我们所需的有价值的信息。而在数据挖掘中，最重要的是数据收集处理与数据存储工作。第一，数据收集处理。我们在进行数据收集与处理时，可以先用决策树来判别是用户访问数据还是Web机器人访问数据。然后再将海量数据进行过滤、转换、清洗、整合，将其变成半结构化的XML文件进行保存。虽然现在流行用Map—Reduce模式来进行数据收集，但其开发工具还不够完善[1]。在今后的数据挖掘技术发展与完善的过程中，我们可以将结合分形维数和其他技术的方法作为新的发展方向。不断地强化数据收集处理功能，使其能更好地为各种应用系统服务。第二，数据的存储工作。云计算系统中的分布式存储策略，是运用最广泛的数据存储方式。它可以将同一个数据存储为多个副本，这在一定程度上保证了数据的可靠性，而且还不是冗余复制。而且系统中，还存在心跳检测、错误隔离等措施。虽然通过数据副本的存储方式能够有效的提高数据存储安全性，但是数据的计算速度和移动速度都比较慢，且实际的工作效率也并不理想。因此，我们在进行数据迁移的时候，可以利用MASTER系统来完成计算数据迁移工作。我们可以通过寻找数据副本进行抵制，既可以进行迁移又可以完成既定工作，这样不但使工作效果更加理想，而且实际工作效率也大幅度的提高。三、云计算环境下数据挖掘技术的优势利用云计算进行数据挖掘，具有以下的优点：第一，云计算环境下的数据挖掘可以隐蔽底层，这样使得我们的数据开发工作更加便利。用户不用考虑计算分配、计算调度任务与数据划分等问题，既能有效地提高工作效率，还便于我们操作；第二，云计算提高了大规模数据的处理能力和处理速度；第三，使得数据处理的成本降低，不再需要购买高性能的机器，从而有效提高了收益；第四，基于云计算的数据挖掘技术，可以使我们有效地从海量数据中挖掘出我们需要的信息，创造了良好的开发环境和应用环境，让挖掘任务变得更加简单。四、云计算环境下数据挖掘技术面临的问题与挑战目前，云计算还处于初级阶段，发展还不够成熟，也存在着一些问题与挑战，主要包括以下几个方面：第一，软件与服务的可信度不高。云计算要重视隐私安全问题，不断提升云计算的隐私安全保护能力，才能让用户放心使用云计算；第二，存在太多的不确定性。如数据挖掘的方法及结果、挖掘结果的评价和数据挖掘任务的描述等；第三，算法的选择问题。不同的问题要用合适的算法和策略来进行数据的处理，云计算数据挖掘技术在这一方面还有待加强。大数据挖掘技术应用的过程中，验证技术的局限性也非常突出。在技术应用过程中，我们是通过特定分析方法及逻辑形式来发现知识[2]。在这一过程中，如果系统没有能力交互证实已发现的知识，就容易造成发现的知识不具有普遍实用性。而那些事待挖掘的数据自身可能就是错误的，这样便使得数据挖掘在有效性这方面受到一定的冲击。而我们从海量数据中挖掘到的信息，它们所构成的预言模型并不会告诉我们：一个人为什么会做某一件事及采取某个行动。为了保障数据挖掘结构的价值，用户就要对自身的数据进行一定的了解，这样才能提高数据挖掘输出结果的质量，才能更好地将挖掘到的数据为我们服务。综上所述，本文通过对云计算环境下的数据挖掘技术的分析与探讨，