刍议云计算和云数据管理技术.docx

刍议云计算和云数据管理技术程子傲王丹华摘要：现阶段，我国的科学技术得到了迅猛发展，促使信息资源的网络化广为流行起来。基于此，越来越多的人开始高度重视起云计算技术和云数据管理技术的应用。最近几年，网络应用技术的发展速度极快，在此形势下，数据信息量日益增大，如何存储这些数据信息就变得尤为重要，而应用云数据管理技术则能将这一问题有效解决。本文笔者结合自身工作实践经验，详细分析了云计算技术和云数據管理技术，旨在借助此次研究，促进云计算和云数据管理技术的进一步发展。关键词：云计算云数据Dynamo技术：TP315：A：1674-098X（2018）01（a）-0149-02不断增加的数据信息量，逐渐提高了人们对计算机存储的要求，而由于各种信息应用程序的出现，致使人们对数据管理和信息系统计算的要求越来越高。为了使人们的需求得到满足，云计算应运而生，作为一种新型技术，云计算的应用使人们利用计算机的方式得到了有效改变，完善了计算机的各种功能。云计算可以高效存储海量信息，而对于这一点而言，云数据管理技术又衍生了出来，这种技术的应用可以更加方便快捷地查找数据，从而将数据的利用率有效提高，及时地将可靠的应用数据提供给人们。1云计算1.1云计算的概述云计算即为借助把诸多的计算分布到分布式计算机上，使虚拟化的计算机网络系统得以实现，进而让数据的计算运行相似于互联网，可以立足于实际需求对系统和资源进行访问。然而云计算并不是借助远程服务器或本地计算机进行计算，而是类似于计算机网络内部将分布式处理计算完成，这种方式就和电厂集中供电模式相似，有机结合低成本的运算单元，可以将计算能力和数据处理能力极大提高。云计算的计算模式具有极强的透明性，用户只需要将自己的要求提交给系统，平台和云计算软件会自动进行处理，对于云计算的具体方法，用户不需要对其进行了解就能将高效、快速的大数据处理实现[1]。1.2体系结构云计算具有极为庞大且复杂的体系结构，其整个工作过程是借助“云”将一个庞大的计算机辅助工作网络形成的。这个网络利用虚拟技术的支持，串联起各个不同的服务器，然后再整合这些服务器资源，之后再立足于用户需求和选择进行合理分配，提供给用户一个庞大的服务器集群，从而使用户的存储需求和计算需求得到满足。云计算的整个体系结构有管理系统、服务项目、用户和服务器集群4个部分。2云数据管理技术2.1云数据基本特征第一，容量大。现阶段，三网整合等广泛运用，并得到了迅速发展，大多数系统普遍采用传感设备收集大量数据信息，从而使得整个数据量呈现出几何增长趋势。如何变革现阶段数据管理技术或者引入新的数据管理技术来对大规模数据进行全面管理，并迅速从其中获取有效信息已经成为了现阶段我们思考的重点问题。第二，结构差异性。针对云计算的广泛运用，社会各个行业获取数据信息的方式、设备有所差异，获取数据的表现结构与形式差异较大。各种类型的传感设备（声音传感器、温度传感器等）在获取数据的格式方面也有所差别。因为这些因素的存在，使得各行各业对数据管理模式也不相同。第三，不确定性。云数据不确定特征主要表现在语义匹配的不确定、查询处理的不确定等方面。为了获取更精确的信息，必须去粗取精，以此来确保后续数据的准确性、客观性。2.2云数据管理技术分析2.2.1Dynamo技术Dynamo技术不仅拥有独立的数据库、分布式存储系统，而且还拥有专门的粗糙系统Hash表分布式、键值结构，基于此Dynamo技术能够同底层支持与AWS相连接，与此同时可以不同暴露在外网。Dynamo技术的优势表现在其通过提供N、R、W三个常见参数，同时按照实际情况调整需求，比较典型的Dynamo技术主要是ApacheCassandra、ProjectVoldemort和Risk，其中R代表能够实现读取一致、读取成功的个数；N代表副本个数；W代表能够写入成功的个数，然而并不规定副本个数完全成功，当读取成的个数+写入成功个数>副本个数，就能够确保所获得的数据相同；当读取成的个数+写入成功个数<副本个数，这样获得的数据则不会一致。另外，针对不同版本的对象，Dynamo技术也可提供记录功能和处理功能，其运行机制在于把不同版本的使用供给自己，然后使得自己实现超过对方灵活性的目标。2.2.2GFS技术GFS技术是指一个大规模文件计算系统，其主要是为谷歌计算提供大规模有效的数据存储空间，逐渐成为了谷歌云计算解决的主要方法。GFS把整个系统划分为客户端、数据块服务器、主服务器3种，这样运用程序便能够直接使用这些函数，并同数据库联系起来，对整个系统数据进行有效保存。GFS按照固定大小将文件进行分块存储，每一块便组成为一个数据块，并配以相关索引号。当客户端对GFS进行访问时，应先对节点进行访问，然后获得相关数据信息，这一数据存储方法有效地控制的数据流，而且大大提高了云数据整