基于云计算物联网的大数据搜集处理技术.doc

基于云计算物联网的大数据搜集处理技术摘要：随着云计算云储存物联网等新技术的应用人们通过社交网络电子商务平台及移动智能终端等途径搜集处理各种数据呈爆炸型增长在容量关系和复杂性等方面已超出了传统的处理能力和认知范围。在解析物联网两层基本涵义的基础上提出了包括底层网络分布、汇聚网关接入、互联网络融合、终端用户应用四部分的物联网系统架构;设计了由网络通信协议、网络控制平台、应用终端平台组成的面向物联网的网络协议体系并从硬件和软件两个层面讨论了实现物联网的关键技术;在分析当前物联网标准、技术、安全以及应用方面存在问题的基础上提出了未来物联网发展的六个重要理念。大数据时代已经来临数据已经成为经济增长和社会价值创造的源泉为人们提供无限机遇。然而我们也应该注意到快速发展的数据挖掘与利用技术使个人在网络空间从匿民变成透明。关键词：云计算物联网大数据收集与处理引言：近年来社交网络、电子商务、数字城市、在线视频等新一代大规模互联网应用发展迅猛。这些新兴的应用具有数据存储量大、业务增长速度快等特点。为了解决上述问题2006年Google、Amazon等公司提出了“云计算”的构想。根据美国国家标准与技术研究院（NIST）的定义云计算是一种利用互联网实现随时随地、按需、便捷地访问共享资源池（如计设施、存储设备、应用程序等）的计算模式。到2018年互联网与经济社会各领域融合发展进一步深化基于互联网的新业态成为新的经济增长动力互联网支撑大众创业万众创新的作用进一步增强网络经济与实体经济协同互动的发展格局基本形成。无处不在的物联网通信时代即将来临世界上所有的物体从轮胎到牙刷从房顶到纸巾都可以通过互联网进行信息交换。物联网(InternetofThingsIoT)作为一种新兴网络技术和产业模式在业界受到广泛关注.从国际电信联盟(ITU)在信息社会世界峰会上发布的《互联网报告2005:物联网》中可以总结出物联网所体现的两层基本涵义:(1)目前的三大网络包括互联网(Internet)、电信网、广播电视网是物联网实现和发展的基础物联网是在三网基础上的延伸和扩展;(2)用户应用终端从人与人之间的信息交互与通信扩展到了人与物、物与物、物与人之间的沟通连接因此物联网技术能够使物体变得更加智能化.从目前的发展形势看最有可能率先获得智能连接功能的物体包括家居设备、电网设备、物流设备、医疗设备以及农业设备并基于此实现人类与自然环境的系统融合开创经济新时代。专家指出当前我国经济进入新常态平稳度过新旧产业与核动能转化期需要强劲有力和恒久持续的支持力量。抢占经济制高点促进大众创业万众创新提升公共服务水平必须走互联网融合创新之路。云计算1.云计算基础云计算是并行计算（ParallelComputing）、分布式计算（DistributedComputing）、网格计算（GridComputing）的发展或者说是这些计算机科学概念的商业实现。云计算是虚拟化（Virtualization）、效用计算（UtilityComputing）、IaaS（基础设施及服务）、Paas（平台及服务）、SaaS（软件及服务）等概念混合演进并跃升的结果。2．云计算特点云计算有超大规模、虚拟化、高可靠性、通用性、高可扩展性、按需服务、极其廉价七大特点具有涵盖了IaaS（基础设施及服务）、Paas（平台及服务）、SaaS（软件及服务）的IT能力以服务形式提供网络化访问提供开放的服务访问和管理接口持续的服务更新与孵化资源聚合成池弹性扩展自动化监管与快速支付资源使用计量用户自助服务九大特征。3.云计算关键技术⑴虚拟化技术：云计算的虚拟化技术不同于传统的单一虚拟化它是涵盖整个IT架构的包括资源、网络、应用和桌面在内的全系统虚拟化它的优势在于能够把所有硬件设备、软件应用和数据隔离开来打破硬件配置、软件部署和数据分布的界限实现IT架构的动态化实现资源集中管理使应用能够动态地使用虚拟资源和物理资源提高系统适应需求和环境的能力。⑵分布式资源管理技术：信息系统仿真系统在大多数情况下会处在多节点并发执行环境中要保证系统状态的正确性必须保证分布数据的一致性。云计算中的分布式资源管理技术圆满解决了这一问题。Google公司的Chubby是最著名的分布式资源管理系统该系统实现了Chubby服务锁机制使得解决分布一致性问题的不再仅仅依赖一个协议或者是一个算法而是有了一个统一的服务(service)。⑶并行编程技术：云计算采用并行编程模式。在并行编程模式下并发处理、容错、数据分布、负载均衡等细节都被抽象到一个函数库中通过统一接口用户大尺度的计算任务被自动并发和分布执行即将一个任务自动分成多个子任务并行地处理海量数据。二、物联网物联网基础通过各种感知设备和互联网连接物体与物体全自动智能化采集与数据处