安防监控-云存储解决应用案例.doc

安防监控海量数据云存储总体解决方案项目背景随着科技的发展信息系统正在从以计算为核心转向以数据为核心海量存储将成为国家信息化的核心组成部分。目前信息资源呈几何级数的速度增长涉及的不仅包括文本、图像还有语音、视频等多媒体信息。因此众多部门和单位都开始部署自己的数据中心实现海量数据的集中式存储、分析和共享。特别是如今倡导的“智慧城市”、“平安城市”的提出数据中心的建设日益迫切在安防领域存在着大量的卡口相机、高清视频监控探头等必然导致大量的视频、图像需要存储云存储技术非常适合海量信息的存储因此能为信息中心提供很方便的解决方案实现数据的集中式存储和共享。项目特点2.1数据量大视频监控系统一般具有摄像头数量多视频图像存储时间长因此存储容量需求很大随着视频图像存储时间的增加存储容量需求呈线性、爆炸式的增长。因此视频监控系统存储必须支持大容量且容量具有高可扩展性满足长时间大容量视频图像存储的需求。2.2长时间稳定可靠要求由于摄像头一般都是24小时工作的即使流媒体文件采用分段保存的方式写入操作的持续时间也有可能长达多个个小时而且后期回放要保证一天24小时提供服务。数据读写操作的持续时间长。另外对于安全性要求很高的数据要防止出现异常情况及时的实现数据容错备灾。同时自动的进行设备的故障检测防范突发情况发生。因此要求存储系统具有超强的长时间工作能力保证长期稳定可靠的要求。2.3高集成度要求在项目中目前数据中心要实现总容量200T的要求并且为方便以后扩展要预留几个机架。需要在1个标准42U机架内包含主控节点、备用主控节点、分布存储节点集成度高。2.4易于使用和维护要求要求使用者无需学习即可使用不需经过专业培训和专门人员来维护。同时要求提供对存储系统的网络管理操作简便。2.5动态扩展要求由于监控数据的增长很快且带有一定的不确定性所以对于视频监控系统来说扩展性是很重要的方面。该项目数据庞大要求在可以在不停止服务的情况下根据项目进展情况动态加入新的存储节点或者摘除原存储节点在此过程中保证数据不丢失。解决方案3.1存储结构设计存储系统采用主备2个元数据服务器和5个存储节点构成使用2U×2、4U×5标准上架机器安装在1个标准42U机柜内。整个系统的结构如下图所示：双管理节点即主元数据服务器节点和备份元数据服务器节点支持主备双机热切换。元数据管理节点负责管理cStor云存储系统的卷存储各文件的元数据信息调度各数据存储服务器。每个4U的存储节点包含20块2T硬盘总容量共计5×20×2TB=200TB。3.2可靠性设计在cStor云存储系统中采用下面两种可靠性保障机制保证数据的安全可靠。冗余备份在该项目中cStor采取的容错机制是通过1:1的冗余备份的方式实现云存储系统的可靠保证。备份因子可以根据服务的可靠性需求做动态的调整。服务启动后自动为每个数据块做了一个备份副本。系统自动将源文件与副本存在不同的存储节点实现了冗余备份。对于每一个chunk必须将所有的副本全部写入成功才视为成功写入。在其后的过程中如果相关的副本出现丢失或不可恢复等状况MasterServer会自动将副本复制到其他ChunkServer上从而满足高度可靠的需求。分级动态存储方式cStor存储系统采用了分级技术把存储信息根据信息的重要性、访问频率等对信息进行了分级存储将文件的元数据等访问频繁的重要信息时刻保持在线存储开机后保存在内存中可以随时读取和修改以满足前端应用服务器或数据库对数据访问的速度要求。将其它备份数据、冗余容错的数据等访问量小的数据等采用廉价的SATA硬盘存储。对于访问量小的数据采用离线存储一旦需要访问这些数据可以使用相应的唤醒策略来实现将离线转为在线。3.3网络部署方案按照总容量200T可用的用户要求最终设计状态如下图所示：设备清单：序号设备名称设备规格用量1主元数据服务器2U标准型8盘位存储服务器12备份元数据服务器2U标准型8盘位存储服务器13存储节点4U标准型20盘位存储设备54硬盘2TB硬盘1005交换机24口千兆交换机26KVMLED液晶切换器1742U标准机柜42U网络服务器机柜1产品配置性能列表：型号配置标准型增强型主元数据服务器主板Intel服务器主板Intel服务器主板CPU双路4核2.0G以上双路4核2.0G以上内存32GDDR364GDDR3硬盘500G企业硬盘X2500GSAS硬盘X2电源1+1冗余720W电源1+1冗余720W电源机箱2U服务器机箱2U服务器机箱存储节点主板Intel服务器主板Intel服务器主板CPU单路4核2.0G以上单路4核2.0G以上内存8GDDR316GDDR3硬盘500G企业硬盘X12TB7200转64MSATA3x20500G企业硬盘X12TB7200转64MSATA3x20扩展卡PCIetoMinS