安防监控-云存储解决应用案例.doc

安防监控海量数据云存储总体解决方案项目背景随着科技的发展，信息系统正在从以计算为核心转向以数据为核心，海量存储将成为国家信息化的核心组成部分。目前，信息资源呈几何级数的速度增长，涉及的不仅包括文本、图像，还有语音、视频等多媒体信息。因此，众多部门和单位都开始部署自己的数据中心，实现海量数据的集中式存储、分析和共享。特别是如今倡导的“智慧城市”、“平安城市”的提出，数据中心的建设日益迫切，在安防领域存在着大量的卡口相机、高清视频监控探头等，必然导致大量的视频、图像需要存储，云存储技术非常适合海量信息的存储，因此能为信息中心提供很方便的解决方案，实现数据的集中式存储和共享。项目特点2.1数据量大视频监控系统一般具有摄像头数量多，视频图像存储时间长，因此存储容量需求很大，随着视频图像存储时间的增加，存储容量需求呈线性、爆炸式的增长。因此视频监控系统存储必须支持大容量，且容量具有高可扩展性，满足长时间大容量视频图像存储的需求。2.2长时间稳定可靠要求由于摄像头一般都是24小时工作的，即使流媒体文件采用分段保存的方式，写入操作的持续时间也有可能长达多个个小时，而且，后期回放要保证一天24小时提供服务。数据读写操作的持续时间长。另外，对于安全性要求很高的数据，要防止出现异常情况，及时的实现数据容错备灾。同时，自动的进行设备的故障检测，防范突发情况发生。因此，要求存储系统具有超强的长时间工作能力，保证长期稳定可靠的要求。2.3高集成度要求在项目中，目前数据中心要实现总容量200T的要求，并且为方便以后扩展，要预留几个机架。需要在1个标准42U机架内包含主控节点、备用主控节点、分布存储节点，集成度高。2.4易于使用和维护要求要求使用者无需学习即可使用，不需经过专业培训和专门人员来维护。同时要求提供对存储系统的网络管理，操作简便。2.5动态扩展要求由于监控数据的增长很快，且带有一定的不确定性，所以对于视频监控系统来说，扩展性是很重要的方面。该项目数据庞大，要求在可以在不停止服务的情况下，根据项目进展情况，动态加入新的存储节点或者摘除原存储节点，在此过程中保证数据不丢失。解决方案3.1存储结构设计存储系统采用主备2个元数据服务器和5个存储节点构成，使用2U×2、4U×5标准上架机器，安装在1个标准42U机柜内。整个系统的结构如下图所示：双管理节点即主元数据服务器节点和备份元数据服务器节点，支持主备双机热切换。元数据管理节点负责管理cStor云存储系统的卷，存储各文件的元数据信息，调度各数据存储服务器。每个4U的存储节点包含20块2T硬盘，总容量共计5×20×2TB=200TB。3.2可靠性设计在cStor云存储系统中采用下面两种可靠性保障机制，保证数据的安全可靠。冗余备份在该项目中cStor采取的容错机制是通过1:1的冗余备份的方式实现云存储系统的可靠保证。备份因子可以根据服务的可靠性需求做动态的调整。服务启动后，自动为每个数据块做了一个备份副本。系统自动将源文件与副本存在不同的存储节点，实现了冗余备份。对于每一个chunk，必须将所有的副本全部写入成功，才视为成功写入。在其后的过程中，如果相关的副本出现丢失或不可恢复等状况，MasterServer会自动将副本复制到其他ChunkServer上，从而满足高度可靠的需求。分级动态存储方式cStor存储系统，采用了分级技术，把存储信息根据信息的重要性、访问频率等对信息进行了分级存储，将文件的元数据等访问频繁的重要信息时刻保持在线存储，开机后保存在内存中，可以随时读取和修改，以满足前端应用服务器或数据库对数据访问的速度要求。将其它备份数据、冗余容错的数据等访问量小的数据等采用廉价的SATA硬盘存储。对于访问量小的数据采用离线存储，一旦需要访问这些数据可以使用相应的唤醒策略来实现将离线转为在线。3.3网络部署方案按照总容量200T可用的用户要求，最终设计状态如下图所示：设备清单：序号设备名称设备规格用量1主元数据服务器2U标准型8盘位存储服务器12备份元数据服务器2U标准型8盘位存储服务器13存储节点4U标准型20盘位存储设备54硬盘2TB硬盘1005交换机24口千兆交换机26KVMLED液晶切换器1742U标准机柜42U网络服务器机柜1产品配置性能列表：型号配置标准型增强型主元数据服务器主板Intel服务器主板Intel服务器主板CPU双路4核，2.0G以上双路4核，2.0G以上内存32GDDR364GDDR3硬盘500G企业硬盘X2500GSAS硬盘X2电源1+1冗余720W电源1+1冗余720W电源机箱2U服务器机箱2U服务器机箱存储节点主板Intel服务器主板Intel服务器主板CPU单路4核，2.0G以上单路4核，2.0G以上内存8GDDR316GDDR3硬盘500G企业硬盘X12TB7200