云存储系统需求分析(word文档良心出品).doc

大数据存储需求管理需求动态添加删除用户用户容量控制用户流量，网速控制用户副本灵活配置性能需求响应时间Iops指标吞吐量指标稳定性24小时无故障服务大数据量情况iops指标无明显变动大数据量下吞吐量指标无明显变化系统负载在一定阀值下服务监控系统完善主要是对cpu，内存，网络，io容错高可用在无自然灾害性的真个机房出现故障的情况下24小时服务系统奔溃后可恢复服务容灾备份可扩展性支持在线横向扩容支持在线纵向扩容节点自动感知数据格式支持二进制小文件图片文件视频文件大文件大文件随机读大文件随机写（不容易实现）接口大小文件支持类posix的接口支持rest接口（前期不一定实现）最好能支持读写分离的锁测试写测试随机写测试读测试随机读测试并发读写测试上量读写测试测试平台分布式测试平台本质是一个必行任务系统，可以有多种的实现方式，原理如下如由控制节点发出测试开始的指令，测试机根据挂载的测试任务，进行并发测试，结束后，将结果返回给任务分发机器，经过统计，返回给测试任务控制机实现方式：使用自动化测试框架（未使用过）自写并行任务分发系统，进行测试利用hadoop等开源软件进行测试，入mapreduce，可以再map中进行测试任务，由reduce汇总测试结果，reduce个数设置成1整体框架灰色表示第一版本不需要实现的部分，现在需要是先的部分部署的部分主要是在分布式存储和开放服务以及上层的接口图片应用需求创建用户创建命名空间，即文件夹创建操作员，该操作员只能操作指定的用户空间上传，下载，删除，获取图片属性，清除缓存图片类型识别，动态转换设置图片特有格式如http请求http：//img.fw.com/xx.jpg,可用http：//img.fw.com/xx.jpg！small访问small格式的图片，small格式定义为：10*5的图片，或是其他类型，如等高，等宽等每一个命名空间可以有不同的格式限定实时性保证为支持如相册实现方法根据图片的特性和和应用，图片存储主要是得结构是如下其中黑色线条表示在实现中可不必实现。例如，某张图片原图格式是jpeg，1024*768大小，在请求是的时候请求的是200*100的大小，请求图片存储时并没有需要的的大小，需要经过转换，缓存服务拿到原图，在图片处理服务处理后，将处理后的图片缓存在本地的缓存中，因为这类的请求，并不是持久性的请求，比如客户页面在更改，第一版按照200宽的等宽显示，两天后，客户页面修改，将缩略图改为300等宽，这样，如果存储到图片存储中，因为前端的修改，图片请求的格式在不断的变化，如果存储起来，会浪费很多存储空间，这种变化的可能会导致存储的数十倍的浪费分布式系统分布式系统是需要的，主要是两个方面，第一是自动进行冗余备份，其次是提供动态扩容的方便，选择合适的分布式系统是比较好重要的前置机在图片存储服务，甚至大部分的文件存储服务中，读写的差异很大，读写请求的数量差异也很大，一张图片，写次数屈指可数，读的次数多大千万次，读服务请求的数量也很多，读写请求的完成质量也有差异，写请求失败，数据很有可能丢失，或者造成一段时间内整体读服务不能完成。而读请求失败一次，影响却很小，可以通过其他节点，或者备份节点弥补，所以在上面的架构体系统，将读写请求分开以前置机来出来。方案Tfs或者fastdfs这个用作用图片存储的优点是这两个系统开发意图就是为了图片存储，也为图片存储做了大量的优化，对大量小图片的支持很好，访问速度，稳定性，数据一致性保证都很好。都不需要二次开发，直接可以使用，并且提供了nginx的模块，可以很容易配置http访问方式。缺点是都不支持posix类接口，实质是属于key-value类型接口在作为云端存储的时，需要在外围做大量的开发工作，维护user-namespace-pic的关系使用如kv方式存储底层是用大型的分布式文件系统，上层是用key-value存储存储文件的方式也可以对百亿级别的图片文件进行存储，但是文件需要经过切片进行存储，如果切片大小4k，常规图片的大小是20k左右，比如图片是21k，可以通过将图片文件切成4k固定的大小，分prefix+0-6的方式存入key-value存储中，并且将相应的图片数据存入对应的顺序的key中，在读取图片的时候，将6个key取出，按照顺序组个数据，即可还原图片。Kv方式也可以是用bitcast方式存储文件，即图片存在文件里，kv只存储文件名到元数据的以及数据位置的索引，但是在合并时需要做额外很多的处理，比如图片的删除，需要从kv中删除，并且从数据文件中删除图片的那段数据，合