数据处理方法和装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利(10)授权公告号(10)授权公告号CNCN102375694102375694B(45)授权公告日2014.09.10(21)申请号201010259653.3(22)申请日2010.08.20(73)专利权人浙江宇视科技有限公司地址310053浙江省杭州市滨江区东信大道66号C厂房二、三层A区(72)发明人孙策王珏(74)专利代理机构北京德琦知识产权代理有限公司11018代理人谢安昆宋志强(51)Int.Cl.G06F3/06(2006.01)审查员李江权权利要求书3页利要求书3页说明书9页说明书9页附图4页附图4页(54)发明名称数据处理方法和装置(57)摘要本发明提供了数据处理方法和装置，其中，该方法包括：A，将磁盘阵列中除保留空间之外的空间划分为1个以上大小相同的存储单元组；将每一存储单元组中除预设二级索引空间外的空间划分为1个以上大小相同的存储单元；B，所述磁盘阵列的缓存以单位时间为间隔将同一个单位时间内接收的数据顺序写入至同一个存储单元，并在完成写入后，分别在所述保留空间和所述二级索引空间中添加每路数据对应的EC通道的一级索引表和二级索引表，以供查询该路数据。采用本发明，能够实现以全顺序方式写入数据至磁盘阵列。CN102375694BCN102375694BCN102375694B权利要求书1/3页1.一种数据处理方法，其特征在于，该方法包括：A，将磁盘阵列中除保留空间之外的空间划分为1个以上大小相同的存储单元组；将每一存储单元组中除预设二级索引空间外的空间划分为1个以上大小相同的存储单元；B，所述磁盘阵列的缓存以单位时间为间隔将同一个单位时间内接收的数据顺序写入至同一个存储单元，并在完成写入后，在所述保留空间中添加每路数据对应的EC通道的一级索引表，在所述二级索引空间中添加每路数据对应的EC通道的二级索引表，以供查询该路数据。2.根据权利要求1所述的方法，其特征在于，所述步骤B中的添加包括：B11，针对每路数据对应的EC通道，如果该EC通道上次下刷的数据写入至该存储单元所在的存储单元组，执行步骤B13，否则，执行步骤B12；B12，在保留空间中添加该EC通道的一级索引表，之后执行步骤B13；该一级索引表包含该存储单元组的编号、数据写入至该存储单元组的时间、该EC通道的名称及其二级索引表的位置；B13，在该存储单元组的二级索引空间中添加该EC通道的二级索引表；该二级索引表包含该路数据在存储单元的位置和被采集数据的时间。3.根据权利要求1所述的方法，其特征在于，所述步骤B中写入包括：B21，在向磁盘阵列写入当前单位时间内接收的数据时，如果当前是首次向磁盘阵列写入数据，则将当前单位时间内接收的数据写入至所述磁盘阵列中第一个存储单元组的第一个存储单元；否则，执行步骤B22；B22，在上一个存储单元为磁盘阵列中最后一个存储单元组的最后一个存储单元时，所述上一个存储单元为上一个单位时间写入的存储单元，执行步骤B23；否则，执行步骤B24；B23，更新第一个存储单元组中第一个存储单元的数据为当前单位时间内接收的数据；B24，在上一个存储单元的下一个存储单元还未写入数据时，将当前单位时间内接收的数据写入至该下一个存储单元，否则，更新该下一个存储单元中的数据为当前单位时间内接收的数据。4.根据权利要求3所述的方法，其特征在于，当接收到EC通道向所述缓存下发的暂停通知时，该方法进一步包括：在保留空间中查找到该EC通道的一级索引表；根据一级索引表中该EC通道二级索引表的位置查找到该EC通道的二级索引表；从该二级索引表中获取该EC通道下刷的数据在各存储单元中的位置，之后锁定该位置；所述步骤B23或者步骤B24中更新包括：如果存储单元中存在锁定位置，则更新该存储单元中除锁定位置之外的数据为当前单位时间内接收的数据，否则，更新该存储单元中的数据为当前单位时间内接收的数据。5.根据权利要求4所述的方法，其特征在于，所述步骤B23或步骤B24在更新存储单元中的数据之前进一步包括：判断该存储单元是否包含锁定位置，如果是，确定该存储单元中除锁定位置之外的数据对应的EC通道；如果否，确定该存储单元中存放的数据对应的EC通道；2CN102375694B权利要求书2/3页在所述保留空间中删除该确定的EC通道的一级索引表，以及在该存储单元所在存储单元组的二级索引空间中删除该确定的EC通道的二级索引表。6.根据权利要求1所述的方法，其特征在于，所述步骤B中的查询包括：当接收到EC通道请求读取磁盘阵列中的数据时，所述请求携带了读取数据的时间段，在保留空间中查找到该EC通道的一级索引表；从该一级索引表中确定写入时间早于、且最接近该时间段起始时间的存储单元组的编号1，以及确定晚于、且最接近该时间段结束时间的存储