海量船舶历史轨迹数据存储系统及查询方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115905242A(43)申请公布日2023.04.04(21)申请号202211659538.4(22)申请日2022.12.22(71)申请人中国人民解放军海军工程大学地址430000湖北省武汉市解放大道717号(72)发明人覃基伟马良荔何智勇牛敬华李永杰(74)专利代理机构武汉开元知识产权代理有限公司42104专利代理师李满(51)Int.Cl.G06F16/22(2019.01)G06F16/2453(2019.01)G06F16/27(2019.01)权利要求书4页说明书8页附图1页(54)发明名称海量船舶历史轨迹数据存储系统及查询方法(57)摘要本发明所设计的一种海量船舶历史轨迹数据存储系统，它包括轨迹存储模块、本地索引模块和数据维护模块。根据船舶轨迹数据结构特点，完成对船舶历史轨迹数据的有序组织和存储，并根据常见查询类型，将B+树、R树和哈希表结合，构建支持多种查询类型的本地索引结构，同时维护本地索引和对应的数据存储分区在同一节点中，减少通信开销。在构建的存储和索引结构的基础上，基于并行查询方法实现查询方法，实现对基于时间、空间和船舶标识查询的优化，由于同一船舶数据存储在同一节点的模型有效降低了节点间的通信开销，且通过行键和索引结构确保了对这三类关键词的快速查找，能够有效降低查询时延。CN115905242ACN115905242A权利要求书1/4页1.一种海量船舶历史轨迹数据存储系统，其特征在于：它包括轨迹存储模块(1)、本地索引模块(2)和数据维护模块(3)，其中，轨迹存储模块(1)包含分布在集群若干个节点中的轨迹存储分区(4)，每个轨迹存储分区(4)存储若干条船舶的轨迹数据；本地索引模块(2)包括若干个本地索引分区(5)，所有的本地索引分区(5)均存储在内存之中，每个本地索引分区(5)对应一个轨迹存储分区(4)，存在对应关系的本地索引分区(5)和轨迹存储分区(4)存放在同一个节点中；每个本地索引分区(5)包括一个时空索引(6)和一个船舶标识时间索引(7)，在查询船舶历史轨迹数据的过程中，时空索引(6)根据时空查询关键词定位查询的时空范围，船舶标识时间索引(7)根据船舶标识关键词和时间关键词来定位查询时间范围和船舶标识；数据维护模块(3)用于同步处理轨迹存储分区(4)和对应本地索引分区(5)的拆分和迁移；当某个轨迹存储分区(4)由于存储的数据量超过存储阈值而发生拆分，形成新的轨迹存储分区(4)时，数据维护模块(3)用于同步将对应的本地索引分区(5)拆分为新的本地索引分区(5)，使得新的本地索引分区(5)与新的轨迹存储分区(4)对应；当轨迹存储分区(4)从一个节点迁移到另一个节点上时，数据维护模块(3)则同步将对应的本地索引分区(5)迁移至对应节点上。2.根据权利要求1所述的海量船舶历史轨迹数据存储系统，其特征在于：所述集群为一组松散或紧密连接在一起工作的计算机，集群中的单个计算机被视为一个节点，节点之间通过局域网连接。3.根据权利要求1所述的海量船舶历史轨迹数据存储系统，其特征在于：所述轨迹存储模块(1)基于非关系型数据库HBase实现，HBase中数据存储在表中，表由行和列组成，相同类型的列又可构成列族，使用一张单独的HBase表格Tabt来存储船舶轨迹数据，HBase表格Tabt划分为若干个分布在集群中的轨迹存储分区，每个轨迹存储分区存储若干条船舶的轨迹数据，同一船舶的轨迹数据以轨迹段的形式连续、有序存储在一个轨迹存储分区(4)中，连续是指同一条船舶的数据在存储空间上分布连续，中间不会插入其它船舶的数据，有序是指同一船舶中不同的轨迹数据是按照时间顺序存储的；所述轨迹段为船舶在某个时间区间中所产生的连续、有序的船舶轨迹数据，所述时间区间通过将时间维度等长划分得到，在某个时间区间tii中，轨迹段TSi,j＝{p1,p2,…,pk}是指船舶shj在时间区间tii中采样轨迹点所形成的序列，轨迹点p1,p2,…,pk按照时间顺序排序；轨迹段通过组合船舶标识和时间区间属性实现唯一标识，由于HBase表格Tabt使用行键来确定存储分区的数据所在的位置，因此当轨迹数据以轨迹段的形式存储时，行键rk采用组合船舶标识mmsi和时间区间ti属性的形式实现：rk＝mmsi+ti其中，mmsi为水上移动通信业务标识码，ti表示时间区间，由于rk中mmsi信息作为前缀，根据HBase行键字典排序的特点，同一船舶的轨迹数据会连续、有序存储在Tabt中；配合于HBase表格Tabt中行键的设计，在列族和列方面，采用一个列族来存储轨迹段中所有轨迹点，列族中每列采用轨迹点的采样时刻作为列键，确保轨迹段内轨迹点基于时间顺序存储，轨迹点的空间位置及AIS数据中除开MMSI、时间、