基于消息驱动模式的多源异构天基数据采集方法和系统.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115833913A(43)申请公布日2023.03.21(21)申请号202211469130.0(22)申请日2022.11.22(71)申请人中国空间技术研究院地址100094北京市海淀区友谊路104号院(72)发明人张斌魏元骏李潭马红梅李瑾雯成开元杨静(74)专利代理机构北京谨诚君睿知识产权代理事务所(特殊普通合伙)11538专利代理师延慧李红(51)Int.Cl.H04B7/185(2006.01)权利要求书3页说明书8页附图2页(54)发明名称基于消息驱动模式的多源异构天基数据采集方法和系统(57)摘要本发明涉及一种基于消息驱动模式的多源异构天基数据采集方法和系统，所述方法包括：利用数据采集消息处理模块根据对天基数据的需求筹划采集计划，并发出数据需求筹划；利用数据监听发送模块接收所述数据需求筹划，根据采集类型获取对应的数据源，执行数据采集任务，并按照发现即接入的监听机制多线程监听新增的天基数据，以消息驱动的模式将监听到的天基数据消息发送至数据调度处理模块；利用所述数据调度处理模块对采集到的各类天基数据进行统一调度处理，并向所述数据采集消息处理模块反馈处理后的规范化多源数据响应。本发明可实现数据类型、格式、精度、时延各不相同的多型卫星、各类载荷的各网段天基数据的自动接入。CN115833913ACN115833913A权利要求书1/3页1.一种基于消息驱动模式的多源异构天基数据采集方法，包括：利用数据采集消息处理模块根据对天基数据的需求筹划采集计划，并发出数据需求筹划；利用数据监听发送模块接收所述数据需求筹划，根据采集类型获取对应的数据源，执行数据采集任务，并按照发现即接入的监听机制多线程监听新增的天基数据，以消息驱动的模式将监听到的天基数据消息发送至数据调度处理模块；利用所述数据调度处理模块对采集到的各类天基数据进行统一调度处理，并向所述数据采集消息处理模块反馈处理后的规范化多源数据响应。2.根据权利要求1所述的方法，其特征在于，所述数据需求包括：相同网段的数据源及其数据需求和不同网段的数据源及其数据需求。3.根据权利要求2所述的方法，其特征在于，在利用数据采集消息处理模块根据对天基数据的需求筹划数据采集计划，并发出数据需求筹划的过程中，包括：调用第一网络交换设备将所述数据采集消息处理模块发出的不同网段的数据源及其数据需求传递至所述数据监听发送模块；利用所述数据采集消息处理模块将相同网段的数据源及其数据需求直接传递至所述数据监听发送模块。4.根据权利要求2所述的方法，其特征在于，在利用数据监听发送模块接收所述数据需求筹划，根据采集类型获取对应的数据源，执行数据采集任务，并按照发现即接入的监听机制多线程监听新增的天基数据，以消息驱动的模式将监听到的天基数据消息发送至数据调度处理模块的过程中，包括：解析监听到的天基数据的消息协议和文件名称；利用系统缓存和数据库的历史采集数据，对监听到的文件信息和已经监听过的文件信息进行比较，如果文件信息相同，则不将监听到的文件采集至所述数据调度处理模块，否则监听文件并将监听到的文件采集至所述数据调度处理模块；根据所述筹划区分数据业务需求，自动识别是否需要进行跨网段传输。5.根据权利要求2所述的方法，其特征在于，利用所述数据调度处理模块对采集到的各类天基数据进行统一调度处理，包括：根据天基数据采集业务需求，利用模式选择模块设定数据采集策略；利用数据配置模块接收数据驱动消息，按照不同级别的多源天基数据进行分级监听；利用断点续传模块在天基数据的传输过程中随时暂停或继续接收该天基数据；利用数据去重模块对数据采集过程中产生的冗余数据进行识别和去重；利用定时清理模块根据不同的采集业务需求设定清除策略，定时清理冗余数据；利用质量检查模块对采集的数据的质量和规范性进行检查，并剔除无效数据；利用时空筛选模块对有效数据进行时间筛选和空间筛选，选择性接入满足预设时空条件的数据；利用类型筛选模块对接入数据的类型进行设定并进行选择；利用格式转换模块自动匹配数据类型，并将数据的格式和规范进行统一转换；利用归档存储模块对转换后的规范数据按照数据类型匹配对应的模板进行归档存储，并记录存储过的数据信息，对冗余数据进行定时清理或一次性清理历史冗余数据，获得规2CN115833913A权利要求书2/3页范化后的多源天基数据。6.根据权利要求2所述的方法，其特征在于，在利用所述数据调度处理模块对采集到的各类天基数据进行统一调度处理，并向所述数据采集消息处理模块反馈处理后的规范化多源数据响应的过程中，包括：所述数据监听发送模块接收到所述数据需求筹划后，调用第二网络交换设备并通过所述第二网络交换设备的通道将所述数据调度处理模块处理后的不同网段的规范化多源数据响应反馈