一种面向软件定义卫星的成像系统及成像方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114125216A(43)申请公布日2022.03.01(21)申请号202111253065.3(22)申请日2021.10.27(71)申请人中国科学院软件研究所地址100190北京市海淀区中关村南四街4号(72)发明人赵军锁林翊钧吴凤鸽(74)专利代理机构北京超凡宏宇专利代理事务所(特殊普通合伙)11463代理人李飞(51)Int.Cl.H04N5/225(2006.01)H04N9/04(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)G06T5/00(2006.01)权利要求书3页说明书9页附图5页(54)发明名称一种面向软件定义卫星的成像系统及成像方法(57)摘要本申请实施例提供一种面向软件定义卫星的成像系统及成像方法，所述自适应曝光成像系统包括：相机载荷，被配置为：根据初始化成像参数获取RGB三通道图像；以及根据曝光值增量确定目标成像参数值，并根据所述目标成像参数值生成新的RGB三通道图像，其中，所述的相机载荷包括镜头组件、感光器件以及图像处理器ISP；成像决策智能体，被配置为：接收所述RGB三通道图像；根据所述新的RGB三通道图像得到所述曝光值增量并提供给所述相机载荷；以及，确认达到设定的循环次数，向空间视觉处理任务提供所述RGB三通道图像。本申请的实施例使得控制单元的算法与相机载荷松耦合，在软件定义背景下满足跨卫星平台型号部署的需求，可迁移的适应性能力较强。CN114125216ACN114125216A权利要求书1/3页1.一种面向软件定义卫星的成像系统，其特征在于，所述成像系统包括：相机载荷，被配置为：根据初始化成像参数获取RGB三通道图像；以及根据曝光值增量确定目标成像参数的值，并根据所述目标成像参数的值生成新的RGB三通道图像，其中，所述的相机载荷包括镜头组件、感光器件以及图像处理器ISP；成像决策智能体，被配置为：接收所述RGB三通道图像；根据所述RGB三通道图像得到所述曝光值增量并提供给所述相机载荷；以及，确认达到设定的循环次数，向空间视觉处理任务提供目标RGB三通道图像；其中，所述目标成像参数的类型包括：曝光时间、感光度、增益或者光圈。2.如权利要求1所述的成像系统，其特征在于，通过曝光仿真图像集训练智能体，得到所述成像决策智能体，其中，所述曝光仿真图像集是通过伽玛校正理论对多曝光遥感图像进行合成得到的。3.如权利要求2所述的成像系统，其特征在于，通过如下方法获取用于训练所述智能体的标注数据：选择遥感数据集中的图像作为初始样本数据，并将所述图像的像素值归一化到[0,1]空间；对所述初始样本数据中的每幅图像，根据第一伽马值应用伽马校正将所述每幅图像映射到线形空间，得到第一校正图像集，其中，所述第一伽马值为2.2；通过乘法的方式对所述第一校正图像集中的图像的亮度值进行线形调整，以模拟不同的曝光量，得到多曝光量图像集；根据第二伽马值，再次应用伽马校正将所述多曝光量图像集中的图像复原到非线形空间中，得到所述曝光仿真图像集，其中，所述第二伽马值为1/2.2；根据空间感知任务的不同，为所述曝光仿真图像集中图像合成相应的任务数据标注。4.如权利要求3所述的成像系统，其特征在于，所述选择遥感数据集中的图像作为初始样本数据，包括：选择所述遥感数据集中的图像作为基础元数据；对所述基础元数据中的图像进行数据增强操作，得到所述初始样本数据，其中，所述数据增强操作包括：翻转、裁剪、旋转、伸缩、位移和噪声添加中的至少一种。5.如权利要求1‑2任一项所述的成像系统，其特征在于，所述成像决策智能体是通过如下策略训练得到的：通过将训练中的智能体与空间环境交互，探索和积累不同成像参数组合的历史经验数据，并基于反馈控制的认知学习机制来拟合逼近评价函数与曝光值之间的非线性映射关系，以挖掘出适用于目标空间感知任务的最优RGB三通道图像与曝光值增量之间的对应关系，得到自适应的曝光决策。6.如权利要求2所述的成像系统，其特征在于，通过如下策略训练所述智能体：随机初始化状态，选择一张由第一种类的相机载荷输出的RGB图像；重复执行循环过程直至目标空间感知任务对应的智能体的模型收敛，得到所述成像决策智能体，其中，所述循环过程包括：2CN114125216A权利要求书2/3页将所述RGB图像输入所述智能体，由所述智能体根据策略或值函数网络的输出得到曝光值增量ΔEV作为曝光调整动作；根据所述曝光调整动作，指导所述相机载荷再次成像，得到新的图像；将所述新的图像应用于所述目标空间感知任务，根据所述目标空间感知任务取得的性能计算得到相应的奖励；基于所述奖励计算累计回报，评估所述智能体提供的所述曝光调整动作的优劣，得到损失并利用反向传播算法进行