一种语义标签引导的视频对象分割方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN106327469A(43)申请公布日2017.01.11(21)申请号201510368762.1(22)申请日2015.06.29(71)申请人北京航空航天大学地址100191北京市海淀区学院路37号(72)发明人陈小武张宇李甲赵沁平王晨夏长群(74)专利代理机构北京同立钧成知识产权代理有限公司11205代理人娄冬梅黄健(51)Int.Cl.G06T7/00(2006.01)权利要求书4页说明书13页附图4页(54)发明名称一种语义标签引导的视频对象分割方法(57)摘要本发明提供一种语义标签引导的视频对象分割方法，包括：根据对象所属的语义类别标签，依次利用对象包围盒检测器和对象轮廓检测器对输入视频的每一帧进行检测，得到该输入视频每一帧的候选对象包围盒集合和候选对象轮廓集合；建立包含候选对象包围盒集合与候选对象轮廓集合的联合分配模型，求出该输入视频中所述对象对应的初始分割序列，并对该初始分割序列进行处理，估算出所述对象的形状概率分布；结合该形状概率分布，依次利用图割算法对每一个包含所述对象的序列进行优化处理，得到所述对象对应的最优分割序列。本发明的技术方案，解决了现有视频对象分割方法不精确以及无法适用于单个输入视频的语义类别对象分割的问题。CN106327469ACN106327469A权利要求书1/4页1.一种语义标签引导的视频对象分割方法，其特征在于，包括：根据对象所属的语义类别标签，依次利用对象包围盒检测器和对象轮廓检测器对输入视频的每一帧进行检测，得到所述输入视频每一帧的候选对象包围盒集合和候选对象轮廓集合；建立包含所述候选对象包围盒集合与所述候选对象轮廓集合的联合分配模型，求出所述输入视频中所述对象对应的初始分割序列，所述初始分割序列为至少一个包含所述对象的序列；对所述初始分割序列进行处理，估算出所述输入视频中所述对象的形状概率分布；结合所述对象的形状概率分布，依次利用图割算法对每一个包含所述对象的序列进行优化处理，得到所述输入视频中所述对象对应的最优分割序列。2.根据权利要求1所述的语义标签引导的视频对象分割方法，其特征在于，所述根据对象所属的语义类别标签，依次利用对象包围盒检测器和对象轮廓检测器对输入视频的每一帧进行检测，得到所述输入视频每一帧的候选对象包围盒集合和候选对象轮廓集合，具体包括：根据所述对象所属的语义类别标签，利用所述对象包围盒检测器在至少两个阈值上对所述输入视频的每一帧进行检测，计算出所述至少两个阈值对应检测结果的综合性能值，从所述综合性能值中选出最大的综合性能值对应的阈值作为所述对象包围盒检测器的最优阈值；根据所述对象所属的语义类别标签，利用所述对象包围盒检测器在所述最优阈值上对所述输入视频的每一帧进行检测，得到所述输入视频每一帧的对象包围盒集合，所述输入视频每一帧的对象包围盒集合和该帧空包围盒集合的并集为所述输入视频该帧的所述候选对象包围盒集合；根据所述输入视频每一帧的所述候选对象包围盒集合，利用基于参数约束最小割的对象轮廓检测器对所述输入视频的每一帧进行检测，得到所述输入视频每一帧的候选对象轮廓集合。3.根据权利要求1所述的语义标签引导的视频对象分割方法，其特征在于，所述建立包含所述候选对象包围盒集合与所述候选对象轮廓集合的联合分配模型，求出所述输入视频中所述对象对应的初始分割序列，具体包括：通过分别设定表示所述候选对象包围盒集合和所述候选对象轮廓集合分配的0-1变量集合，建立优化目标为所述对象对应的初始分割序列的第一优化目标函数式；通过将所述候选对象包围盒集合与所述候选对象轮廓集合的组合用网络流节点表示，将求解所述对象对应的初始分割序列的问题转化为求解网络流最小成本最大流的问题；采用最小成本最大流算法，求出满足所述网络流最小成本最大流问题的Kmax个初始序列；对所述Kmax个初始序列中的前K个初始序列，分别利用K-最短路径算法重新选取对象轮廓，得到K个候选序列集合；对所述K个候选序列集合中的每一个候选序列，采用0-1变量表示每个候选序列的选择状态，将求解所述网络流最小成本最大流的问题转化为0-1二次规划问题；利用优化器对所述0-1二次规划问题进行求解，得到所述对象对应的初始分割序列。2CN106327469A权利要求书2/4页4.根据权利要求3所述的语义标签引导的视频对象分割方法，其特征在于，所述通过分别设定表示所述候选对象包围盒集合和所述候选对象轮廓集合分配的0-1变量集合，建立优化目标为所述对象对应的初始分割序列的第一优化目标函数式，具体包括：设定表示所述候选对象包围盒集合的集合其中，Dt表示所述输入视频第t帧的候选对象包围盒集合，取值为1表示包围盒D被分配给第k个序列，取值为0表示包围盒D没有被分配给第k