基于特征摘要图的视频中的户外场景文本自动获取方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN108038458A(43)申请公布日2018.05.15(21)申请号201711381971.5(22)申请日2017.12.20(71)申请人首都师范大学地址100048北京市海淀区西三环北路105号(72)发明人黄晓冬王勤(74)专利代理机构北京德琦知识产权代理有限公司11018代理人夏宪富(51)Int.Cl.G06K9/00(2006.01)G06K9/34(2006.01)G06K9/46(2006.01)G06K9/62(2006.01)权利要求书4页说明书7页附图3页(54)发明名称基于特征摘要图的视频中的户外场景文本自动获取方法(57)摘要一种基于特征摘要图的视频中的户外场景文本自动获取方法，首先获取场景文本的视频帧图像，并基于视频帧图像的RGB色彩空间生成视频帧特征摘要图：先在RGB色彩空间上分别提取水平、垂直、45度和135度四个方向的四个卷积图，得到表征色彩空间的四个方向特征向量，进而获得代表不同方向视频帧的十个显著图并进行融合计算，得到视频帧特征摘要图。然后基于视频帧特征摘要图和RGB色彩空间进行K均值颜色聚类计算，得到表示背景、前景文字字符、字符轮廓和噪音的四个区域的四类结果后，再分别分析四类结果的连通域，删除背景和噪音两个区域，自动获取最终的户外场景文本。本发明操作步骤简单、计算容易，能够实时识别和获取的户外场景文本，推广应用前景好。CN108038458ACN108038458A权利要求书1/4页1.一种基于特征摘要图的视频中的户外场景文本自动获取方法，其特征在于：该方法包括下列操作步骤：步骤1，获取场景文本的视频帧图像，并基于该视频帧图像的红绿蓝RGB色彩空间生成视频帧特征摘要图：首先在RGB色彩空间上分别提取包括水平方向、垂直方向、45度方向和135度方向的四个卷积图，得到用于表征RGB色彩空间的四个方向特征向量；再将该四个方向特征向量分别进行两两向量的乘积运算，以获得分别代表不同方向视频帧的十个显著图；然后对该不同方向的十个显著图进行融合计算，得到视频帧特征摘要图，作为后续获取视频中的场景文本的视觉表征，并删除背景和噪声干扰，提高识别精准度；步骤2，自动获取场景文本：首先基于该视频帧特征摘要图和RGB色彩空间进行K均值颜色聚类计算，将该视频帧摘要图细分为分别表示背景、前景文字字符、字符轮廓和噪音的四个区域的四类结果；再对该四类结果分别进行连通域分析，删除背景和噪音两个区域，获取最终的场景文本。2.根据权利要求1所述的方法，其特征在于：所述在RGB色彩空间上分别提取的包括水平方向、垂直方向、45度方向和135度方向的四个卷积图中，水平方向卷积图采用的水平方向卷积核是索贝尔Sobel算子中计算水平方向微分的计算模板：垂直方向卷积图采用的垂直方向卷积核是Sobel算子中计算垂直方向微分的计算模板：45度方向卷积图采用的45度方向卷积核是计算45度方向微分的计算模板：135度方向卷积图采用的135度方向卷积核是计算135度方向微分的计算模板：基于卷积核的卷积图特征提取方法特点是算法简单、运算速度快、有利于工程实现，且提取的卷积特征不容易受到户外场景中的光照变化影响。3.根据权利要求1所述的方法，其特征在于：所述步骤1包括下列操作内容：(11)先分别在红色通道上分别提取水平方向卷积图Rh、垂直方向卷积图Rv、45度方向卷积图Rl和135度方向卷积图Rr，在绿色通道上分别提取水平方向卷积图Gh、垂直方向卷积图Gv、45度方向卷积图Gl和135度方向卷积图Gr，在蓝色通道上分别提取水平方向卷积图Bh、垂直方向卷积图Bv、45度方向卷积图Bl和135度方向卷积图Br；再将上述各个方向卷积图按照RGB色彩空间排列，得到用于表征RGB色彩空间的四个方向特征向量：水平方向特征向量H＝{Rh,Gh,Bh},垂直方向特征向量V＝{Rv,Gv,Bv}，45度方向特征向量L＝{Rl,Gl,Bl}，135度方向特征向量R＝{RrGr,Br}；(12)将该四个方向特征向量分别进行两两向量的乘积运算，获得代表视频帧的不同方2CN108038458A权利要求书2/4页向的十个显著图，以便在保留多个设定方向边缘特征的同时，删除其余方向的背景和噪音干扰，并获取场景文本多种方向的笔划特征，有助于自动提取场景文本；(13)对该不同方向的十个显著图进行融合计算，得到视频帧特征摘要图，为后续获取视频中的场景文本提供视觉表征，并删除背景和噪声干扰，提高场景文本自动获取结果的精准度和完整度。4.根据权利要求3所述的方法，其特征在于：所述步骤(12)包括下列操作内容：(120)按照公式Shh＝{Rh,Gh,Bh}×{Rh,Gh,Bh}计算水平方向特征向量的自乘之积，