画面码流合成方法、终端、电子设备和存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111885346A(43)申请公布日2020.11.03(21)申请号202010886632.8(22)申请日2020.08.28(71)申请人中移（杭州）信息技术有限公司地址310011浙江省杭州市五常街道余杭塘路1600号A01号楼申请人中国移动通信集团有限公司(72)发明人杨雯方(74)专利代理机构上海晨皓知识产权代理事务所(普通合伙)31260代理人成丽杰(51)Int.Cl.H04N7/15(2006.01)H04N19/20(2014.01)H04N19/44(2014.01)H04N21/44(2011.01)权利要求书2页说明书7页附图4页(54)发明名称画面码流合成方法、终端、电子设备和存储介质(57)摘要本发明实施方式公开了一种画面码流合成方法、终端、电子设备和存储介质，涉及通信领域。画面码流合成方法包括：获取至少两路画面码流和所述画面码流的码流信息，其中，所述码流信息包含所述画面码流的编解码方式、所述画面码流的合成规则和所述画面码流的合成方式；根据所述编解码方式选择对所述画面码流解码，获取解码画面码流；根据所述合成规则和所述合成方式对所述解码画面码流利用开放式图形库OpenGL进行渲染合成，获取合成画面帧；根据所述编解码方式对所述合成画面帧进行编码，得到一路合成画面码流。将本发明的画面码流合成方法应用在通信传输中，可以避免合成设备系统资源的浪费，来达到提高画面码流传输效率的目的。CN111885346ACN111885346A权利要求书1/2页1.一种画面码流合成方法，其特征在于，包括：获取至少两路画面码流和所述画面码流的码流信息，其中，所述码流信息包含所述画面码流的编解码方式、所述画面码流的合成规则和所述画面码流的合成方式；根据所述编解码方式选择对所述画面码流解码，获取解码画面码流；根据所述合成规则和所述合成方式将所述解码画面码流采用开放式图形库OpenGL进行渲染合成，获取合成画面帧；根据所述编解码方式对所述合成画面帧进行编码，获取一路合成画面码流。2.根据权利要求1所述的画面码流合成方法，其特征在于，所述根据所述编解码方式对所述画面码流解码，包括：根据所述编解码方式选择解码器，其中，所述编解码方式包含软件编解码、硬件编解码；根据所述解码器对所述画面码流进行独立解码。3.根据权利要求1所述的画面码流合成方法，其特征在于，所述根据所述合成规则和所述合成方式对所述解码画面码流采用开放式图形库OpenGL进行渲染合成，获取合成画面帧，包括：根据所述合成方式确定所述合成画面帧的分屏方式；采用开放式图形库OpenGL按照所述分屏方式和所述合成规则将所述解码画面码流进行渲染合成，获取所述合成画面帧。4.根据权利要求3所述的画面码流合成方法，其特征在于，所述采用开放式图形库OpenGL按照所述分屏方式和所述合成规则将所述解码画面码流进行渲染合成之前还包括：判断所述合成规则是否包含在预设合成规则中；若所述合成规则包含在预设规则中，则按照所述合成规则进行渲染合成；若所述合成规则不包含在预设规则中，则根据所述画面码流的码流信息在所述预设的合成规则中选取最合适的。5.根据权利要求1所述的画面码流合成方法，其特征在于，所述根据所述合成规则和所述合成方式将所述解码画面码流采用开放式图形库OpenGL渲染，获取合成画面帧之后还包括：创建缓存空间；将所述合成画面帧读取到所述缓存空间；将所述缓存空间的数据映射到视频缓冲区。6.根据权利要求1所述的画面码流合成方法，其特征在于，所述根据所述编解码方式对所述合成画面帧进行编码，包括：获取所述合成画面帧，并将所述合成画面帧转化为YUV格式的合成画面帧；根据所述编解码方式选择编码器，其中，所述编解码方式包括软件编解码、硬件编解码；根据所述编码器对所述YUV格式的合成画面帧进行视频编码和音频编码。7.根据权利要求1所述的画面码流合成方法，其特征在于，所述获取一路合成画面码流之后还包括：将所述一路合成画面码流封装为MP4格式的视频数据存储；或者，2CN111885346A权利要求书2/2页将所述一路合成画面码流推送到媒体流服务平台。8.一种画面码流合成终端，其特征在于，包括：获取模块：用于获取至少两路画面码流和所述画面码流的码流信息，其中，所述码流信息包括所述画面码流的编解码方式、所述画面码流的合成规则和所述画面码流的合成方式；解码模块：用于根据所述编解码方式对所述画面码流解码，得到解码画面码流；合成模块：用于根据所述合成方式和所述合成规则对所述解码画面码流采用开放式图形库OpenGL进行渲染合成，获取合成画面帧；编码模块：用于根据所述编解码方式对所述合成画面帧进行编码，获取一路合成画面码流。9.一种电子设备，其特