一种基于AR技术的视频直播商品展示方法及系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111935495A(43)申请公布日2020.11.13(21)申请号202010814728.3H04N21/643(2011.01)(22)申请日2020.08.13(71)申请人上海识装信息科技有限公司地址200080上海市虹口区东大名路687号1幢517室(72)发明人张军令(74)专利代理机构上海精晟知识产权代理有限公司31253代理人刘宁(51)Int.Cl.H04N21/2187(2011.01)H04N21/2343(2011.01)H04N21/431(2011.01)H04N21/44(2011.01)H04N21/4402(2011.01)权利要求书2页说明书5页附图1页(54)发明名称一种基于AR技术的视频直播商品展示方法及系统(57)摘要本发明涉及一种基于AR技术的视频直播商品展示方法及系统，所述方法包括：主播端对视频流进行渲染，对音频流和视频流进行编码并流封装，通过流媒体服务器进行推流和拉流；观众端对flv格式视频进行解析、解码后对所述视频流、音频流进行展示；所述系统包括：主播端、观众端、流媒体服务器；所述主播端用于AR场景处理、编码；所述观众端用于进行解析、解码，对解析、解码后的所述视频流和音频流进行展示；所述流媒体服务器用于推流和拉流。本发明克服了现有的直播平台在商品展示方面场景不真实、用户体验差的问题，将直播技术与AR技术相结合，提出了一种基于AR技术的视频直播商品展示方法及系统，大大提高了电商平台的下单率。CN111935495ACN111935495A权利要求书1/2页1.一种基于AR技术的视频直播商品展示方法，其特征在于，所述方法包括：S1：主播端对直播视频流和/或音频流进行AR场景处理、编码，并将二者封装为flv格式视频流；S2：所述主播端通过rtmp协议将所述flv格式视频流推流到流媒体服务器；S3：所述flv格式视频流通过所述rtmp协议从所述流媒体服务器被拉流到观众端；S4：所述flv格式视频流通过所述观众端进行解析、解码后进行展示。2.根据权利要求1所述的一种基于AR技术的视频直播商品展示方法，其特征在于，所述步骤S1，包括：S101：所述主播端根据AR场景ID获取相对应的AR模型数据；S102：所述主播端对所述AR模型数据进行相机流数据分析，识别出所述相机流中的平面信息；S103：所述主播端加载所述AR模型，在所述平面信息位置对所述AR场景进行渲染；S104：所述相机流与所述AR场景结合成视频流。S105：所述主播端获取音频流和所述视频流，对所述音频流和所述视频流分别进行进行编码；S106：所述主播端将编码后的所述音频流和所述视频流封装为flv格式视频流。3.根据权利要求2所述的一种基于AR技术的视频直播商品展示方法，其特征在于，所述步骤S101之前，还包括：主播根据AR场景列表选择需要渲染的AR场景，所述主播端根据主播的选择记录需要渲染的所述AR场景ID。4.根据权利要求2所述的一种基于AR技术的视频直播商品展示方法，其特征在于，所述步骤S101，包括：所述移动端根据所述AR场景ID从本地缓存中查找对应的所述AR模型数据，如果所述AR模型数据存在，所述移动端则直接从本地缓存中获取相对应的所述AR模型数据；如果所述AR模型数据不存在，所述移动端则根据所述AR场景ID从服务器中下载相对应的所述AR模型数据到本地缓存中。5.根据权利要求2所述的一种基于AR技术的视频直播商品展示方法，其特征在于，所述步骤S102之前，还包括：对所述AR模型数据进行数据解密，当解密成功时执行所述步骤S102。6.根据权利要求2所述的一种基于AR技术的视频直播商品展示方法，其特征在于，所述AR场景能根据主播的手势进行位置的修改及场景的缩放。7.根据权利要求1所述的一种基于AR技术的视频直播商品展示方法，其特征在于，所述步骤S4，包括：S401：所述观众端通过解析所述flv格式视频得到所述音频流及所述视频流；S402：所述观众端对所述音频流及所述视频流分别进行解码；S403：所述观众端对解码后的所述视频流进行渲染显示，对解码后的音频流进行播放。8.一种基于AR技术的视频直播商品展示系统，其特征在于，应用于直播设备，用于在视频直播时进行商品展示，所述系统包括：主播端、观众端、流媒体服务器；所述主播端用于对直播视频流和/或音频流进行AR场景处理、编码，并将二者封装为2CN111935495A权利要求书2/2页flv格式视频流；所述观众端用于对所述flv格式视频流进行解析、解码，对解析、解码后的所述视频流进行渲染显示，对解析、解码后的所述音频流进行播放；所述流媒体服务器用于所述主播端对所述flv格式视频流进行推流；以及用于所述观众