实现VR直播的关键技术
VR是多媒体技术发展的必然趋势,人们所使用的信息载体从最早的文字、图像,到音视频,再到用VR,将事物的描述表达推向了极致,充分满足了沉浸性、互动性和构想性三大要素的需求。随着5G的商业化运营,VR有望突破传输、处理、实时性等相关的技术瓶颈,VR直播将迎来新的发展机遇,应用场景将极大拓展。 接下来,我们会从京东云VR直播的关键技术点进行切入,带大家一起来了解一下VR直播在5G时代的落地应用是怎样实现的。 产品架构 京东云VR直播产品架构图 VR直播由VR采集/拼接/推流、云端VR处理、VR播放三端组成。 采集端采用VR拍摄设备,捕捉全景画面,传输到京东云;京东云VR直播平台进行实时转码、录制和分发,并对直播内容进行审核和鉴权等;用户佩戴VR头显进行实时直播观看及点播回看,享受沉浸式的观看体验。 关键技术 1 视频实时拼接和空间重定位 VR直播信号在采集的过程中是通过多机位、多角度拍摄的,所以在采集后需要对多个镜头的视频进行实时拼接,拼接通过时间坐标和空间坐标对视频进行缝合处理,同时进行畸变校正。完成拼接后,将正方向调整为影片想要表现的主体,从而为客户提供高质量的VR直播服务。 2 ROI编码 感兴趣区域(ROI)变质量编码,通过设定的感兴趣区域(通常为人脸),在网络带宽或存储空间有限的情况下,提供既符合人眼观看画质要求,又满足网络传输或空间存储的的高质量视频编码。 3 京享超清转码