腾讯技术开放日 | 全面解析腾讯会议的视频前处理算法
在视频通话中, 视频前处理模块可以有效提升用户参与实时视频时的体验,并保护用户隐私,主要包括虚拟背景、美颜和视频降噪等。腾讯会议在视频前处理场景下,遇到哪些技术难点,如何进行优化?【腾讯技术开放日 · 云视频会议专场】中,腾讯云高级工程师李峰从算法和工程优化的角度进行了分享。 视频前处理场景探索 视频是连续的,在转播的时候需要经过编码和解码的流程,所以视频处理需要分为前处理和后处理。所谓前处理就是指编码前的视频处理,比如背景虚化。 所谓后处理就是指解码后的视频处理,比如视频超分。 有哪些前处理算法可以应用在视频会议的处理场景下呢?理想情况下,多多益善,能够想到的都可以落地,但是考虑到会议场景的计算资源非常有限,而且要不影响其它高优先级的服务,所以需要挖掘用户最迫切的需求,利用有限的计算资源为用户提供更好的视频体验。 数据分析发现会议场景下大家开摄像头的比例不是很高,我们分析主要有三个原因:第一担心泄漏隐私,第二不够自信,第三画质不好。针对这几个点腾讯会议陆续推出了虚拟背景、美颜、视频降噪、暗场景增强等一系列的处理算法。 虚拟背景可以很好的保护用户隐私,创造一个公平的环境,这里贴了一个用户的反馈,这是一个在线课堂老师反馈虚拟背景可以为许多孩子取消歧视,让家庭背景、家庭条件不再成为孩子的负担。美颜的话,相信大家都是非常了解,也是经常用的,它可以鼓励大家参与到视频通话的场景中来