短视频特效“耍花招”:线上投篮、摆摊,让画中人摇摆,浅谈腾讯微视的AR基建...
出品 | AI科技大本营 魔性的背景音乐、酷炫的AR特效、多元的内容题材,让大众欲罢不能的短视频App正在成为内容生产和传播主要渠道之一。 而短视频平台为了抢夺用户,正在通过各种方式提升用户体验。其中,AR特效打破虚拟与真实的界线,带来丰富的娱乐性,再度提升了短视频的体验。结合人脸识别技术,AR特效相机可以在人脸上添加各种萌萌的动物挂件,与此同时,AR特效功能还会匹配相应的背景音乐,从而吸引用户生成有趣生动的AR内容。 腾讯微视作为一款时下热门的短视频软件之一,对于创意玩法应用也有诸多有趣的探索。 最近, 他们推出了“AR投篮机”,在微视APP内搜索“AR投篮” , 点击体验后,手机屏幕会出现一个投篮的小游戏,点开始就能投篮。除了AR投篮机,腾讯微视此前还推出了摆摊、熊出没等有趣的特效。 更重要的是,从微视引入的AR特效功能出发,也可以一窥腾讯在AR前沿技术上的布局。 这些AR特效背后的核心技术 是由腾讯微视光流团队和视频理解团队研发的一整套AR技术基建, 具体包括6自由度定位与跟踪、语义分割、物体检测等,以及集成物理引擎、渲染引擎骨骼绑定及驱动等技术。 当然,在开发具体AR特效时,以上相关AR算法都被集成到一个SDK,每个具体技术的都可以进行类似模块化组合,有效加速新能力的接入速度。在玩法设计上,微视将底层的能力统一封装打包制作成针对设计师的可图形化操作工具