AVS

5G时代探索互动立体视频信息承载的新可能

允我心安 提交于 2020-08-10 04:48:35
5G时代对于视频行业的发展和业务形态将是一个重要的助推,但5G时代带来的改变不只是带宽提升和延迟降低这两个最直接的因素。本次LiveVideoStackCon 2020线上峰会我们邀请到了阿里巴巴高级算法专家盛骁杰,他将介绍在5G时代,视频信息承载将逐步从目前的平面视频形态过渡到信息表达更为丰富的三维视频,而这种过渡中包含的可能性一方面需要我们充分利用5G技术本身的云、边、端架构带来的技术红利,另一方面,也需要我们对于快速发展的三维视觉,AI,AR等技术进行综合性的创新运用,使得视频体验通过可互动的三维信息表达在5G时代不断给用户创造出更多的价值。 文 / 盛骁杰 整理 / LiveVideoStack 大家好,本次我分享的主题是5G时代的互动视频——探索从平面到三维视频信息表达的新可能。 本次演讲的内容将分为四个部分,分别为:什么是互动6DoF视频、视频体验的发展和5G时代的新机遇、6DoF视频的标准(MPEG/AVS)和对互动6DoF视频的未来展望。 什么是互动6DoF视频 首先通过三个演示视频来认识互动6DoF视频。第一个视频是CBA的运动场景,它是通过相机阵列和三维重建所得到的一个互动6DoF视频,并且通过实际的网络传输以及用户终端的实时互动所展现出来的一个效果。 第二个视频也是相同的场景,但对原先的互动方式进行了一些调整和改变,在这样的视频中,用户触摸屏幕会使整体场景静止

MMD笔记整理

断了今生、忘了曾经 提交于 2020-08-07 21:15:00
D站搜索: TDA Miku dl mmd stage 场景 mme dl 飘落的场景 falling mme dl B碗搜索: stage 在niconico静画中找密码 模型文件 .x 没有影子 .pmd .pmx模型 数据文件 .vmd .vpd 媒体文件 .avi .avs .wav .png .jpg .dds 工程文件 .emm .pmm 音频 .wav 乱码时使用:MMDZip 尺寸导出 1280x720 1920x800 床--表示地面 物体跑样时选择: 物理演算->刚体初始化 借物表 借物表生成器 K帧常用键 Ctrl 微调 Shift 大幅度调整 x263vfw Ut Video Codec Suite C 显示隐藏骨骼 选中骨骼,按下 X 显示随视角转动的坐标轴 Z 随意的拖动(方型骨骼) B 改变背景颜色z P 播放 回车 注册关键帧 TAb 切换模型/像机 V 模型半透明化 FK骨 IK骨 来源: oschina 链接: https://my.oschina.net/u/4401145/blog/4289951

浅谈VVC(H.266)的变换模块

[亡魂溺海] 提交于 2020-08-06 03:58:21
转自: https://zhuanlan.zhihu.com/p/108792210 本文将分为四个部分对下一代视频编码标准Versatile Video Coding(VVC)的变化模块进行介绍。第一部分简单介绍一下视频编码的发展历程以及VVC的编码框架;第二部分重点介绍VVC变换相比于以往的视频编码标准(HEVC、AVC)所新增加的一些特性;第三部分介绍了国内外对VVC变换硬件设计的研究现状;第四部分总结了我们当前的研究思路。 背景介绍 图1. 视频编码标准发展历程 上图展示了视频编码国际标准的发展历程,我们可以看到目前主要以VVC、AV1和AVS3为主流发展趋势。人们对高分辨率视频(4K、8K)的需求越来越大,因此需要更加高效的视频压缩标准来提升压缩效率降低带宽压力。按照下图所示的压缩率提升规律,编码效率每提升50%以上就会成为新一代标准,如早前的H.261、HAV1等,其性能基本持平所以我们将其称为第一代。而像AVS和H.264等比前一代提升50%就可称其为第二代,至于AVS2、H.265等相对于第二代的提升达到50%我们就将其称为第三代。现在我们正在探索的AVS3/VVC/H.266则会成为最新一代的压缩标准。 图2. 各代视频编码标准的压缩性能提升 和之前的标准类似,VVC采用基于块结构的混合编码框架,融合了帧内和帧间预测、变化编码和熵编码等模块。如下图: 图3.

阿里洛神云网络这局妥了!集齐“软硬结合、创新NFV、智能管理”三张牌

此生再无相见时 提交于 2020-08-05 19:04:52
云栖号资讯:【 点击查看更多行业资讯 】 在这里您可以找到不同行业的第一手的上云资讯,还在等什么,快来! 导语: 在云网络风靡的今天,洛神云网络作为阿里云飞天的虚拟网络系统核心,目前在软硬一体、NFV平台创新以及智能性方面究竟有何新意?对用户与开发者的影响作用如何?更多了解云网络涉及的技术细节,或许这篇文章可以帮助你! 洛神,乃中国先秦神话中司掌洛河的地方水神,无上尊崇。 取同名,洛神云网络平台,作为阿里云飞天操作系统的三大核心之一,至关重要。 与神龙、盘古齐名,基于网络虚拟化技术,洛神云网络平台通过对超大规模租户、超大规模虚拟机的高性能云网络支撑,达成了借古时河运的四通八达隐喻云上网络连通万事万物,异曲同工。 掐指一算,洛神云网络平台伴随飞天演进已有 十年之久 ,其网络产品的推进时间与企业上云的时间 大致无异 。 最初只是提供一些AVS、SLB等单实例,但伴随基础上云之后云上云下相结合的高速通道、专线以及智能接入网关等迫切需求,系统不断演进,以后的技术升级大部分基于云上架构需求以及用户业务支撑等因素。 这一点就像,最初在1.0时代,洛神云网络平台的职责仅仅是高效支撑超大规模以及多租户网络,可以被称为从无到有。 但随着云上业务的快速增长,2.0升级版的洛神云网络平台也同时迈向更高性能、更大弹性、越发智能化的存在。 例如针对VPC的基础组件做了全链路的软硬一体化设计

爱奇艺技术分享:轻松诙谐,讲解视频编解码技术的过去、现在和将来

爱⌒轻易说出口 提交于 2020-08-05 15:14:05
本文由爱奇艺技术产品团队原创分享,为了更好的内容呈现,收录时有优化和改动。 1、内容点评 本文以轻松幽默的语气,讲解了视频编解码的一些基本常识,并以爱奇艺为例,讲述了视频编解码技术在国内的发展以及未来的一些展望。 2、正文引言 初夏最火的造型是什么?不少人可能会脱口而出——“淡黄的长裙,蓬松的头发。。。” 就连我这个上古时期的老年人,都开始每周四和周六准时点开爱奇艺首页,吸一口青春美少女们。原因无他,后疫情灰色时期,还有什么能比漂亮小姐姐的灿烂笑容更能让人感觉到人间值得呢?而我上一次真情实感追完的的女团选秀,可能要追溯到……《超级女声》。 不管自己pick的姐姐妹妹能不能顺利出道,至少今天在屏幕上欣赏她们的颜,绝对是一件超幸福的事儿。既不用忍受电视的“马赛克画质”,还能随时随地掏出手机来欣赏妹妹们今日份的可爱。 不知道大家有没有同一种快乐,那就是用4G网络看蓝光1080P,已经没有“流量焦虑”了,出现缓冲旋转“小菊花”的情况的几率也在悄然减少。这种观看体验的优化,除了通信网络环境的改变之外,缔造这种视觉快乐的一项关键技术——视频编码,就像是宇宙中的暗物质——鲜为人知,但十分重要。 简单来说: 视频编码技术的升级,能够让你用更少的流量、更低的带宽、更快的速度,看更高清晰度的视频画面。比如《青春有你2》溢出屏幕的元气少女感,是不是比2005年的朦胧美更令人心动呢?

互动场景下的低延迟编码技术

六眼飞鱼酱① 提交于 2020-07-29 08:59:00
本文由上海交通大学教授宋利在LiveVideoStackCon2020线上峰会的演讲内容整理而成,从分析视频传输系统延迟入手,分析视频编码延迟的产生机制,总结优化编码延迟的技术手段和业界典型的低延迟编码方案,讨论不同场景的延迟要求,并对后续技术演进发展方向进行展望。 文 / 宋利 整理 / LiveVideoStack 本次分享的主题是互动场景下的低延迟编码技术,内容分为四个方面:一是互动媒体服务;二是低延迟视频编码技术;三是低延迟编码方案;四是应用场景和发展趋势。 互动媒体服务 1.1 视频媒体形态 如图所示,我们将现有典型的视频相关服务按照高通量、强交互两个维度进行划分,其中横坐标表示高通量,纵坐标表示强交互,一些典型的视频映射到图中分布于不同的位置。 左下角部分可以称为基本视频,它涵盖了当前的一些主流应用,包括TV、视频监控、视频会议以及多人视频游戏等,其特点是以二维视频为主,同时交互形式包括单项、双项和多人交互。 如果从这个区域往外扩展,外面一层是可以称之为增强视频,沿高通量维度由高清向超高清、自由视、点云、光场过渡,交互维度包括仿真训练、电竞,两者都演进的方向是VR、AR,最后演进到全触感,也就是视频媒体形态正在由基本视频向增强视频演进,这两个维度某种程度和现在5G中两个维度很契合,高通量对应大带宽,强交互对应低延迟。 这张图显示了流媒体视频的典型服务场景

从做深基础,曝光正在“变硬”的阿里云

巧了我就是萌 提交于 2020-07-26 23:37:47
云栖号资讯:【 点击查看更多行业资讯 】 在这里您可以找到不同行业的第一手的上云资讯,还在等什么,快来! 某个技术对于一个企业、一个行业乃至一个国家的价值,此前的数次工业革命中,已经从电力、通讯等身上得到了充分的自证和他证。 那么在当下,哪些技术可以拥有同样的雷霆之力,可以与千行万业结合的云计算,自然应该拥有姓名。 2008年的一场行业讨论中,只有马云坚定地站在“云计算”这边,认为“如果不做云计算,阿里将会死掉”。时至今日,阿里云处于智能产业革命中心,在2019年Gartner全球数据库魔力象限评选结果中,阿里云成功进入“挑战者”象限,连续两年作为唯一的中国企业入选这一权威评选。 结果就是最好的例证。不过前尘已成往事,阿里云此刻最应该回答的时代考题,应该是接下来要将云计算带向何方。 在刚刚举办的2020年阿里云峰会上,阿里云总裁张建锋就解答了这个疑惑——阿里云将继续做深云的底座,在数据库、数据中心、交换机、芯片等领域加大自研力度,基于云的特点来构建整套基础体系。 阿里云的决心有多大?从三年再投超过2000亿资金,再招5000顶级科技人才的押注规模,可见一斑。 阿里云这艘巨舰,发出了向下一个海域启程的轰隆声,但每一个站在“云”下的芸芸众生,又该如何理解这一时代性的宏大命题?“做深基础”这简单的四个字背后,到底隐藏着怎样的未来藏宝图。 站在时代、国运、技术的变革交汇口

数字视网膜:让智慧城市从“看清”向“看懂”进化

牧云@^-^@ 提交于 2020-07-26 04:12:56
     智慧城市升级,浙江乌镇开通城市开放道路“5G自动微公交”示范线路。新华社发      人工智能技术飞速发展。新华社发 编者按   创新是引领发展的第一动力。今年两会,科技创新成为高频热词。近年来,我国科技创新成果不断涌现,高铁、5G、人工智能等一些高新技术产业进入世界前列,智慧城市建设加快推进,应用成果惠及更多老百姓。   在人工智能的部分领域,我国从基础研究到技术应用都发展很快。比如,中国工程院院士、北京大学教授高文提出的“数字视网膜”,既是一种理念创新,也是一个新的产业机遇,对智慧城市的建设意义重大,本期邀请他详细解读。   数字视网膜并非真的要做一种仿生视网膜的硬件,而是希望能够改变目前摄像头只能看或者单一链路识别的功能。让摄像头本身拥有一定的AI处理能力,对识别到的车、人、场景主动进行特征提取。从而让摄像头上传到云端的视频数据,一路通过高效编码作为数据存储;另一路经过特征提取直接作为智能大脑的“可读物”。“云大脑”与摄像头的结合,就像是给智慧城市安装了一层新的“数字视网膜”。 1.数字视网膜的八个基本要素   现在比较典型的“城市大脑”,一般是传感数据、收集、存储、数据交换和集成,还有开放的算法平台。另外,还有运行和服务平台。在平台里面,实际数据量最大的是视频数据,大概占到90%以上,这些数据能识别是车还是人,车牌号等,然后传到云端。目前的视频数据,最长存三个月

腾讯开源国内首个视频质量评估算法DVQA

吃可爱长大的小学妹 提交于 2020-03-11 10:58:29
腾讯开源国内首个视频质量评估算法DVQA 近日,腾讯多媒体实验室设计的基于深度学习的全参考视频质量评估算法DVQA在Github上正式开源,该算法模型的性能目前在公开测试数据集上取得业界领先成绩。 开源地址: https://github.com/Tencent/DVQA ( 点击此处打开链接 ) 国内镜像地址: https://git.code.tencent.com/Tencent_Open_Source/DVQA (登录后才能访问公开项目) 腾讯工蜂源码系统为开源开发者提供完整、最新的腾讯开源项目国内镜像 视听时代,音视频应用越来越广泛:直播、短视频、视频节目、音视频通话……近期由于新冠疫情带来的在线协同办公、在线教育类产品的崛起,更带来了线上音视频需求的爆发,用户对音视频质量诉求也愈加强烈。 在整个视频链路中,大部分模块都可以精确度量,如采集、上传、预处理、转码、分发等。然而未知的部分却恰恰是最关键的部分,即用户的视频观看体验到底怎么样。目前行业内的视频质量评估方法分为两大类:客观质量评估与主观质量评估。前者计算视频的质量分数,又根据是否使用高清视频做参考、源视频是专业视频还是用户原创视频等进一步细分;后者主要依赖人眼观看并打分,能够直观反映观众对视频质量的感受。然而,这些方法仍存在耗时费力、成本较高、主观观感存在偏差等难题。 多媒体实验室提出的视频质量评估解决方案

英特尔与博雅睿视共同发布SVT-AVS3实时编码器

你离开我真会死。 提交于 2020-01-10 10:49:03
【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>> SVT-AVS3可实现在双路Intel Xeon Platinum 8180处理器上对8K 10bit 100M码率视频码速度达到每秒编60帧。 作为LiveVideoStackCon 2019的收官之作,在经过了组委会四个月以来的精心筹备,这场国内顶级音视频技术交流峰会最终于12月14号,在位于南山区圣淘沙酒店翡翠店正式落下帷幕。 会议期间,由英特尔与北京博雅睿视科技有限公司联合开发的SVT-AVS3(可扩展视频技术-AVS3)编码器在LiveVideoStackCon 2019 音视频技术大会深圳站现场正式发布。北京大学与鹏城实验室也参与了此次SVT-AVS3 的演示。 SVT-AVS3展位现场 在大会上英特尔市场开拓总监CB提到AVS3是国内的编码,国内的客户有AVS3的需求。这套8K超高清视频实时软件编解码系统基于中国自主研发的新一代视频编码标准(AVS3)和英特尔SVT(可扩展视频技术)实现。英特尔和北京博雅睿视科技有限公司连同开发基于英特尔®至强®可扩展性服务器的SVT-AVS3,提供一个性能、延迟和视频质量之间的完美平衡的解决方案。 云视频应用的迅猛增长使得我们需要更高效的视频编解码器来满足多样化的转码需求。利用可扩展视频技术,编码器可以达到最高并行度,同时实现编码质量和速度的最佳权衡