深度学习

千万用户同时在线,优酷智能档在双11“猫晚”直播如何防卡顿?

南笙酒味 提交于 2021-02-13 22:41:37
作者 | 阿里文娱高级技术专家肖文良 出品 | AI科技大本营(ID:rgznai100) 导读:本文为阿里文娱高级技术专家肖文良在【阿里文娱2019双11猫晚技术沙龙】中的演讲,主要内容为如何通过优酷智能档,降低用户卡顿尤其是双11直播场景下,提升用户观看体验。具体包括智能档的落地挑战、算法架构、技术策略。 一、优酷智能档的前世今生 优酷智能档技术,即自适应码率播放技术。一方面是一个比较新的探索尝试:因为优酷在这方面的投入是国内比较前沿的,是大规模进行产品化落地的流媒体服务公司;另一方面这个技术本身比较老了,大约从2000年就开始形成比较完整的理念和框架体系,并成为流媒体传输领域的标准产品技术形态,在Netflix、YouTube已经大规模应用。自适应码率播放技术不仅是国外的工业界应用很成熟,学术界研究也很成熟,有的同学本科生研究生阶段在流媒体领域也很有可能做过相关的技术研究工作。 但这样一个成熟技术,优酷在整个大规模落地其实遇到了很多问题和挑战: 第一是国内用户不太理解这个功能到底是解决什么问题,觉得这个功能比较“傻”;第二是用户体验自身比较主观,所以流畅和高清之间的体验平衡点比较难把握;第三是公开算法框架的线上效果不是特别理想,主要是公开算法的特征纬度比较单薄,并且比较少考虑实际产品体验中的细节问题。 二、智能档带来了哪些变化 优酷智能档大规模上线发布已有一段时间

深度学习硬件:CPU、GPU、FPGA、ASIC

余生颓废 提交于 2021-02-13 13:58:38
人工智能包括三个要素:算法,计算和数据。人工智能算法目前最主流的是深度学习。计算所对应的硬件平台有:CPU、GPU、FPGA、ASIC。由于移动互联网的到来,用户每天产生大量的数据被入口应用收集:搜索、通讯。我们的QQ、微信业务,用户每天产生的图片数量都是数亿级别,如果我们把这些用户产生的数据看成矿藏的话,计算所对应的硬件平台看成挖掘机,挖掘机的挖掘效率就是各个计算硬件平台对比的标准。 最初深度学习算法的主要计算平台是 CPU,因为 CPU 通用性好,硬件框架已经很成熟,对于程序员来说非常友好。然而,当深度学习算法对运算能力需求越来越大时,人们发现 CPU 执行深度学习的效率并不高。CPU 为了满足通用性,芯片面积有很大一部分都用于复杂的控制流和Cache缓存,留给运算单元的面积并不多。这时候,GPU 进入了深度学习研究者的视野。GPU原本的目的是图像渲染,图像渲染算法又因为像素与像素之间相对独立,GPU提供大量并行运算单元,可以同时对很多像素进行并行处理,而这个架构正好能用在深度学习算法上。 GPU 运行深度学习算法比 CPU 快很多,但是由于高昂的价格以及超大的功耗对于给其在IDC大规模部署带来了诸多问题。有人就要问,如果做一个完全为深度学习设计的专用芯片(ASIC),会不会比 GPU 更有效率?事实上,要真的做一块深度学习专用芯片面临极大不确定性

KubeCon+CloudNativeCon 2018论坛首登中国,精彩日程全新出炉

佐手、 提交于 2021-02-13 11:50:56
作为Linux基金会组织的一部分,云原生计算基金会(CNCF)自2016年起,在欧洲、北美等地组织了数场KubeCon+CloudNativeCon论坛。本论坛聚焦着全世界关注云原生领域的目光,并受到了Kubernetes大牛、开发者、厂商等全球开源技术爱好者的强力追捧。 KubeCon+CloudNativeCon 2018论坛将于2018年11月13-15日首次登陆中国上海,这无疑是对中国技术实力的认可,同时,中国程序员们也将可以在上海跨国采购会展中心共同参与这场顶尖的国际技术盛会。 KubeCon+CloudNativeCon 2018中国论坛作为CNCF的旗舰论坛,得到了Liz Rice、Janet Kuo等大咖的大力支持与推荐。本论坛精彩日程现已出炉,看看你关注的议题和大咖! 本次论坛为期三天,预计将吸引开发人员、架构师、技术负责人、首席信息官、首席技术官、媒体和分析师等2500多人到场,以主题演讲、分论坛以及展位等形式全方位地为大家打造一场精彩绝伦的技术盛宴。 KubeCon+CloudNativeCon 2018中国论坛将聚焦云原生领域的最新技术动态,CNCF的重点项目Kubernetes、Prometheus、OpenTracing、Fluentd、gRPC、containerd、rkt、CNI、Envoy、Jaeger、Helm等多个项目也将悉数亮相。另外

腾讯云WAF服务再获国内权威研究机构认可,入选中国云WAF实践代表

前提是你 提交于 2021-02-13 10:35:55
上云步伐的加快,使得企业对云端Web应用安全防护的需求由附加项转为“关键信息基础设施”,并带来了新的应用命题。8月18日,中国领先的行业和市场大数据库头豹研究院联合全球著名增长咨询公司沙利文发布了《2020年中国云WAF市场报告》(以下简称《报告》),聚焦中国云WAF市场现状、价值、发展趋势以及品牌竞争表现等方面的分析与评估。 腾讯云WAF入选为中国云WAF安全市场实践代表,并在产品功能成长、服务创新水平、基本防护等维度的评比中全面保持领先,是综合表现最优异的厂商之一。 云WAF市场持续扩容,价值空间向行业垂直场景延伸 产业互联网时代,云安全已然成为企业实现转型升级的“刚性需求”。而随着Web接口和应用的云化,用户业务与服务器耦合盲点的激增使得云WAF成为当下云安全领域的核心部分。凭借云原生能力接入、大数据分析及人工智能等技术支撑的天然基因,云WAF市场超越传统硬件WAF市场,跃居该领域首位。《报告》数据显示,2019年,中国云WAF市场规模达到17亿元,份额比重达55.7%,高出硬件WAF市场31.3%。与此同时,未来5年,该细分市场规模将以约6%的年复合增长率平稳增长。 《报告》指出,市场规模和应用场景的持续扩容也使云WAF的价值空间向融合第三方安全数据供应商、各类安全厂商以及垂直企业等多方参与者的安全大循环拓展。其中,垂直企业因Web应用层业务功能和页面交互带来的更多攻击威胁

目标检测算法之SSD代码解析(万字长文超详细)

耗尽温柔 提交于 2021-02-13 08:50:03
前言 前面的推文已经介绍过SSD算法,我觉得原理说的还算清楚了,但是一个算法不深入到代码去理解是完全不够的。因此本篇文章是在上篇SSD算法原理解析的基础上做的代码解析,解析SSD算法原理的推文的地址如下:https://mp.weixin.qq.com/s/lXqobT45S1wz-evc7KO5DA。今天要解析的SSD源码来自于github一个非常火的Pytorch实现,已经有3K+星,地址为:https://github.com/amdegroot/ssd.pytorch/ 网络结构 为了比较好的对应SSD的结构来看代码,我们首先放出SSD的网络结构,如下图所示: 可以看到原始的SSD网络是以VGG-16作Backbone(骨干网络)的。为了更加清晰看到相比于VGG16,SSD的网络使用了哪些变化,知乎上的一个帖子做了一个非常清晰的图,这里借用一下,原图地址为:https://zhuanlan.zhihu.com/p/79854543 。带有特征图维度信息的更清晰的骨干网络和VGG16的对比图如下: 源码解析 OK,现在我们就要开始从源码剖析SSD了 。主要弄清楚三个方面,网络结构的搭建,Anchor还有损失函数,就算是理解这个源码了。 网络搭建 从上面的图中我们可以清晰的看到在以VGG16做骨干网络时,在conv5后丢弃了CGG16中的全连接层改为了 和 的卷积层。其中

目标检测算法之SSD代码解析(万字长文超详细)

≡放荡痞女 提交于 2021-02-13 01:43:04
前言 前面的推文已经介绍过SSD算法,我觉得原理说的还算清楚了,但是一个算法不深入到代码去理解是完全不够的。因此本篇文章是在上篇SSD算法原理解析的基础上做的代码解析,解析SSD算法原理的推文的地址如下:https://mp.weixin.qq.com/s/lXqobT45S1wz-evc7KO5DA。今天要解析的SSD源码来自于github一个非常火的Pytorch实现,已经有3K+星,地址为:https://github.com/amdegroot/ssd.pytorch/ 网络结构 为了比较好的对应SSD的结构来看代码,我们首先放出SSD的网络结构,如下图所示: 可以看到原始的SSD网络是以VGG-16作Backbone(骨干网络)的。为了更加清晰看到相比于VGG16,SSD的网络使用了哪些变化,知乎上的一个帖子做了一个非常清晰的图,这里借用一下,原图地址为:https://zhuanlan.zhihu.com/p/79854543 。带有特征图维度信息的更清晰的骨干网络和VGG16的对比图如下: 源码解析 OK,现在我们就要开始从源码剖析SSD了 。主要弄清楚三个方面,网络结构的搭建,Anchor还有损失函数,就算是理解这个源码了。 网络搭建 从上面的图中我们可以清晰的看到在以VGG16做骨干网络时,在conv5后丢弃了CGG16中的全连接层改为了 和 的卷积层。其中

积神经网络(CNN)的参数优化方法

不问归期 提交于 2021-02-12 22:44:46
http://www.cnblogs.com/bonelee/p/8528863.html 积神经网络的参数优化方法——调整网络结构是关键!!!你只需不停增加层,直到测试误差不再减少. 积神经网络(CNN)的参数优化方法 from:http://blog.csdn.net/u010900574/article/details/51992156 著名: 本文是从 Michael Nielsen的电子书 Neural Network and Deep Learning 的 深度学习 那一章的卷积神经网络的参数优化方法的一些总结和摘录,并不是我自己的结论和做实验所得到的结果。我想Michael的实验结果更有说服力一些。本书在github上有 中文翻译 的版本, 前言 最近卷积神经网络(CNN)很火热,它在图像分类领域的卓越表现引起了大家的广泛关注。本文总结和摘录了Michael Nielsen的那本Neural Network and Deep Learning一书中关于深度学习一章中关于提高泛化能力的一些概述和实验结果。力争用数据给大家一个关于 正则化 , 增加卷积层/全连接数 , 弃权技术 , 拓展训练集 等参数优化方法的效果。 本文并不会介绍 正则化 , 弃权(Dropout) , 池化 等方法的原理,只会介绍它们在实验中的应用或者起到的效果,更多的关于这些方法的解释请自行查询。

清华大学王奕森:Adversarial Machine Learning: Attack and D

倖福魔咒の 提交于 2021-02-12 21:28:29
本文作者:HelloDeveloper 嗨,大家好。这里是学术报告专栏,读芯术小编不定期挑选并亲自跑会,为大家奉献科技领域最优秀的学术报告,为同学们记录报告干货,并想方设法搞到一手的PPT和现场视频——足够干货,足够新鲜!话不多说,快快看过来,希望这些优秀的青年学者、专家杰青的学术报告 ,能让您在业余时间的知识阅读更有价值。 人工智能论坛如今浩如烟海,有硬货、有干货的讲座却百里挑一。“AI未来说·青年学术论坛”系列讲座由中国科学院大学主办,百度全力支持,读芯术作为合作自媒体。承办单位为中国科学院大学学生会,协办单位为中国科学院计算所研究生会、网络中心研究生会、人工智能学院学生会、化学工程学院学生会、公共政策与管理学院学生会、微电子学院学生会。“AI未来说·青年学术论坛”第六期“机器学习”专场已于2019年6月23日下午在中科院举行。清华大学王奕森为大家带来报告《Adversarial MachineLearning: Attack and Defence》。 Yisen Wang obtained his Ph.D. degree from the Department of Computer Science and Technology at Tsinghua University. He is also a visiting scholar at Georgia Tech

基于图像的三维重建问题

跟風遠走 提交于 2021-02-12 12:01:38
基于图像的三维重建 是计算机视觉领域一个非常重要的研究方向。 在计算机视觉国际顶级会议 CVPR 2018论文录用名单中,涉及三维视觉的工作高达 90+ 篇 , 占 收录论文的 比例更是 高达10%左右, 近两年的研究热度也是持续高涨 。 由此可见,现实世界对象的三维重建是科研 的 前沿热点问题,也是计算机视觉、计算机图形学以及虚拟现实等领域中的共性科学问题与核心技术。 目前,三维重建技术已广泛应用于定位、导航、自动驾驶、AR、工业制造等领域。 京东、腾讯、百度等企业在招相应的岗位 , 薪资更是非常可观。 (图片来源:boss直聘) 学术界研究火热,产业应用落地广泛。面对三维重建的广阔发展前景,很多伙伴想要进入该领域,但 三维重建 不仅要具备深厚的数学功底,同时也需要熟练的C\C++编程能力,相较于其他视觉领域,入门门槛要高很多。而 市面上又很难找到 系统 的学习资料,这更是增加了自学的难度。 企业需求高,学习难度大,如何摆脱这种困境呢? 基于此,深蓝学院开设了 『基于图像的三维重建』 在线课程。 本课程 时隔两年 , 重磅回归,全新录制 , 一些章节新增了结合深度学习的方法,让大家更多了解三维重建发展的前沿技术。 通过本门课程的学习,大家 能够 快速建立完整的知识架构体系,理解整个系统的原理和技术流程,大家在透彻理解传统的图像建模方法的同时,能够一起探讨结合深度学习的前沿 发展

[计算机视觉]基于内容的图像搜索实现

独自空忆成欢 提交于 2021-02-12 11:30:41
图像搜索引擎一般有三种实现方式: (1)Search By Metadata,这种方式不会考虑图片本身内容(图片包含物体,以及图像像素分布等),纯粹根据图像标签来进行检索。如果某个网页中有一张赛马的图片,并且网页文本内容中包含“赛马”(或者相关词汇)的文字,当用户搜索“赛马”、“马”、“horse”等关键字时,搜索引擎就会把这张图当作检索结果返回给用户。换句话说,此时的图像搜索引擎干的事情跟普通搜索引擎差不多,匹配关键词,并将对应图片返回给用户。这种工作方式的优点是速度快,在普通搜索引擎的技术基础之上很容易改进去实现。缺点也很明显,它完全依赖于描述图片的文字(标签),如果描述图片的文字不对或者相关性不大时,搜索准确性可想而知,比如我这篇博客中如果插入一张“猫”的照片,但是整篇博客文章对“猫”只字不提,那么基于Search By Metadata的搜索引擎很难找到博客中猫的图片。 有一类图片分享网站要求用户在上传图片时,人工用几个词汇描述图片中有什么(标签),便于后面基于Metadata的搜索。当然也不排除一些基于深度学习的图片分类自动打标签的方式。 (2)Search By Example,这种方式考虑图片本身内容(图片包含物体,以及图片像素分布等等),用户输入图片,搜索引擎根据图片内容,返回与该图片相似的图片结果。这种方式相比Search By Metadata要复杂一些