PaddleSlim

3 月，跳不动了？>>> 2020年新冠状病毒疫情来袭，深度学习在抗击疫情的战场上，发挥了不可或缺的作用，受到了企业、学术界的高度关注！ 2月13日 百度飞桨宣布开源业内首个口罩人脸检测及分类模型，口罩判别准确率达到96.5%，满足常规口罩检测需求。 2月28日 连心医疗基于百度飞桨开发上线"基于CT影像的肺炎筛查与病情预评估AI系统"，首先在湖南郴州湘南学院附属医院投入使用。 3月6日 百度与北京地铁合作开展了AI口罩检测测试，在地铁实时视频流中，准确地对未佩戴口罩以及错误佩戴口罩的情况进行识别和检测。 面对如此酷炫实用的应用，开发者朋友们不禁要问 深度学习真的很难吗？ 会者不难、难者不会，为了降低深度学习技术门槛、培养最优秀的AI人才，百度飞桨资深算法工程师、联合百度认证布道师团队，反复打磨推出了第五期 百度深度学习7日打卡营 ，通过5个新冠疫情最新实战案例、1场人流密度实战比赛，一站式带大家零基础玩转深度学习CV 01 课程大纲介绍 实战型课程设计，实战打卡与比赛驱动的一站式学习解决方案 02 为什么选择百度深度学习7日打卡营？ 传统学习方式 录播视频没互动 ：技术与案例更新慢，遇到问题不知道向谁提问，容易造成从拖延到放弃 培训机构挺费钱 ：学费低的学习质量得不到保障，学费高的价格昂贵，动辄上万块学习成本。 在线公开课不系统 ：课节之间关联性弱，适合前沿分享，不利于系统学习

3 月，跳不动了？>>> 疫情之下，口罩识别有多难，问问你的iPhone用户朋友就知道了。 在“刷脸时代”，戴口罩的人脸识别已然成为一个大问题。 传统的人脸识别算法，已经无法hold住这种大面积遮挡情况，主要难点有三： 一张口罩“封印”半张脸，直接丢失大量脸部特征； 短期内无法收集大量戴口罩人脸图像，算法训练难度大； 人脸识别系统包含检测、跟踪、识别等多个模块，对它们都会造成影响。 好消息是，AI工程师们逢山开路遇水搭桥，现在——戴口罩人脸识别——这座桥，已经搭好了，而且已经开放了。 ​ 来自百度视觉算法团队，技术方面自然也有保障。 不过，知其然最好还要知其所以然。如此模型，百度视觉算法团队是如何完成的呢？ 接下来我们一一解密。 戴口罩人脸识别之难：如何快准狠 “三座大山”怎么翻？ 首先是第一个难题，丢失了大量脸部特征，如何进行检测。 在人脸识别的过程中，会提取面部大量的特征点，而这些特征点的分布并不都是均匀的。 而且每个区域特征点所包含的信息量(用于身份认证)不同，例如，眼部区域就相比其他位置包含了更多的身份信息。 ​ 百度视觉就敏锐地观察到了这一点，找到了翻过这座大山的突破口。 他们通过采用基于空间位置的注意力机制特征学习，让算法更加关注对眼部区域的特征学习。 基于空间位置的注意力机制特征学习 这样一来，就能将因为佩戴口罩、帽子等遮挡，所带来的信息丢失降到最低

3 月，跳不动了？>>> 疫情之下，口罩识别有多难，问问你的iPhone用户朋友就知道了。 在“刷脸时代”，戴口罩的人脸识别已然成为一个大问题。 传统的人脸识别算法，已经无法hold住这种大面积遮挡情况，主要难点有三： 一张口罩“封印”半张脸， 直接丢失大量脸部特征 ； 短期内无法收集大量戴口罩人脸图像， 算法训练难度大 ； 人脸识别系统包含检测、跟踪、识别等多个模块，对它们都会造成影响。 好消息是，AI工程师们逢山开路遇水搭桥，现在——戴口罩人脸识别——这座桥，已经搭好了，而且已经 开放 了。 来自百度视觉算法团队，技术方面自然也有保障。 不过，知其然最好还要知其所以然。 如此模型，百度视觉算法团队是如何完成的呢？ 接下来我们一一解密。 戴口罩人脸识别之难： 如何快准狠 “三座大山”怎么翻？ 首先是第一个难题，丢失了大量脸部特征，如何进行检测。 在人脸识别的过程中，会提取面部大量的特征点，而这些特征点的分布并不都是均匀的。 而且每个区域特征点所包含的信息量(用于身份认证)不同，例如，眼部区域就相比其他位置包含了更多的身份信息。 百度视觉就敏锐地观察到了这一点，找到了翻过这座大山的突破口。 他们通过采用基于空间位置的注意力机制特征学习，让算法更加关注对眼部区域的特征学习。 基于空间位置的注意力机制特征学习 这样一来，就能将因为佩戴口罩、帽子等遮挡，所带来的信息丢失降到最低

3 月，跳不动了？>>> 假如问在深度学习实践中，最难的部分是什么？猜测80%的开发者都会说： “当然是调参啊。” 为什么难呢？因为调参就像厨师根据食材找到了料理配方，药剂师根据药材找到了药方，充满了玄幻色彩。 但是， 掌握了调参，顶多算深度学习的绝学掌握了一半。而另一半就是“模型部署”。 模型部署有什么难的？举个例子：前面这位大厨在培训学校，经过各种训练掌握了很多料理配方，终于要到酒店上任了，却发现酒店的厨房环境和训练时不一样，就餐高峰时手忙脚乱，客户等了1个小时还没上菜，结果第一天上岗就被投诉了。 虽然比喻略有夸张，却也道出了深度学习模型训练和推理部署的关系。 我们知道，深度学习一般分为训练和推理两个部分，训练是神经网络“学习”的过程，主要关注如何搜索和求解模型参数，发现训练数据中的规律。 有了训练好的模型之后，就要在线上环境中应用模型，实现对未知数据做出预测，这个过程在AI领域叫做推理。 在实际应用中，推理阶段可能会面临和训练时完全不一样的硬件环境，当然也对应着不一样的计算性能要求。我们训练得到的模型，需要能在具体生产环境中正确、高效地实现推理功能，完成上线部署。 所以，当我们千辛万苦训练好模型，终于要上线了，但这个时候可能会遇到各种问题，比如： 线上部署的硬件环境和训练时不同 推理计算耗时太高, 可能造成服务不可用 模型上的内存占用过高无法上线 对工业级部署而言

飞桨博士会第六期沙龙于11月30日在百度大厦举办，来自深度学习研究方向的博士齐聚西二旗进行交流。 本次沙龙首次特邀两位主讲嘉宾，百度深度学习技术平台部两位主任架构师——毕然和胡晓光，分别详解新时代AI课程、飞桨设计思想与编程指南。如下呈现本场主讲内容摘要，可供回顾参考。 01 新时代AI课程：机器学习的思考故事&零基础入门深度学习 毕然老师从“机器学习模型演进路线”和“从模型到系统到商业”两个部分对《机器学习的思考故事》课程进行概述。 机器学习模型演进路线可从框架拆解、学习理论、复杂模型和实用技巧四方面理解。毕然老师从机器学习的基本理论引入，进而延伸讲解如何构造非常强大的模型。机器执行学习时，需要圈定假设空间（包含不同参数之间的关系），并借助评价指标判断参数在不同取值中，哪一个情况下与真实情况接近。同时，毕然老师在这门课程中重点阐述具体算法在设计中更本质的原理。 在“从模型到系统到商业”部分，毕然老师首先提出观点，即模型建立要基于对整个系统非常深度的理解，而系统如果要成为长久的生意则需要满足市场需求，并且有合理的商业逻辑。机器学习的模型都需要嵌入进某个系统中，而这个系统目标是实现某个商业业务。这里毕然老师以百度图像搜索应用为例，由实际用户需求场景切入到技术思路，并和现场博士们就技术实现是采用分类模型还是检索模型讨论。 《零基础入门深度学习》从课程设计思想、学习平台进行介绍

近年来，深度学习在工业领域的应用越来越广泛，不但提升了企业的自动化生产效率，还为企业的重要决策提供了数据支撑，AI正逐步改变人们的生活和生产方式。由于深度神经网络计算复杂度高、参数量大，极大限制了模型的部署场景，尤其是移动嵌入式设备端。因此模型小型化技术成为最近几年学术界和工业界研究的热点。 PaddleSlim是基于飞桨框架、功能完备、完全开源的深度学习模型压缩工具，集深度学习模型压缩中常用的量化、剪裁、蒸馏、模型结构搜索、模型硬件搜索等方法于一体，满足更多的工业部署场景需求，进一步降低了深度学习在工业领域应用的门槛。 PaddleSlim于2019年Q1首次发布，至今已经历经了四个版本的打磨。本次发布的PaddleSlim1.0在易用性、模型适配、端侧部署、性能提升等方面都有了显著提升， 并在百度人脸SDK中成功应用，实现在嵌入式设备上，0.3秒内完成人脸检测、跟踪、活体检测、识别等全流程操作 ，助力百度发布了业内最领先的壁虎、疫情体温测试等系列硬件。 PaddleSlim1.0发布了10个关键特性，下面我们一共感受下它在模型压缩上的不同之处。 飞桨PaddleSlimV1.0项目地址： https:// github.com/PaddlePaddle /PaddleSlim 图1 百度壁虎人脸识别终端 01 定制YOLO蒸馏方案，刷新COCO检测任务精度

抗击疫情，众志成城，人工智能技术正被应用到疫情防控中来。 2月13日， 百度宣布免费开源业内首个口罩人脸检测及分类模型 。该模型可以有效检测在密集人流区域中携带和未携戴口罩的所有人脸，同时判断该者是否佩戴口罩。目前已通过飞桨PaddleHub开源出来，广大开发者用几行代码即可快速上手，免费调用。 ​ 模型可视化效果：绿框为佩戴口罩标注，红框为未佩戴口罩标注 随着本周各企业相继复工，节后经济开始逐渐恢复，人脸口罩检测方案成为返工潮中众多社区、大型厂商、央企的重要需求。如判断工区员工是否佩戴口罩、人流密集的关口运输中心如何识别戴口罩的人脸并测温、佩戴口罩是否也能完成日常刷脸打卡等等……都是新冠肺炎疫情下需要解决的真实痛点。 疫情防控刻不容缓，百度此前已有多项AI举措助力疫情防控。此次宣布免费开源的自研口罩人脸检测及分类模型， 是 基于2018年百度收录于国际顶级计算机视觉会议ECCV的论文PyramidBox研发 ，可以在人流密集的公共场景检测海量人脸的同时，将佩戴口罩和未佩戴口罩的人脸快速识别标注。基于此预训练模型，开发者仅需使用少量自有数据，便可快速完成自有场景的模型开发。 百度研发工程师介绍，口罩人脸检测及分类模型，由两个功能单元组成，可以分别完成口罩人脸的检测和口罩人脸的分类。经测试，模型的人脸检测算法基于faceboxes的主干网络加入了超过10万张口罩人脸数据训练

2019已经悄然落幕，在过去一年中，飞桨加速崛起，在产品性能上高效迭代，并屡次斩获多项大奖，其取得的成绩有目共睹，这也意味着飞桨正领衔中国深度学习框架迎来高光时刻。现在，让我们一起来回顾一下2019关于飞桨的那些重要记忆。 01 核心发布 一、 版本迭代 2019年，飞桨一共进行了4次大版本迭代，同时还推出了语义理解框架ERNIE，产品体验大幅提升，核心技术显著增强。 V1.3 3月，飞桨统一Executor和ParallelExecutor接口，正式发布AnalysisConfig 预测接口，支持计算图分析、算子融合等优化；模型库新增发布飞桨视频模型库，提供5个视频分类经典模型以及适合视频分类任务的通用骨架代码；新增支持NLP语义表示BERT模型，支持多机多卡训练，支持混合精度训练，训练速度对比主流实现提升50%+；发布大规模稀疏参数服务器Benchmark。 V1.4 4月，飞桨正式发布模型压缩工具包PaddleSlim和模型预测服务Paddle Serving，全面提升飞桨部署能力。正式发布视频分类工具包，覆盖主流视频分类模型；正式发布PaddleNLP，工业级中文NLP工具与预训练模型集。正式发布PaddleHub预训练模型管理工具，提供包括预训练模型管理、命令行一键式使用和迁移学习三大功能。发布业界领先的超大规模并行能力，包括大规模稀疏参数服务器解决方案、工业级数据处理