Paddle Lite

​作为深度学习小白一枚，从一开始摸索如何使用深度学习框架，怎么让脚本跑起来，到现在开始逐步读懂论文，看懂模型的网络结构，按照 飞桨 官方文档进行各种模型训练和部署，整个过程遇到了无数问题。非常感谢 飞桨 开源社区的大力支持，并热情答复我遇到的各种问题，使得我可以快速上手。特整理本篇学习笔记，以此回馈网友们的无私付出。大家都共享一点点，一起为深度学习的推进添砖加瓦（哈哈，非常正能量，有木有！） 这篇文章详细记录了如何使用百度深度学习平台—— 飞桨 进行SSD目标检测模型的训练、以及如何将模型部署到服务器和移动端。文末给出了笔者认为非常有用的资料链接。 下载安装命令 ## CPU版本安装命令 pip install -f https://paddlepaddle.org.cn/pip/oschina/cpu paddlepaddle ## GPU版本安装命令 pip install -f https://paddlepaddle.org.cn/pip/oschina/gpu paddlepaddle-gpu 本文的代码基于百度AI Studio官方示例代码，并能够在 飞桨 1.7.1上跑通，Python版本是3.7。 SSD模型介绍 如果你对经典的CNN模型比较熟悉的话，那么SSD也并不难理解。SSD大体上来说是 将图片分为6种不同大小的网格，找到目标中心的落点，确定物体的位置

AI人工智能产业又一重磅合作！百度 飞桨 （ PaddlePaddle ）深度学习平台携手IC设计领导厂商MediaTek，完成 Paddle Lite 轻量化推理引擎与MediaTek的NeuroPilot人工智能通用软件平台适配。 下载安装命令 ## CPU版本安装命令 pip install -f https://paddlepaddle.org.cn/pip/oschina/cpu paddlepaddle ## GPU版本安装命令 pip install -f https://paddlepaddle.org.cn/pip/oschina/gpu paddlepaddle-gpu 如此一来，所有MediaTek的人工智能芯片APU (Artificial intelligence Processing Unit ) 都能够使用 Paddle Lite 快速部署。透过推进智能技术与产品的进步，双方有着共同的目标，即加速AI科技的普及与进步，让AI技术更好的为所有用户服务，并实现产业落地。 MediaTek芯片目前在智能音箱/智能带屏音箱领域市场占有率过半，与百度共同合作开发的智能音箱产品小度在家系列，AI识别技术获得市场好评，销量持续位居前茅。百度在 AI 技术及生态圈加大了布局， MediaTek 深耕边缘 AI 技术平台，双方以智能屏音箱小度在家产品的合作为基础

【推荐阅读】微服务还能火多久？>>> PaddleSeg 图像分割库 简介 PaddleSeg是基于 PaddlePaddle 开发的语义分割库，覆盖了DeepLabv3+, U-Net, ICNet, PSPNet, HRNet, Fast-SCNN等主流分割模型。通过统一的配置，帮助用户更便捷地完成从训练到部署的全流程图像分割应用。 特点 安装 使用教程 快速入门 基础功能 预测部署 高级功能 在线体验 FAQ 交流与反馈 更新日志 贡献代码 特点 丰富的数据增强 基于百度视觉技术部的实际业务经验，内置10+种数据增强策略，可结合实际业务场景进行定制组合，提升模型泛化能力和鲁棒性。 模块化设计 支持U-Net, DeepLabv3+, ICNet, PSPNet, HRNet, Fast-SCNN六种主流分割网络，结合预训练模型和可调节的骨干网络，满足不同性能和精度的要求；选择不同的损失函数如Dice Loss, BCE Loss等方式可以强化小目标和不均衡样本场景下的分割精度。 高性能 PaddleSeg支持多进程I/O、多卡并行、跨卡Batch Norm同步等训练加速策略，结合飞桨核心框架的显存优化功能，可大幅度减少分割模型的显存开销，让开发者更低成本、更高效地完成图像分割训练。 工业级部署 全面提供 服务端 和 移动端 的工业级部署能力

防控疫情，众志成城。人工智能技术正被应用到疫情防控中来。 “控制传染源、切断传播途径和排查易感人群”是打赢抗疫的三种手段。 其中切断传播途径中，佩戴口罩已经几乎成为了最重要的举措之一。但是在实际场景中，仍然有不重视、不注意、侥幸心理的人员不戴口罩，尤其在公众场合，给个人和公众造成极大的风险隐患。 目前，仅有少数厂商能够提供口罩佩戴人脸检测AI模型的相关商业化方案，且在密集人流下的识别效果参差不齐。而由于缺乏数据集和模型开发经验，更多中小开放商在面临园区、关口等细分场景时，更是无从下手。 百度积极响应号召，为了助推全社会的力量将AI技术应用于防疫工作，决定免费开源自研的“口罩人脸识别”预训练模型，该模型基于2018年百度在国际顶级计算机视觉会议ECCV 2018的论文PyramidBox而研发，可以在公共场景检测大量的人脸同时，将佩戴口罩和未佩戴口罩的人脸快速识别标注。基于此预训练模型，开发者仅需使用少量自有数据，便可快速完成自有场景模型开发。 飞桨预训练模型管理与迁移学习工具PadddleHub已提供PyramidBox预训练模型(pyramidbox_lite_mobile_mask/pyramidbox_lite_server_mask)用于一键检测人们是否佩戴口罩。同时PaddleHub还提供了飞桨生态下的高质量预训练模型，涵盖了图像分类、目标检测、词法分析、语义模型

随着经济社会的进步，人们对美好生活的追求也不断地刺激着电子娱乐行业的发展。但这些应用场景的人机交互方式却一直被束缚在通过键盘、鼠标、触摸屏的物理接触方式上。这些传统的交互方式将玩家的操作范围局限在简单的二维平面空间，也限制了游戏开发者创意的发挥。因此，我们引入了一种新的人机交互模式——手势识别交互。 手势交互方式符合人类思维逻辑，具有自然性和直观性等特点。使用者不需要有过高的门槛，便可以很好地体验到人机交互的乐趣。手势识别技术具有良好的应用前景——包括电子娱乐、智能家居、VR及自动驾驶等热点领域。这个项目设计的目的就是实现简单直观的人机交互方式，并促使该技术和产品在未来大规模民用成为可能。 我们的项目基于飞桨及其高性能端侧推理引擎Paddle Lite开发，实现了在基于Android系统的手机、平板电脑、嵌入式开发板上利用手势来实时控制贪吃蛇、神庙逃亡、地铁跑酷等交互式游戏，并可在大屏幕端进行投屏展示。 下载安装命令 ## CPU版本安装命令 pip install -f https://paddlepaddle.org.cn/pip/oschina/cpu paddlepaddle ## GPU版本安装命令 pip install -f https://paddlepaddle.org.cn/pip/oschina/gpu paddlepaddle-gpu 项目内容

3 月，跳不动了？>>> 目前中国视障人士数量多达700万，占全世界视障人士总数的18%。此外，全国还有约1200万弱视人群，两者总和约占全国总人口的1.5%。严重的视觉障碍给他们日常生活带来了巨大困难。视障人群需要专人陪同，或借助辅助工具例如导盲杖、导盲犬等才能正常生活。这些传统解决方案，始终存在普及率低、成本高以及使用困难等问题。如何有效助力视障人士日常生活与出行，改善他们的生活质量，是当下全社会亟待解决的问题。 ​ 图 1 视障人士的困境（图片来自网络） 幸运的是，当前广泛使用的手机芯片，不仅具备高效能、超低功耗、开发设计弹性，也满足特殊行业应用的定制系统整合设计需求，因此非常适合用来开发智能出行类产品应用。例如，手机搭配百度端侧推理引擎Paddle Lite，不仅能够加速设备开发，同时能提供设备持续维护、优化的设计弹性，加上目前手机完善的生态链和自身高可靠度表现，可大大降低智能眼镜设备开发过程的风险。此外，通过设计出合理的并行运算机制，可以对人工智能算法进一步优化，特别是那些利用深度学习技术进行训练或推理的场合。百度飞桨支持并行计算，可以很容易设计出符合要求的系统结构；其丰富的程序资源和硬件支持，可以满足更广泛的市场需求。 因此，我们基于人工智能技术，开发出一套视觉辅助智能眼镜系统。该系统首先通过百度深度学习平台飞桨进行大规模日常生活环境图像的训练

3 月，跳不动了？>>> 目前中国视障人士数量多达700万，占全世界视障人士总数的18%。此外，全国还有约1200万弱视人群，两者总和约占全国总人口的1.5%。严重的视觉障碍给他们日常生活带来了巨大困难。视障人群需要专人陪同，或借助辅助工具例如导盲杖、导盲犬等才能正常生活。这些传统解决方案，始终存在普及率低、成本高以及使用困难等问题。如何有效助力视障人士日常生活与出行，改善他们的生活质量，是当下全社会亟待解决的问题。 ​ 图 1 视障人士的困境（图片来自网络） 幸运的是，当前广泛使用的手机芯片，不仅具备高效能、超低功耗、开发设计弹性，也满足特殊行业应用的定制系统整合设计需求，因此非常适合用来开发智能出行类产品应用。例如，手机搭配百度端侧推理引擎Paddle Lite，不仅能够加速设备开发，同时能提供设备持续维护、优化的设计弹性，加上目前手机完善的生态链和自身高可靠度表现，可大大降低智能眼镜设备开发过程的风险。此外，通过设计出合理的并行运算机制，可以对人工智能算法进一步优化，特别是那些利用深度学习技术进行训练或推理的场合。百度飞桨支持并行计算，可以很容易设计出符合要求的系统结构；其丰富的程序资源和硬件支持，可以满足更广泛的市场需求。 因此，我们基于人工智能技术，开发出一套视觉辅助智能眼镜系统。该系统首先通过百度深度学习平台飞桨进行大规模日常生活环境图像的训练

3 月，跳不动了？>>> 假如问在深度学习实践中，最难的部分是什么？猜测80%的开发者都会说： “当然是调参啊。” 为什么难呢？因为调参就像厨师根据食材找到了料理配方，药剂师根据药材找到了药方，充满了玄幻色彩。 但是， 掌握了调参，顶多算深度学习的绝学掌握了一半。而另一半就是“模型部署”。 模型部署有什么难的？举个例子：前面这位大厨在培训学校，经过各种训练掌握了很多料理配方，终于要到酒店上任了，却发现酒店的厨房环境和训练时不一样，就餐高峰时手忙脚乱，客户等了1个小时还没上菜，结果第一天上岗就被投诉了。 虽然比喻略有夸张，却也道出了深度学习模型训练和推理部署的关系。 我们知道，深度学习一般分为训练和推理两个部分，训练是神经网络“学习”的过程，主要关注如何搜索和求解模型参数，发现训练数据中的规律。 有了训练好的模型之后，就要在线上环境中应用模型，实现对未知数据做出预测，这个过程在AI领域叫做推理。 在实际应用中，推理阶段可能会面临和训练时完全不一样的硬件环境，当然也对应着不一样的计算性能要求。我们训练得到的模型，需要能在具体生产环境中正确、高效地实现推理功能，完成上线部署。 所以，当我们千辛万苦训练好模型，终于要上线了，但这个时候可能会遇到各种问题，比如： 线上部署的硬件环境和训练时不同 推理计算耗时太高, 可能造成服务不可用 模型上的内存占用过高无法上线 对工业级部署而言

飞桨博士会第六期沙龙于11月30日在百度大厦举办，来自深度学习研究方向的博士齐聚西二旗进行交流。 本次沙龙首次特邀两位主讲嘉宾，百度深度学习技术平台部两位主任架构师——毕然和胡晓光，分别详解新时代AI课程、飞桨设计思想与编程指南。如下呈现本场主讲内容摘要，可供回顾参考。 01 新时代AI课程：机器学习的思考故事&零基础入门深度学习 毕然老师从“机器学习模型演进路线”和“从模型到系统到商业”两个部分对《机器学习的思考故事》课程进行概述。 机器学习模型演进路线可从框架拆解、学习理论、复杂模型和实用技巧四方面理解。毕然老师从机器学习的基本理论引入，进而延伸讲解如何构造非常强大的模型。机器执行学习时，需要圈定假设空间（包含不同参数之间的关系），并借助评价指标判断参数在不同取值中，哪一个情况下与真实情况接近。同时，毕然老师在这门课程中重点阐述具体算法在设计中更本质的原理。 在“从模型到系统到商业”部分，毕然老师首先提出观点，即模型建立要基于对整个系统非常深度的理解，而系统如果要成为长久的生意则需要满足市场需求，并且有合理的商业逻辑。机器学习的模型都需要嵌入进某个系统中，而这个系统目标是实现某个商业业务。这里毕然老师以百度图像搜索应用为例，由实际用户需求场景切入到技术思路，并和现场博士们就技术实现是采用分类模型还是检索模型讨论。 《零基础入门深度学习》从课程设计思想、学习平台进行介绍

Paddle Lite为Paddle-Mobile的升级版，定位支持包括手机移动端在内更多场景的轻量化高效预测，支持更广泛的硬件和平台，是一个高性能、轻量级的深度学习预测引擎。在保持和PaddlePaddle无缝对接外，也兼容支持其他训练框架产出的模型。 完整使用文档位于 PaddleLite 文档 。 特性 轻量级 执行阶段和计算优化阶段实现良好解耦拆分，移动端可以直接部署执行阶段，无任何第三方依赖。 包含完整的80个 Op+85个 Kernel 的动态库，对于ARMV7只有800K，ARMV8下为1.3M，并可以裁剪到更低。 在应用部署时，载入模型即可直接预测，无需额外分析优化。 高性能 极致的 ARM CPU 性能优化，针对不同微架构特点实现kernel的定制，最大发挥计算性能，在主流模型上展现出领先的速度优势。 支持INT8量化计算，结合 PaddleSlim 模型压缩工具 中 INT8量化训练功能，可以提供高精度高性能的预测能力。 在Huawei NPU， FPGA上也具有有很好的性能表现。 最新 Benchmark 位于 benchmark 。 通用性 硬件方面，Paddle Lite 的架构设计为多硬件兼容支持做了良好设计。除了支持ARM CPU、Mali GPU、Adreno GPU，还特别支持了华为 NPU，以及 FPGA 等边缘设备广泛使用的硬件