PaddlePaddle

本文作者：杨蕊1002 导读：飞桨(PaddlePaddle)致力于让深度学习技术的创新与应用更简单。7月初，随着Paddle Fluid 1.5版本的发布，国内业界首个视频识别与定位工具集PaddleVideo也迎来了重磅更新。PaddleVideo在实际工业界可以形成很多具体应用，包括：视频精彩片段预测、关键镜头定位、视频剪辑等任务，例如定位NBA篮球赛视频中扣篮镜头，电视剧中的武打镜头等。如下图所示： 本文末尾，为广大算法和开发同学准备了PaddleVideo模型实战的应用案例，视频剪辑、素材拼接和标题生成工作完全是程序模型自动完成的，极大地减轻了人力剪辑的工作量，效果也还不错。不过，在看具体模型具体应用之前，让我们可以先来了解一下PaddleVideo。 1. PaddleVideo是什么？ PaddleVideo是飞桨在计算机视觉领域为用户提供的模型库PaddleCV中的视频识别与定位部分的模型库。PaddleVideo的全部模型都是开源的，用户可以一键式快速配置模型完成训练和评测。 PaddleVideo目前视频分类和动作定位模型包括： 2. 重磅更新内容详解 本次重磅更新要点如下： 增加动作定位模型C-TCN，该模型是2018年ActivityNet夺冠方案。 增加已发布的模型骨干网络，Non-local模型增加ResNet101和l3d网络结构

本文作者：杨蕊1002 飞桨（PaddlePaddle）是国内唯一功能完备的端到端开源深度学习平台，集深度学习训练和预测框架、模型库、工具组件、服务平台为一体，其兼具灵活和效率的开发机制、工业级应用效果的模型、超大规模并行深度学习能力、推理引擎一体化设计以及系统化的服务支持，致力于让深度学习技术的创新与应用更简单。 从Paddle Fluid v1.0以来，飞桨致力于打造更好的用户体验，趁着百度开发者大会，也为用户精心准备了一份大礼，在开发、训练及部署全流程上进行了全新升级，发布了飞桨的五大特性。接下来小编为您一一解读。 一、动态图&静态图 - 兼具动态图和静态图两种计算图的优势 从飞桨核心框架Padlde Fluid v1.5开始，飞桨同时为用户提供动态图和静态图两种机制。静态图是先定义网络结构而后运行，对定义好的图结构进行分析，可以使运行速度更快，显存占用更低，在业务部署上线上的具有非常大的优势，为用户的AI应用落地提供高效支持。但是静态图组网和执行阶段是分开，对于新用户理解起来不太友好。 飞桨从最新版本开始，提供了更方便的动态图模式，所有操作可以立即获得执行结果，而不必等到执行阶段才能获取到结果，这样可以更方便进行模型的调试，同时还减少了大量用于构建Executor等代码，使得编写、调试网络的过程变得更加便捷。用户可以使用更加便捷的动态图模式进行调试、训练

2016 年，百度发布深度学习开源框架 PaddlePaddle（飞桨） ； 2020 年 3 月， 华为开源自研全场景 AI 计算框架 MindSpore ； 旷视开源深度学习框架 MegEngine（天元） ； 清华大学发布基于元算子和动态编译的深度学习框架 Jittor（计图） ； …… 2016 年百度推出深度学习开源框架 PaddlePaddle ， 此后长时间内，似乎没有出现一款让人惊艳的同量级与同类型 的国产 开源框架。然而， 今年 3 月份，突然的爆发打破了宁静 —— 华为、旷视与清华大学在今年 3 月相继开源各自研发的深度学习框架，吸引了众多国内外开发者的关注—— 深度学习 开源 框架这把火在开源大浪潮的今天要在国内燎原了。 深度学习框架对人工智能的发展来说意义重大。要 知道，AI 开发者不能每开发一个 功能 就从最底层重新来过，所以想要进行算法训练、模型开发、应用部署，就必须在一定的开发平台上来完成。从前，主流的深度学习框架都由国外机构或公司研发，从最开始蒙特利尔大学与伯克利大学推出的 Theano、 Caffe 框架 ，到现在谷歌维护的 TensorFlow、 Facebook 推出的 PyTorch，人工智能产业在前人的积累上得以快速发展。 当前 TensorFlow 与 PyTorch 仍然 占据着该领域的制高点，而 3 月份国内的几大框架齐发

随着经济社会的进步，人们对美好生活的追求也不断地刺激着电子娱乐行业的发展。但这些应用场景的人机交互方式却一直被束缚在通过键盘、鼠标、触摸屏的物理接触方式上。这些传统的交互方式将玩家的操作范围局限在简单的二维平面空间，也限制了游戏开发者创意的发挥。因此，我们引入了一种新的人机交互模式——手势识别交互。 手势交互方式符合人类思维逻辑，具有自然性和直观性等特点。使用者不需要有过高的门槛，便可以很好地体验到人机交互的乐趣。手势识别技术具有良好的应用前景——包括电子娱乐、智能家居、VR及自动驾驶等热点领域。这个项目设计的目的就是实现简单直观的人机交互方式，并促使该技术和产品在未来大规模民用成为可能。 我们的项目基于飞桨及其高性能端侧推理引擎Paddle Lite开发，实现了在基于Android系统的手机、平板电脑、嵌入式开发板上利用手势来实时控制贪吃蛇、神庙逃亡、地铁跑酷等交互式游戏，并可在大屏幕端进行投屏展示。 下载安装命令 ## CPU版本安装命令 pip install -f https://paddlepaddle.org.cn/pip/oschina/cpu paddlepaddle ## GPU版本安装命令 pip install -f https://paddlepaddle.org.cn/pip/oschina/gpu paddlepaddle-gpu 项目内容

3 月，跳不动了？>>> 什么是图像语义分割？ 图像语意分割顾名思义是将图像像素按照表达的语义含义的不同进行分组/分割，图像语义是指对图像内容的理解，例如，能够描绘出什么物体在哪里做了什么事情等，分割是指对图片中的每个像素点进行标注，标注属于哪一类别。近年来用在无人车驾驶技术中分割街景来避让行人和车辆、医疗影像分析中辅助诊断等。 今天，我们介绍在图像语义分割任务中，如何基于图像级联网络(Image Cascade Network,ICNet)进行语义分割，相比其他分割算法，ICNet兼顾了准确率和速度。 PaddlePaddle已经将ICNet应用于工业领域，将零件质检工人从高强度、低效率的密集劳动中解放出来，有效提升企业经营效率。 图像语义分割模型ICNet的实现方法 下面向大家介绍ICNet的实现（转自PaddlePaddle Github）： 运行程序示例需要使用PaddlePaddle develop最新版本。如果您的PaddlePaddle安装版本低于此要求，请按照PaddlePaddle官方文档更新安装版本。 PaddlePaddle官方文档： http://paddlepaddle.org/documentation/docs/zh/1.2/beginners_guide/index.html 代码结构 ├── network.py # 网络结构定义脚本 ├──

3 月，跳不动了？>>> 深度学习高端人才不仅是AI发展的重要养分，也是企业转型AI巨大推动力。2019年1月19日，百度黄埔学院——深度学习架构师培养计划在百度科技园举行开学典礼，深度学习技术及应用国家工程实验室副主任、百度AI技术平台体系执行总监吴甜，中国信息通信研究院副总工史德年，中国软件行业协会常务副秘书长陈宝国出席了典礼。吴甜表示，百度希望能帮助业界培养第一批“首席AI架构师”。 35位来自业界的高端深度学习人才作为“黄埔学院”首期学员，迎来第一课，与20余位担当导师的百度重量级科学家和技术负责人享受“AI知识盛宴”，中国深度学习第一核心技术圈初现雏形。 深度学习“人才荒”，培养稀缺人才正当时 近年来，中国的发展已经从高速增长向高质量发展转变，从粗放型增长向创新驱动增长转变，史德年表示，“在人工智能浪潮席卷全球的当下，深度学习作为核心技术，对于企业向AI转型的重要性不言而喻。”深度学习作为人工智能发展的重要一环，能让人工智能技术更快速地普及到各行各业，推动融合创新，推动经济、社会和文化等变革。 然而，据领英大数据显示，全球AI人才整体供给在340万人左右，而其中深度学习人才仅9.5万人，且流动性较大，进一步加大了缺口。 陈宝国谈到，软件将会成为人类社会的基础设施，应用软件的人才也是关键。2018年7月，中国软件行业协会就发布了国内首个AI产业专业技术人才培养标准——

3 月，跳不动了？>>> 什么是图像语义分割？ 图像语意分割顾名思义是将图像像素按照表达的语义含义的不同进行分组/分割，图像语义是指对图像内容的理解，例如，能够描绘出什么物体在哪里做了什么事情等，分割是指对图片中的每个像素点进行标注，标注属于哪一类别。近年来用在无人车驾驶技术中分割街景来避让行人和车辆、医疗影像分析中辅助诊断等。 今天，我们介绍 在图像语义分割任务中， 如何基于图像级联网络(Image Cascade Network,ICNet)进行语义分割，相比其他分割算法，ICNet兼顾了准确率和速度。 PaddlePaddle已经将ICNet应用于工业领域，将零件质检工人从高强度、低效率的密集劳动中解放出来，有效提升企业经营效率。 点击查看视频： http://v.qq.com/x/page/s0777pz255g.html 图像语义分割模型ICNet的实现方法 下面向大家介绍ICNet的实现（转自PaddlePaddle Github）： 运行程序示例需要使用PaddlePaddle develop最新版本。如果您的PaddlePaddle安装版本低于此要求，请按 照 PaddlePaddle 官方 文档更新安装版本。 PaddlePaddle 官方 文档： http://paddlepaddle.org/documentation/docs/zh/1.2

3 月，跳不动了？>>> PaddlePaddle在不断增加官方支持的模型的同时，也在关注预训练模型的丰富度。 在过去的版本中，我们已经发布了目标检测Faster-RCNN、MobileNet-SSD、PyramidBox和场景文字识别CRNN-CTC、OCR Attention共计5个预训练模型。 近期，在图像分类领域我们一口气发布了四个系列共十个预训练模型，丰富扩充了预训练模型库，助力用户提高构建模型的效率，大大减轻“炼丹”的烦恼。 MobileNet v1 针对亟需在移动端应用深度学习技术的需求，MobileNet v1在存储空间和能耗低的地方表现优秀，在损失精度很小的情况下，计算量，存储空间，准确率方面都有明显提升。 ResNet 系列模型 ResNet创新性的提出了残差结构，一举在ILSVRC2015比赛中取得冠军，top5错误率为3.57%。斯坦福大学的Joyce Xu将ResNet称为「真正重新定义了我们看待神经网络的方式」的三大架构之一。 在最新发布的 PaddlePaddle 预训练模型包括有ResNet50，ResNet101和ResNet152。 SE_ResNet 系列模型 SE 全称 Sequeeze-and-Excitation，在ILSVRC 2017 的分类项目中取得 了第一名的成绩。在 ImageNet 数据集上将 top-5

3 月，跳不动了？>>> 发布三年之后，百度深度学习框架PaddlePaddle有了官方中文版文档。 今年11月份，PaddlePaddle的用户们在中文社区论坛以及社群上发出召唤：PaddlePaddle官方是否能搞个PaddlePaddle文档的中文版？这个呼声在PaddlePaddle团队内引起广泛关注，研发团队马上在 GitHub 上展开了一个 PaddlePaddle中文文档项目。 两个多月后，官方中文文档终于来了。 地址： http://www.paddlepaddle.org/documentation/docs/zh/1.2/beginners_guide/index.html 在刚开始接触百度深度学习框架PaddlePaddle的时候，我作为个人开发者难免会对一些函数的用法和内部的方式感到迷茫。但现在有些新版中文文档这些统统不是问题，比图像处理中最常用的卷积操作： 这宛如一部百科全书！其中介绍了：可使用参数、默认参数值、算子简介、算子原理及公式、算子内部实现方式、算子输入输出格式规范、参数介绍、异常介绍、以及示例代码。通过这样的内容我们不仅解决了读英文文档慢的困扰，而且还会对这个参数的相关内容有了更全面的了解，我们读起来感觉更加舒心。 此外，在之前的翻译过程中，还在GitHub上建立了一个repo，其中表明了这个项目使用的排版规范，以及翻译对照列表等。

3 月，跳不动了？>>> 课程描述 本课程由中科院一线精英教师团队研发，自2018年经教育部新工科深度学习师资培训班多次打磨迭代，理论讲解透彻深入，知识点层层递进，并形成了一课一练的有效学习模式。每节课程配套相应实践案例，从调参到补代码到写完整的模型一体化训练，帮助学习者摆脱纸上谈兵，学有所用，学有所成！ 前置知识 《零基础入门深度学习》https://aistudio.baidu.com/aistudio/course/introduce/801 入门必备数学知识 Python必备基础 课程目标 计划开设深度学习课程的专业教师 希望夯实理论理解，帮助更有效实践的学习者 课程列表 Python入门 [实践：豆瓣高分电影爬取] 飞桨使用入门 [实践：波士顿房价预测] 机器学习入门 [实践：鸢尾花分类] 深度学习自然语言处理入门 [实践：文本分类] 循环神经网络 [实践：情感分析] 自然语言处理应用 [实践：机器翻译] 参考资料 参考教材：《深度学习导论与应用实践》清华大学出版社 本课程基于PaddlePaddle v1.5版本进行讲解。 该课程已帮助150+位高校专业教师开设深度学习相关课程，更多了解请点击：教育合作 直达链接： 飞桨官网：https://www.paddlepaddle.org.cn 飞桨GitHub：https://github.com/paddlepaddle