飞桨重磅升级:支持千万规模分类任务训练,部署能力全面提升

大憨熊 提交于 2020-03-09 23:40:24

 

2020 年 2 月 27 日飞桨核心框架(以下简称Paddle)发布了1.7版本,这也是Paddle在2020年首个重大更新,下面让我们来看看具体的更新内容。

Paddle 1.7版本对框架功能层面进行了重点增强,预测部署能力全面提升,分布式训练发布PLSC支持千万规模分类任务,并对参数服务器模式进行了优化整合。对编译选项、编译依赖以及代码库进行了全面清理优化。模型库持续完善,优化了整体层次结构,增加了动态图模型实现。端到端开发套件和工具组件进一步完善。

 

01 训练框架

 

  • 增加自动混合精度训练AMP接口和新控制流接口。

  • 优化Tensor使用方式和显存分配策略。

  • 新增支持NVIDIA DALI GPU数据预处理库。

  • 持续优化基础OP的功能和性能。

  • 动态图的功能进一步完善,性能大幅提升,对Data Independent的动态图模型提供转为静态图可预测部署模型的功能。

  • 框架调试分析功能和易用性全面提升。

 

02 预测部署

 

  • 服务器端预测库的Python API大幅优化,新增R语言、Go语言的预测API,并增加相关的使用方法和示例,强化了量化支持能力。

  • Paddle Lite支持无校准数据的训练后量化方法生成的模型,加强对OpenCL的支持,支持昆仑XPU的预测。

  • 模型压缩库PaddleSlim重构裁剪、量化、蒸馏、搜索接口,与模型库充分打通,新增大规模可扩展知识蒸馏框架Pantheon。

 

03 分布式训练

 

  • 参数服务器模式下统一了Transpiler半异步、全异步和GEO的实现模式,后端实现上统一到Communicator中,前端接口统一到fleet中,通过fleet strategy灵活选择不同模式。

  • 发布大规模分类库PLSC,通过模型并行支持超多类别的分类任务。

 

04 基础模型库

 

  • 发布语音合成库Parakeet,包括多个前沿合成算法。

  • PaddleCV新增14个图像分类预训练模型,3D和跟踪方向模型持续丰富。

  • PaddleNLP的分词和词性标注模型支持jieba分词。

  • PaddleRec增加多任务模型MMoE。

  • 模型库整体增加了广泛的动态图模型实现。模型库整体层次结构做了调整优化。

 

05 端到端开发套件

 

  • PaddleDetection和PaddleSeg新增大量模型实现及预训练模型,提升了典型模型的训练速度和精度,大幅提高模型压缩和部署能力,使用体验得到了全面优化。

  • 发布ElasticRec推荐排序系统,通过K8S进行部署,支持流式训练和在线预测服务。

 

06 工具组件

 

  • PaddleHub新增52个预训练模型,总数超过100,功能和体验持续优化。

  • 多任务学习框架PALM升级内核,开放API调用,支持更多的任务类型。

  • 联邦学习PaddleFL新增了公开数据集。

  • 深度强化学习框架PARL和飞桨图学习框架PGL也对应版本升级,支持更多功能,开放更多算法和基线。

 

具体更新内容请参考:

https://github.com/PaddlePaddle/FluidDoc/blob/release/1.7/doc/fluid/release_note_cn.md

 

如果您加入官方QQ群,您将遇上大批志同道合的深度学习同学。官方QQ群:703252161。

如果您想详细了解更多飞桨的相关内容,请参阅以下文档。

官网地址:https://www.paddlepaddle.org.cn/?fr=osc

飞桨项目地址:https://github.com/PaddlePaddle

标签
易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!