PaddlePaddle

Prepare paddle in Docker

你说的曾经没有我的故事 提交于 2020-05-01 06:17:38
1. Install Docker sudo apt-get install -y docker.io a) pull repository from server in China, here is a faster mirror: sudo docker pull docker.paddlepaddle.org/paddle b)run an interactive terminal sudo docker run -i -t docker.paddlepaddle.org/paddle /bin/bash c)Install git in container apt-get install git d)Clone paddle tutorial code git clone https://github.com/PaddlePaddle/book.git e)Open another terminal and commit the conntainer sudo docker container ls sudo docker commit -m="Add git and clone padddlepaddle tutorial code" -a="chenrufeng" c6ec649e0f08 paddle_tutorial:v1 PaddlePaddle Book You

飞桨强化学习框架PARL发布首个工业级深度进化学习库EvoKit

时间秒杀一切 提交于 2020-04-29 21:01:48
飞桨强化学习框架PARL曾两次夺得NeurIPS强化学习赛事世界冠军 。近期PARL升级1.3版本,通过发布深度进化学习库EvoKit,多智能体强化学习(Multi-Agent RL)算法,助力强化学习进一步落地工业应用场景。 深度进化学习库EvoKit PARL 1.3 重点发布了首个工业级进化学习框架EvoKit,支持大规模神经网络在真实业务场景中调研和部署进化学习算法, 针对性解决进化学习算法部署到业务场景所遇到的难题 。 什么是进化学习算法? 进化学习(Evolution Strategy)借鉴自然界种群进化过程,通过演化的方式找到全局最优。进化学习由来已久,近年来被不少学者用于解决强化学习(Reinforcement Learning),AutoML(Auto Machine Learning)等场景的问题。相对于梯度优化而言,进化学习直接通过参数空间的扰动来观察最终目标(如下视频所示),并且和强化学习一样,进化学习不要求优化目标和参数之间可导,因此适用范围非常广泛,易于并行化。基于EvoKit,可以利用数百台CPU优化百万量级参数的模型。 点击观看视频 进化学习能用到哪些地方? 1. 优化目标和模型之间不可导的场景 。例如,模型超参数的搜索;一些推荐类产品留存,总时长等不能建模,或者直接建模成本较高的场景。 2. 模型和业务规则逻辑或和其他流程耦合的场景 。例如

十余行代码完成迁移学习,百度PaddleHub实战解读

旧城冷巷雨未停 提交于 2020-04-27 18:04:36
来源:百度 PaddlePaddle 迁移学习 (Transfer Learning) 是属于深度学习的一个子研究领域,该研究领域的目标在于利用数据、任务、或模型之间的相似性,将在旧领域学习过的知识,迁移应用于新领域中。迁移学习吸引了很多研究者投身其中,因为它能够很好的解决深度学习中的以下几个问题: 一些研究领域只有少量标注数据,且数据标注成本较高,不足以训练一个足够鲁棒的神经网络 大规模神经网络的训练依赖于大量的计算资源,这对于一般用户而言难以实现 应对于普适化需求的模型,在特定应用上表现不尽如人意 为了让开发者更便捷地应用迁移学习,百度 PaddlePaddle 开源了预训练模型管理工具 PaddleHub。开发者用使用仅仅十余行的代码,就能完成迁移学习。本文将为读者全面介绍 PaddleHub 并其应用方法。 项目地址:https://github.com/PaddlePaddle/PaddleHub PaddleHub 介绍 PaddleHub 是基于 PaddlePaddle 开发的预训练模型管理工具,可以借助预训练模型更便捷地开展迁移学习工作,旨在让 PaddlePaddle 生态下的开发者更便捷体验到大规模预训练模型的价值。 PaddleHub 目前的预训练模型覆盖了图像分类、目标检测、词法分析、Transformer、情感分析五大类别

本周AI热点回顾:文章自动变视频、无人出租今起免费坐、YOLO v4复活

筅森魡賤 提交于 2020-04-27 17:16:43
YOLO项目复活,大神接过衣钵! 两个月前,YOLO 之父 Joseph Redmon 表示,由于无法忍受自己工作所带来的的负面影响,决定退出计算机视觉领域。此事引发了极大的热议, 当我们都以为再也没有希望的时候,YOLO v4 却悄无声息地来了。这一目标检测神器出现了新的接棒者! 本月24日,YOLO 的官方 Github 账号更新了 YOLO v4 的 arXiv 链接与开源代码链接,迅速引起了 CV 社区的关注。 YOLO v4 的作者共有三位:Alexey Bochkovskiy、Chien-Yao Wang 和 Hong-Yuan Mark Liao。其中一作 Alexey Bochkovskiy 是位俄罗斯开发者,此前曾做出 YOLO 的 windows 版本。 在相关论文中,研究者对比了 YOLOv4 和当前最优目标检测器,发现 YOLOv4 在取得与 EfficientDet 同等性能的情况下,速度是 EfficientDet 的二倍!此外,与 YOLOv3 相比,新版本的 AP 和 FPS 分别提高了 10% 和 12%。 许多特征可以提高 CNN 的准确率,然而真正实行起来,还需要在大型数据集上对这些特征组合进行实际测试,并且对测试结果进行理论验证。某些特征仅在某些模型上运行,并且仅限于特定的问题,或是只能在小型数据集上运行;而另外有些特征(如批归一化和残差连接

今晚直播 | 真枪实弹!Python第一课:1min统计文件名

我的梦境 提交于 2020-04-23 20:58:36
6大《青春有你2》最新实战案例 零基础从Python进入深度学习领域! 百度作为国内的人工智能领头羊企业,百度飞桨致力于让深度学习技术的创新与应用更简单。现推出百度深度学习第六期7日打卡营,主要针对小白,通过数据可视化、人脸识别、情感分析带领大家零基础从Python进入人工智能领域!百度飞桨深度学习认证布道师亲自授课,通过6个大《青春有你2》最新实战案例, 4月22日起,连续7天每晚20:00-21:00, 带大家玩转AI。 全程直播+录播+答疑+比赛 ,四位一体的全方位互动式学习,更有CPU、GPU计算资源免费使用。每天打卡学习都有深度学习图书或京东卡赠送,登榜更有机械键盘、小度在家、小度play、百度飞桨认证结业证书等你拿。 Python 小白逆袭AI大神 第一次直播课程 第一天开营课,将为大家介绍本期 7 日打卡营的课程安排,并从 Python 的入门开始讲解 Python 与人工智能的关系、 Python 的特点与应用领域、 Python 的核心语法等。 直播时间: 4 月21日(今晚)20:00-21:00 直播内容: 1. 7 日打卡营课程安排 2. Python 与人工智能的关系、 Python 的特点与应用 3. Python 的核心语法 实战1:百度AI开放平台体验-人脸漫画、视频内容分析、文本纠错、短语言识别 实战2:Python实践-1分钟统计文件名 直播讲师

【EasyDL Pro】中草药材AI识别师

懵懂的女人 提交于 2020-04-23 01:48:22
中医药发展已经上升到国家战略高度,中医药AI创新是五千年中医瑰宝的传承利器。2018年我国中药市场规模达到2700亿元,未来5年将达到2万亿元。国内原料药和制剂厂有3994家,其中中药企业2080家。中药强调“道地药材”,经调查药用植物有383科,2039属,11146种(以上内容来自:http://www.yikumed.com/solution/13.html)。 本次使用 EasyDLPro 图像分类对164种中草药材,18种功能类型(清热药,解表药,补虚药,平肝息风药,化湿药,利水渗湿药,温里药,理气药,消食药,止血药,活血化瘀药,化痰止咳平喘药,安神药,收涩药,开窍药,外用药,祛风湿药,泻下药)进行深度学习模型训练,数据集达25w+,基于 paddle-fluid-v1.6.2 通过 ResNet50 网络训练。分类精度均达到85.8%以上,平均每次鉴别仅耗时2-5秒,已经达到很好的水平。结合现代深度学习反向传播提高精准度,为生产过程中错综复杂的参数条件找到最优方案。 什么是EasyDL EasyDL 是基于飞桨框架 PaddlePaddle 推出的面向企业开发者打造的一站式 AI 开发平台,提供从数据管理与标注、模型训练、服务部署的全流程支持,内置丰富的预训练模型,全面支持飞桨 Master 模式;模型训练效果好、训练效率高,并且有完善安全的数据服务,支持端、云

在K40小破卡训练50层BERT Large的宝藏trick

隐身守侯 提交于 2020-04-22 16:24:37
前言 虽然TPU的显存令人羡慕,但是由于众所周知的原因,绝大部分人还是很难日常化使用的。英伟达又一直在挤牙膏,至今单卡的最大显存也仅仅到32G(参考V100、DGX-2)。然而,训练一个24层的BERT Large模型的时候,如果sequence length开满512,那么batch size仅仅开到8(有时候能到10)就把这寥寥32G的显存打满了。如果想训练一个48层乃至100层的BERT Large,那完全是土豪们的游戏了,需要疯狂的模型并行+分布式多机训练。 但!是!万能的小夕前不久在Daxiang Dong大佬的安利下,发现了 @陈天奇 大佬2016年的一篇宝藏paper! 传送门: https:// arxiv.org/pdf/1604.0617 4.pdf 简单的划一下重点: 这篇paper用时间换空间的思想, 在前向时只保存部分中间节点,在反向时重新计算没保存的部分 。论文通过这种机制,在每个batch只多计算一次前向的情况下,把n层网络的占用显存优化到了 ( √)O(n)。在极端情况下,仍可用 ( )O(nlogn)的计算时间换取到 ( )O(logn)的显存占用。在论文的实验中,他们成功将将1000层的残差网络从48G优化到了7G。且,这种方法同样可以直接应用于RNN结构中。 看完摘要,瞬间感觉在小破卡上训练BERT Large有救了!!! 此外

PaddleHub创意赛人脸检测主题项目汇总

佐手、 提交于 2020-04-17 19:55:06
PaddleHub创意赛第二期来了!这次我们为大家带来了人脸检测和人脸关键点检测的一系列模型。 参赛链接请点击 “比赛链接” 为方便大家参考,将在此贴中展示全部参赛项目,并更新每日新提交项目。 4月16日项目汇总: busyboxs: 活用人脸关键点检测,给霉霉换眼镜 小丑屿岛麋鹿: 这有个加粗眉毛的美颜效果,不知道有什么用 bigcat_hui: 你们看看詹皇的女妆...我怕作者是没被喷过 beyter: 你们连宋小宝也不放过.... 政企行业应用: 朴实无华的人脸检测 aitrust: 兄弟你是人脸磨皮还是拿砂纸磨相片 lizhi: 第一期黑大表姐的也是你吧 七DeadlySins: 黑龙抬棺??? wangwei8638: 你以为白底我就看不出来你磨的狠吗 下载安装命令 ## CPU版本安装命令 pip install -f https://paddlepaddle.org.cn/pip/oschina/cpu paddlepaddle ## GPU版本安装命令 pip install -f https://paddlepaddle.org.cn/pip/oschina/gpu paddlepaddle-gpu >> 访问 PaddlePaddle 官网, 了解更多相关内容 。 来源: oschina 链接: https://my.oschina.net/u/4067628

别再自己抠图了,Python用5行代码实现批量抠图

杀马特。学长 韩版系。学妹 提交于 2020-04-17 13:12:44
【推荐阅读】微服务还能火多久?>>> 前言 对于会PhotoShop的人来说,抠图是非常简单的操作了,有时候几秒钟就能扣好一张图。不过一些比较复杂的图,有时候还是要画点时间的,今天就给大家带了一个非常快速简单的办法,用Python来批量抠取人像。 效果展示 开始吧,我也不看好什么自动抠图,总觉得不够精确,抠不出满意的图。下面我就直接展示一下效果图吧。我们先看看原图 这张图片背景未纯色,我们平时用PhotoShop抠起来也比较简单,对我们计算机来说也不是什么难题,下面是效果图: 因为本身是PNG图片,而且原图是白色背景,所以看不出什么区别。为了显示效果,我把原图和抠好的图放到一张黄色背景图片上: 这样一看效果明显多了,感觉抠图效果还是非常好的。但是吧,抠这种简单的图片,不怎么过瘾,我们再来看看复杂一点的图片: 这张图片背景色比之前复杂一些,而且有渐变,我们来看看抠图后的效果如何: 这个原图背景不是白色,我就不弄黄色背景了,赶紧这个效果也还算满意,那么多人物的图片呢,我们再看看下面这张图片: 这里有三个人,我们看看程序能不能自动抠出来: 虽然是有点瑕疵,不过还是很不错了,下面我们看看最后一个例子: 这个就比前面的都复杂的多,那么效果如何呢,我们来看看: 哈哈,不仅识别出了人,还把火炬识别出来并抠了出来。总的来说,在完成人物抠图方面还是没有什么问题的。 环境 看完效果,那么应该怎么实现呢

PaddlePaddle/PaddleDetection

风格不统一 提交于 2020-04-17 03:42:32
【推荐阅读】微服务还能火多久?>>> English | 简体中文 PaddleDetection PaddleDetection的目的是为工业界和学术界提供丰富、易用的目标检测模型。不仅性能优越、易于部署,而且能够灵活的满足算法研究的需求。 目前检测库下模型均要求使用PaddlePaddle 1.7及以上版本或适当的develop版本。 简介 特性: 易部署: PaddleDetection的模型中使用的核心算子均通过C++或CUDA实现,同时基于PaddlePaddle的高性能推理引擎可以方便地部署在多种硬件平台上。 高灵活度: PaddleDetection通过模块化设计来解耦各个组件,基于配置文件可以轻松地搭建各种检测模型。 高性能: 基于PaddlePaddle框架的高性能内核,在模型训练速度、显存占用上有一定的优势。例如,YOLOv3的训练速度快于其他框架,在Tesla V100 16GB环境下,Mask-RCNN(ResNet50)可以单卡Batch Size可以达到4 (甚至到5)。 支持的模型结构: ResNet ResNet-vd 1 ResNeXt-vd SENet MobileNet HRNet Res2Net Faster R-CNN ✓ ✓ x ✓ ✗ ✗ ✗ Faster R-CNN + FPN ✓ ✓ ✓ ✓ ✗ ✓ ✓ Mask R-CNN ✓ ✓