PaddlePaddle

百度NLP权威发布，可能是最好用的中文词法分析工具—— LAC 2.0 闪亮登场！与LAC 1.0相比，LAC 2.0在性能与效果上有明显提升，且支持多种开发语言，一键安装调用，更加快速便捷。 LAC项目地址： https://github.com/baidu/lac 下载安装命令 ## CPU版本安装命令 pip install -f https://paddlepaddle.org.cn/pip/oschina/cpu paddlepaddle ## GPU版本安装命令 pip install -f https://paddlepaddle.org.cn/pip/oschina/gpu paddlepaddle-gpu LAC是什么 LAC全称Lexical Analysis of Chinese，是百度NLP（自然语言处理部）研发的一款词法分析工具，可实现 中文分词 、 词性标注 、 专名识别 等功能。 LAC在分词、词性、专名识别的整体准确率超过90%，以专名识别为例，其效果要比同类词法分析工具提升10%以上。 例如： 我知道你不知道，百度开源词法LAC帮你更懂中文！ LAC 2.0可以从语义合理性角度精确完成 分词、词性标注 和 专名 的一体化识别。 LAC 2.0有哪些优势 自开源以来，LAC得到了不少关注与好评。为了进一步提升厂内外开发者的使用体验

当下，人工智能技术发展日趋成熟，成为科技革命和产业变革的重要驱动力，人们的生活正在被AI影响着。这个520，AI也再次成为主角——在5月20日的“WAVE SUMMIT 2020”深度学习开发者峰会上，百度 飞桨 发布了PPDE（ 飞桨 开发者技术专家）计划，旨在号召全球AI开发者与百度 飞桨 一起，携手共建繁荣开放的深度学习开源社区，用科技让复杂的世界变得更简单。 下载安装命令 ## CPU版本安装命令 pip install -f https://paddlepaddle.org.cn/pip/oschina/cpu paddlepaddle ## GPU版本安装命令 pip install -f https://paddlepaddle.org.cn/pip/oschina/gpu paddlepaddle-gpu 源于产业实践的 飞桨 ，2016年正式开源，是全面开源开放、技术领先、功能完备的产业级深度学习平台。科学技术的发展，最关键是人。目前， 飞桨 已累计服务超过190万开发者。2019年底 IDC 发布的《中国深度学习平台市场份额调研》显示，在中国深度学习平台市场，百度 飞桨 是业界公认的功能完备的开源深度学习平台，与Google、Facebook 名列前三，领衔中国深度学习平台市场。 众所周知，一个良好的开源社区需要产品团队与开发者积极互动才能实现良性循环

最近参加了百度AI Studio的深度学习7日入门-CV疫情特辑课程，通过课程来入手学习深度学习框架-PaddlePaddle，同时学习深度学习的相关网络模型，本博客分享在学习过程中的一些心得。 1、通过对该课程的学习，首先了解了PaddlePaddle深度学习框架，然后在本地进行了安装使用；飞桨本地安装可参考飞桨官网：https://www.paddlepaddle.org.cn/documentation/docs/zh/install/index_cn.html 2、通过第一课学习到了百度的Pyecharts，可以进行各种类型的可视化图表绘制，Pycharts Api可参考：https://pyecharts.org/#/zh-cn/；本课程学会了如何爬取新冠肺炎疫情的全国数据，通过request和re模块进行数据爬取。 3、第二课通过手势识别项目，正式进入深度学习框架的使用，采用了一个DNN全连接神经网络进行手势识别图片的训练和预测，通过不断地调参和网络深度变化，最终提交了项目。 4、第三课通过车牌识别项目，学习了CNN神经网络，避免了DNN全连接带来的参数爆炸的问题，同时CNN利用了图片的位置信息，CNN采用了卷积层、池化层，能够更快更好的训练图片，从而更好的进行图片识别和分类。该项目采用了最经典的LeNet神经网络模型。 5、第四课通过口罩识别项目

意料之外，一场疫情解锁了上班族的存封已久厨艺技能，“秒会陕西正宗凉皮”、“电饭煲实现蛋糕梦”……无数美食短视频帮助帅哥靓妹登上了厨房的舞台，舌尖上的中国再次风靡互联网。更惊喜的是，手机APP上的美食短视频就总能在合适的时间、推荐合适的菜谱，让小伙伴们不必为晚餐吃什么而发愁。我不仅暗自感叹，它为啥如此“懂”我？ ​ 说起短视频，网红用到它，炫技用到它……在手机的世界，它无处不在。至2020年3月，我国短视频用户规模为7.73亿，占网民整体的85.6%，每天有大量UGC短视频被生产、分发和消费。 之所以APP可以如此懂我，揭开其神秘面纱，得益于人工智能的视频分类技术。高效的视频分类技术让信息的分发更快地触及目标人群，让APP变得更有温度。 下载安装命令 ## CPU版本安装命令 pip install -f https://paddlepaddle.org.cn/pip/oschina/cpu paddlepaddle ## GPU版本安装命令 pip install -f https://paddlepaddle.org.cn/pip/oschina/gpu paddlepaddle-gpu 面对海量的视频数据，如何推荐 用户 感兴趣的视频？ 互联网视频分类任务的目标是理解视频的语义，并给视频打上标签，标签包括不限于美食、旅游、影视/游戏等等。标签越精细、在视频分发和推荐时

随着预训练技术的到来，作为深度学习重要应用领域之一，自然语言处理也迎来了新的春天。通过使用预训练模型可以大大减少模型训练对数据的依赖，仅需要使用少量数据在下游任务中微调（Fine-tune），就可以获得效果非常优秀的模型。不过如果希望获得更好的效果，该怎么办呢？有人也许会说：多训练几个epoch嘛！但是对于这种单一任务且有监督学习的微调方式，单独增加训练epoch并不是一个好方法，过度的训练容易损害模型的泛化能力，发生过拟合现象。 ​ 要知道训练一个模型就像在养育一个孩子一样。在子女的教育问题上，每个家长都会投入尽可能多的人力和资源，希望把自己孩子教育成才，能够举一反三、触类旁通，成为一个“学霸”。 但是如果到考试时发现自己的孩子只会做课本上的原题，题目稍微改改就做不好，我想家长一定会欲哭无泪吧。相比模型训练又何尝不是呢？开发者不仅要投入大量的服务器硬件资源，还要辛辛苦苦写代码，结果最后训练出的模型泛化能力极差，跳出训练数据的范围，就啥也干不了，相信这绝对不是任何一个开发者希望看到的。 那么有什么方法可以提高模型的泛化能力，让模型可以更加聪明呢？其实可以在微调阶段引入辅助任务信号，通过多任务学习的方式，即将多个目标任务场景联合学习，就可以显著提高模型所学到的表征的通用性，使得模型具备更强的泛化能力。 但是基于传统的深度学习框架，多任务学习方式的代码实现门槛较高，策略调整不够灵活

01 重要通知：动物森友会首届「AI 顶会」ACAI 2020即将召开 众所周知，因为疫情的原因，ICML、ICLR、CVPR 等人工智能顶级会议都已经改为了线上举办。 自从 AAAI 2020 之后，今年内大概率不会再有线下举办的 AI 会议了。比如这几天正在举办的 ICLR 2020，原本打算远赴非洲参会的人们，现在只能是网络一线牵。 正在线上举行的 AI 顶会 ICLR 2020 有一个口袋妖怪风格的虚拟环境「ICLR Town」，参会者在这个环境中的形象与视频会议几乎同步。 网络虚拟环境成为了人们持续交流的最重要途径。继网友在《我的世界》里盖学校、举办毕业典礼之后，AI 学术会议也挪到了游戏里。这次，他们看中的是 Switch 的「动物森友会」。这是个没有固定剧情的开放游戏，非常注重沟通，玩家可以在里面独自生活，不受默认的剧情、任务限制。 目前，动物森友会中的首届「AI 顶会」ACAI 2020 已经开始筹备，这一新生会议将在三个月后正式举行。 ACAI，顾名思义，就是 Animal Crossing Artificial Intelligence 的意思，虽然是在虚拟空间举办，但这场活动从规格、程序和人气上来看，和真正的学术会议相比也并不逊色。 这场 workshop 是由佛罗里达国际大学博士 Josh Eisenberg 组织举办的，他现在主要从事自然语言理解方面的研究

前言 首先附录一下一周任务青2系列中值得关注的一些小点。总体来说，我觉得课程总体设计 通过 青2 这个任务情景 将各种任务串起来，有项目的初步框架。 Day2 《青春有你2》Python 爬虫 和人像动漫体验 Day4 《青春有你2》分类任务坑总 Day5《青春有你2》评论数据爬取与词云分析 心得 第一天的任务是利用python的基本知识完成一些编程题。青2 系列任务从第二天开始。首先是数据获取部分（是通过python爬虫实现），其次是数据分析（很多人可能会忽略这一步，我觉得吧不管是用机器学习算法还是深度学习模型，首先还是需要观察数据分布情况，根据数据分布，可以有哪些选择。比如之前我在检测样品里的生长的微结构，数量很多，大部分的小样品矩形区域比较小。当时考虑目标检测的两种模型SSD,Faster RCNN。区别一个是一阶段直接检测，一个两阶段过程。预测效果和训练的loss来看，SSD表现并不是那么好，loss一直没法收敛到一个比较小的值，尽管检测速度肯定比两阶段检测算法来的快。） 第四天就是自制图片数据集，对其进行分类。第五天，爬取爱奇艺 青2 的一段视频评论，作数据清洗方面的工作后，可视化展示和词云绘制。 在爬虫这块，之前学习也是直接跳过没学的。真的一开始觉得有点懵吧，课上讲的beautiful Soup 来处理，我觉得课程讲的比较简单。课后还是花一些心思去查各种文档

我的paddlepaddle（飞桨）《 Python小白逆袭大神 》课程学习心得 说实话，第一次参加paddlepaddle（飞桨）是CV课程，也是7天，那时候还没上班，虽然时间充裕，但基础太差，跟上课程很艰难，很受折磨。上班后，4月22日参加了《 Python小白逆袭大神 》课程，短短的7天学习，我加深了对python的使用的，达到了参课的目的。下面我就我的学习心得交流一下。 一、第一节课 第一节课的作业很简单，分别是乘法口诀、目录文件列举，我赶紧抓紧中午的时间做了，好像是第三个提交作业的，这是迄今为止我提交作业最早的一次，累趴下，紧张的不行，怕提交晚了。做完作业，我还发了CSDN， [作业1](https://blog.csdn.net/livingbody/article/details/105695019) 虽然简单，但是阅读量居然达到了683，这是第一次有这么多人阅读我发的博客。 二、第二节课 第二节课是完成《青春有你2》选手数据，包括图片爬取，将爬取图片进行保存。绝大部分代码已经给出来了，我们所要做的就是补齐关键位置代码。照猫画虎，我补全了代码，从百度百科爬取到了图片。最终爬取482张图。 作业2 这次作业 BeautifulSoup 许多用法需要熟记于心，以后数据抓取会经常用到。其中代码写作格式，很值得借鉴。 三、第三节课 第三节课是选手数据分析

> Python 多线程因为GIL的存在，导致其速度比单线程还要慢。但是近期我发现了一个相当好用的库，这个库只需要增加一个修饰符就可以使原生的python多线程实现真正意义上的并发。本文将和大家一起回顾下GIL对于多线程的影响，以及了解通过一个修饰符就可以实现和C++一样的多线程。 ## GIL的定义 GIL的全称是global interpreter lock，官方的定义如下： In CPython, the global interpreter lock, or GIL, is a mutex that prevents multiple native threads from executing Python bytecodes at once. This lock is necessary mainly because CPython’s memory management is not thread-safe. (However, since the GIL exists, other features have grown to depend on the guarantees that it enforces.) 从官方的解释来看，这个全局锁是用来防止多线程同时执行底层计算代码的。之所以这么做，是因为底层库Cpython，在内存管理这块是线程不安全的。 ##

Use Docker 1. Install Docker sudo apt-get install -y docker.io a) pull repository from server in China, here is a faster mirror: sudo docker pull docker.paddlepaddle.org/paddle b)run an interactive terminal sudo docker run -i -t docker.paddlepaddle.org/paddle /bin/bash c)Install git in container apt-get install git d)Clone paddle tutorial code git clone https://github.com/PaddlePaddle/book.git e)Open another terminal and commit the conntainer sudo docker container ls sudo docker commit -m="Add git and clone padddlepaddle tutorial code" -a="chenrufeng" c6ec649e0f08 paddle_tutorial:v1