神经网络

究极全面炼丹教程,使用PaddleOCR并自己训练模型,太上老君看了都说好

筅森魡賤 提交于 2021-01-25 11:05:29
使用PaddleOCR,训练自己的模型 前言______PaddleOcr的安装与准备工作 资料准备 1. 下载icdar2015图片集 2. 下载icdar2015数据集配套的标注文件 3.组织数据集路径 4.下载预训练模型 5.组织预训练模型路径 6.修改配置文件 ~~设置完成,开始训练~~ 到了紧张刺激的DEBUG环节才对 如何制作自己的数据集? 模型评估与模型检查 ps:为方便读者文章中需要用到的文件均使用我的网盘分享下载,同时也会给出官网下载地址 前言______PaddleOcr的安装与准备工作 1.PaddleOcr相关组件安装我在上一个博客中已经介绍完毕→ PaddleOcr安装与使用全程指南 ←点击跳转 2.下载PaddleOcr官方文件包, https://kyc592.lanzous.com/i5C7Gkojm7c 密码:kyc 或官网下载地址:https://gitee.com/paddlepaddle/PaddleOCR 然后解压到项目文件夹的根目录下。 一定确保按照前一篇博客操作完毕,Paddleocr可以正常运行,尽量减少待会出现的极 其 繁 重的debug工作。 至此完成准备工作。 资料准备 训练自己的模型,需要的资料有: ①训练用的图片集 ②测试用的图片集 ③前面两个图片集配套的标注文件 ④预训练模型 1. 下载icdar2015图片集 演示采用的

上周热点回顾(11.5-11.11)

谁说胖子不能爱 提交于 2021-01-25 06:14:10
热点随笔: · 程序员,你焦虑吗? ( 闲鱼君 ) · 哎呀,我老大写Bug啦——记一次MessageQueue的优化 ( 山治先生 ) · 使用Visual Studio Code开发.NET Core看这篇就够了 ( 依乐祝 ) · 致C#,致我这工作一年(上) ( RyzenAdorer ) · 博客园隐藏的小秘密及各类排行榜【附源码】 ( 北国丶风光 ) · 神经网络的基本工作原理 ( UniversalAIPlatform ) · [翻译] .NET Standard 2.1 公布 ( Rwing ) · 你所不知道的 CSS 阴影技巧与细节 ( ChokCoco ) · 一文弄懂“分布式锁” ( 向南l ) · Ansible 简介 ( sparkdev ) · 做了「负载均衡」就可以随便加机器了吗?这三招来帮你! ( Zachary_Fan ) · MyBatis动态SQL(认真看看, 以后写SQL就爽多了) ( 阿进的写字台 ) 热点新闻: · 王思聪怒怼腾讯,IG夺冠后腾讯做错了什么? · 我把公司办垮了,因为:对员工宽容、假装高逼格、除了老板没人加班 · 苹果新款手机被曝全面砍单 富士康或被迫裁员 · 「酸碱体质理论」创始人被判罚 1.05 亿美元,当庭承认骗局 · 淘宝店主因代购被判10年,这个量刑冤吗? · 在操作系统、芯片领域跌倒的中国程序员如何崛起? ·

吴恩达深度学习学习笔记——C1W2——神经网络基础——作业2——用神经网络的思路实现Logistic回归

谁说胖子不能爱 提交于 2021-01-24 14:30:06
可以明确的说,如果不自己一步步调试作业代码,很难看懂作业内容。 这里主要梳理一下作业的主要内容和思路,完整作业文件可参考: http://localhost:8888/tree/Andrew-Ng-Deep-Learning-notes/assignments/C1W2 作业完整截图,参考本文结尾:作业完整截图。 作业指导及目标 Logistic Regression with a Neural Network mindset(用神经网络的思路实现Logistic回归) Welcome to your first (required) programming assignment! You will build a logistic regression classifier to recognize cats. This assignment will step you through how to do this with a Neural Network mindset, and so will also hone your intuitions about deep learning. Instructions: Do not use loops (for/while) in your code, unless the instructions explicitly ask

日本「AI 鱼脸识别」项目,每分钟识别 100 条

放肆的年华 提交于 2021-01-24 13:58:03
来源 | HyperAI超神经 头图 | 视觉中国 近日,日本的一个 AI 分拣鱼类项目进入实验阶段。这将有望改善日本渔业劳动力老龄化及短缺的社会现状。 日本作为岛国,其独特的地理位置,让国民自古以来就跟鱼结下了不解之缘,甚至形成了其独特的「鱼文化」。因此,日本无论是在养鱼、捕鱼还是吃鱼方面,都堪称国际代表。 但是近年来,日本渔业却面临劳动力老龄化与短缺的压力,为此,相关部门正在推动渔业的自动化作业,以及时弥补人力空缺。 AI 看图识鱼,每分钟分装 100 条 餐桌上每一道鲜美的海鱼背后,都离不开渔民的辛苦工作。每一次的出海,渔民们不仅负责将海鲜打捞上船,为了保证渔获的新鲜,他们还要在最短的时间里将其分拣、冲洗、冷藏。 时间的紧迫,往往让他们顾不得天气状况,于是顶着烈日或冒雨作业都是家常便饭。 打渔这份艰辛的工作,越来越难以吸引年轻人。人口老龄化、劳动力短缺,成为制约日本渔业发展的一大因素。 近日,日本青森县八户市则开启了一项前所未有的实验——使用配备有 AI 系统与摄像头的设备,代替渔民,对捕捞上来的活鱼进行自动分类。 在短短 35 分钟的时间里,这台设备就分拣了约 1 吨的鲑鱼、鳕鱼、青花鱼和鲱鱼。 这一项目从 2018 年就已启动,日本农业、林业和渔业部出资 1.3 亿日元(约合人民币 812.7 万元),共同委托青森县产业技术中心食品研究所

读懂深度迁移学习,看这文就够了 | 赠书

让人想犯罪 __ 提交于 2021-01-24 10:00:00
百度前首席科学家、斯坦福大学副教授吴恩达(Andrew Ng)曾经说过:迁移学习将是继监督学习之后的下一个促使机器学习成功商业化的驱动力。 本文选自《深度学习500问:AI工程师面试宝典》,将重点介绍目前最热门的深度迁移学习方法的基本思路。 随着迁移学习方法的大行其道,越来越多的研究人员开始使用深度神经网络进行迁移学习。与传统的非深度迁移学习方法相比,深度迁移学习直接提升了在不同任务上的学习效果,并且由于深度迁移学习直接对原始数据进行学习,所以它与非深度迁移学习方法相比有两个优势。 (1)能够自动化地提取更具表现力的特征。 (2)满足了实际应用中的端到端(End-to-End)需求。 近年来,以生成对抗网络(Generative Adversarial Nets,GAN)为代表的对抗学习也吸引了很多研究者的目光,基于GAN的各种变体网络不断涌现。对抗学习网络与传统的深度神经网络相比,极大地提升了学习效果。因此,基于对抗网络的迁移学习也是一个热门的研究点。 上图为深度迁移学习方法与非深度迁移学习方法的结果对比,展示了近几年的一些代表性方法在相同数据集上的表现。从图中的结果可以看出,与传统的非深度迁移学习方法(TCA、GFK等)相比, 深度迁移学习方法(BA、DDC、DAN)在精度上具有显著的优势。 下面我们来重点介绍深度迁移学习方法的基本思路。 首先来回答一个最基本的问题

ACL-2021交流群

时光毁灭记忆、已成空白 提交于 2021-01-24 09:43:18
ACL2021目前距离投稿还有10天左右时间。之前建立了交流群,方便大家交流。 有投稿的同学可以加群交流,进群的各位同学请将备注改为 姓名+学校+方向 ,便于交流,大家交流的时候不要透露投稿id,不要透露任何违背双盲原则的信息,感谢大家配合。 想要入群的同学,可以添加yizhen-nlp ,备注 ACL-学校-姓名-方向(由于是我个人的微信号,不加备注不会接受同意,望谅解),一定要有投稿需求的同学,谢谢 。 推荐阅读 NAACL2021-交流群 【招人】腾讯广告业务线 赛尔笔记 | 篇章级机器翻译简介 清华CoAI课题组新书《现代自然语言生成》正式发布! GPT“高仿”系列开源了!最大可达GPT-3大小,还能自主训练 ACL 2021投稿避坑指南 我,大学没毕业,在OpenAI搞AI,想教教你如何提升“研究品味” 推荐几本经典AI书籍! 赛尔原创@AAAI 2021 | 纠结于联合学习中的建模方法?快来看看图网络显式建模! 如何提高PyTorch“炼丹”速度?这位小哥总结了17种方法,可直接上手更改的那种 斯坦福CS224W《图机器学习》2021开课!Jure Leskovec大牛主讲,附课程PPT下载 ICLR2021放榜!录取860篇,接受率为28.7%! 计算机视觉中的Transformer 第二十届中国计算语言学大会(CCL 2021)技术评测任务征集 完全图解GPT-2

人工智能,机器学习,深度学习的区别

蹲街弑〆低调 提交于 2021-01-23 13:29:05
先来看看自维基百科的定义 什么是人工智能? 人工智能 (Artificial Intelligence, AI)亦称机器智能,是指由人制造出来的机器所表现出来的智能。通常人工智能是指通过普通电脑程式的手段实现的类人智能技术。该词同时也指研究这样的智能系统是否能够实现,以及如何实现的科学领域。 一般教材中的定义领域是“智能主体(intelligent agent)的研究与设计”,智能主体是指一个可以观察周遭环境并作出行动以达致目标的系统。 约翰·麦卡锡 于1955年的定义是“制造智能机器的科学与工程。” 人工智能的研究是高度技术性和专业的,各分支领域都是深入且各不相通的,因而涉及范围极广。人工智能的研究可以分为几个技术问题。其分支领域主要集中在解决具体问题,其中之一是,如何使用各种不同的工具完成特定的应用程序。 AI的核心问题包括建构能够跟人类似甚至超越的推理、知识、规划、学习、交流、感知、移动和操作物体的能力等。 强人工智能 目前仍然是该领域的长远目标。目前强人工智能已经有初步成果,甚至在一些影像辨识、语言分析、棋类游戏等等单方面的能力达到了超越人类的水平,而且人工智能的通用性代表着,能解决上述的问题的是一样的AI程式,无须重新开发算法就可以直接使用现有的AI完成任务,与人类的处理能力相同,但达到具备思考能力的统合强人工智能还需要时间研究,比较流行的方法包括统计方法

人工智能 机器学习 深度学习

夙愿已清 提交于 2021-01-23 13:07:37
人工智能、机器学习、深度学习这些名词经常会在各种场合听到,那具体有哪些区别呢? 在业内来说,这几个概念还是有区别的,如果混用就会让人觉得是个门外汉。 为了避免露馅成为 外行 ,下面就来具体介绍一下每个概念以及它们之间的区别。 人 工智能 : 模拟、延伸和扩展人的智能的理论、方法、技术及应用系统 。 人工智能是个很宽泛的 概念 ,人类制造了各种机器之后,总希望这些机器越来越智能,这样人就可以越来越轻松,更好地享受生活。 例如上图中提到的AGI(Artificial General Intelligence,通用人工智能),就是真正的AI,可以达到人类心智水平、能够通过图灵测试的机器(图灵测试的介绍见附录)。 但事实上,现在的机器在很多方面都已经远远超过了人类,但是也有一些方面和人类差距还非常大。 例如进行计算,人类早已没法和机器PK,电脑的学名正是计算机,用来计算的机器,计算能力非常强大,计算速度非常快。 但是有些方面的任务,比如操作灵活性,机器人还和人类有一定的差距; 还有理解能力,机器在很多场景还都无法理解人类的意图,仍需要不断发展。 机器学习 : 研究计算机怎样模拟或实现人类的学习行为 。 机器学习的范围要窄一些,是一个具体的交叉 学科 ,算法也非常多: 随机森林、决策树、朴素贝叶斯分类、SVM(Support Vector Machine, 支持向量机)等等。

如何防止我的模型过拟合?这篇文章给出了6大必备方法

好久不见. 提交于 2021-01-23 10:55:16
选自Medium 作者:Mahitha Singirikonda 机器之心编译 编辑:小舟 原文链接: https://mp.weixin.qq.com/s/RP9iFbyw-aNMKx-UAOe-aA ​ mp.weixin.qq.com 正如巴菲特所言:「近似的正确好过精确的错误。」 在机器学习中,过拟合(overfitting)会使模型的预测性能变差,通常发生在模型过于复杂的情况下,如参数过多等。本文对过拟合及其解决方法进行了归纳阐述。 在机器学习中,如果模型过于专注于特定的训练数据而错过了要点,那么该模型就被认为是过拟合。该模型提供的答案和正确答案相距甚远,即准确率降低。这类模型将无关数据中的噪声视为信号,对准确率造成负面影响。即使模型经过很好地训练使损失很小,也无济于事,它在新数据上的性能仍然很差。欠拟合是指模型未捕获数据的逻辑。因此,欠拟合模型具备较低的准确率和较高的损失。 如何确定模型是否过拟合? 构建模型时,数据会被分为 3 类:训练集、验证集和测试集。训练数据用来训练模型;验证集用于在每一步测试构建的模型;测试集用于最后评估模型。通常数据以 80:10:10 或 70:20:10 的比率分配。 在构建模型的过程中,在每个 epoch 中使用验证数据测试当前已构建的模型,得到模型的损失和准确率,以及每个 epoch 的验证损失和验证准确率。模型构建完成后

对抗样本机器学习_cleverhans_FGSM/JSMA

删除回忆录丶 提交于 2021-01-23 01:18:46
对抗样本机器学习_Note1_机器学习 转载自: https://yq.aliyun.com/ziliao/292780   机器学习方法,如SVM,神经网络等,虽然在如图像分类等问题上已经outperform人类对同类问题的处理能力,但是也有其固有的缺陷,即我们的训练集喂的都是natural input,因此在正常情况下处理的比较好。然而如果我们想要对ML模型进行攻击的话,可以通过一定的手段生成对抗样本(adversarial examples),以图像为例,对抗样本在每个像素点只有微小的扰动(pertubations),因此对于人类的眼睛是无法分辨的,即生成前后我们人类还会将其归为同一类别。然而ML模型在面对这些对抗样本时会出现不鲁棒的特点,对它们会产生错分。对抗样本生成的基本思路是:在训练模型的过程中,我们把输入固定去调整参数,使得最后的结果能对应到相应的输入;而生成对抗样本时,我们将模型固定,通过调整输入,观察在哪个特征方向上只需要微小的扰动即可使得我们的模型给出我们想要的错分的分类结果。研究对抗样本机器学习的目的就是,希望我们的模型对于对抗样本更加robust。 上图可以说明对抗样本是如何工作的。Model decision boundary 是我们训练的模型的分类边界,这个边界可以较好的将两类样本分开,但是如果我们对标出来的两个Test point 做一个微小的扰动