神经网络

防止过拟合 当神经网络得到的是一个过拟合模型时，这个模型基本是没什么应用价值的，因为它的泛化性能非常不好( 泛化即是，机器学习模型学习到的概念在它处于学习的过程中时模型没有遇见过的样本时候的表现，简单理解为预测能力 )，对一些”异常”数据过分的估计，而忽视了问题的整体规律。 为避免过拟合，常采用的方式是添加正则化项，正则化 通过限制权重大小，使得模型不能任意拟合训练数据中的随机噪声 。一般有两种正则化方式： L1正则化 R ( w ) = ∥ w ∥ 1 = ∑ i | w i | L2正则化 R ( w ) = ∥ w ∥ 2 2 = ∑ i | w i | 2 两种方式的区别参考 L1、L2范数的比较 当然，正则化也可以是多种方式的组合，如 R ( w ) = ∑ i α | w i | + ( 1 − α ) w 2 i 所以，损失函数转换成 J ( θ ) + λ R ( w ) ，在tensorflow中实现正则项 weights = tf.constant([[ 1 , 2 ],[ 3 , 4 ]]) lambda = 0.2 # L1范数，regu=(|1|+|2|+|3|+|4|)*0.2 regu1 = tf.contrib.layers.l1_regularizer( lambda )(weights) # L2范数(TF会将L2的结果除2，使得求导的结果更简洁

本文转载自： http://www.huaxiaozhuan.com/ 这是一份机器学习算法和技能的学习手册，可以作为学习工作的参考，都看一遍应该能收获满满吧。 作者华校专，曾任阿里巴巴资深算法工程师，现任智易科技首席算法研究员，《Python 大战机器学习》的作者。 这是作者多年以来学习总结的笔记，经整理之后开源于世。目前还有约一半的内容在陆续整理中，已经整理好的内容放置在此。 曾有出版社约稿，但是考虑到出版时间周期较长，而且书本购买成本高不利于技术广泛传播，因此作者采取开源的形式。 笔记内容仅供个人学习使用，非本人同意不得应用于商业领域。 笔记内容较多，可能有些总结的不到位的地方，欢迎大家探讨。联系方式:huaxz1986@163.com 另有个人在 github 上的一些内容： "《算法导论》的C++实现"代码：https://github.com/huaxz1986/cplusplus-_Implementation_Of_Introduction_to_Algorithms 《Unix 环境高级编程第三版》笔记：https://github.com/huaxz1986/APUE_notes 数学基础 1.线性代数基础 一、基本知识 二、向量操作 三、矩阵运算 四、特殊函数 2.概率论基础 一、概率与分布 二、期望和方差 三、大数定律及中心极限定理 五、常见概率分布 六

NewBeeNLP公众号原创出品 公众号专栏作者 @lucy 北航博士在读 · 文本挖掘/事件抽取方向 前情提要 ： 超全必读！事件抽取综述（上） 本系列文章主要分享近年来 事件抽取方法总结 ，包括中文事件抽取、开放域事件抽取、事件数据生成、跨语言事件抽取、小样本事件抽取、零样本事件抽取等。主要包括以下几大部分： 定义（Define） 综述（Survey） 模型（Models） 数据集（Datasets） 挑战与展望（Future Research Challenges） Github地址： https://github.com/xiaoqian19940510/Event-Extraction 全文数万字，分几篇整理，后续会同之前的 文本分类综述 一样整理成PDF分享给大家，欢迎持续关注！综述内涉及的所有事件抽取必读论文清单，我们已经提前为大家整理打包好啦，订阅号后台回复 『事件抽取』 即可获取喔~ 另外，最近建立了 『知识图谱』 方向讨论组，快来和大佬们一起精准交流吧，文末自取 事件抽取 2020 1、 Reading the Manual: Event Extraction as Definition Comprehension, EMNLP 2020 [1] 动机 提出一种新颖的事件抽取方法，为模型提供带有漂白语句（实体用通用的方式指代）的模型。漂白语句是指基于注释准则

最近两年，在 互联网行业各大技术峰会 上，都能看到关于 工程效能 这个概念，从侧面也反映出了 研发效能 已经逐渐被各企业所重视！ 在以前，软件行业还处于野蛮发展时期时，互联网企业比拼的是家底，谁的家底雄厚，谁肯愿意烧钱，谁就能存活下来。而现在比拼的是什么？是研发能力，具体来讲就是从需求转化成软件或者服务的能力，这其中 研发效能的高低对于需求转化速率 起到了至关重要的作用。 在研发工作实践过程中，围绕提升研发效能，能尝试做的事，有很多很多。当然，我们今天分享的重点，并不是讨论关于什么是研发效能，而是，针对在实际实践如何提升研发效能过程中，分享两个非常有意思的工具。 1. 自动生成前端原型：Sketch2Code 我们知道，在做前端开发时，是先由产品人员确定好需求，再借助产品原型工具来实现产品GUI界面的设计，前端拿到原型再去开展具体的前端编码工作。 但是会发现即便市面上，已经有了类似 Axure 和 Modao 等原型工具，但是 画界面 的成本依然很高。这里介绍一种可以将图片GUI设计稿，甚至是 手画GUI设计稿转化成目标平台代码的一键自动化生成方案 。 直接上图： 在上面的例子中，先手绘GUI界面设计，然后通过 Sketch2Code 可以直接转换成目标平台的代码，如果你指定的目标平台是 Web ，那就直接生成 html ，如果你指定的目标平台是 iOS ，那就会生成 XCode

本文作者：y****n 百度云智学院首次对外发布了AI全栈学习路线图，由百度一众技术导师以及行业领域专家联合整理贡献，结合视频课程、实验项目等大量优质的学习资源，配套测评考试与能力认证，覆盖AI初学者从入门到行业专家的学习全周期。 AI全栈学习路线从数学基础、编程语言、算法原理再到框架精讲，基本涵盖了机器学习、深度学习的主要知识点：线性回归、逻辑回归、神经网络、K-Means等，还同步提供在线实训环境与足量的GPU、CPU计算资源，帮助学习者一键进入AI场景进行算法实践。在进阶学习阶段，百度云智学院从百度企业级开发案例中萃取出数个经典实战项目，涉及农业、医疗、卫生、汽车、等多个行业应用领域，真正提供人工智能体系化课程一站式在线学习服务。 学习者在课程学习与实践之后，可在线考取百度云智学院所颁发的能力认证证书，标识自己在AI学习领域的专业知识和技术水平，还可以通过百度云智学院才智中心，给自己所获认证相匹配的岗位投递简历，获得更多更好的就业机会。 此外，百度云智学院还同步发布了AI产品与应用学习路线与云计算学习路线，理论精讲与产品实践相结合，帮助学习者快速熟悉业内领先的百度AI、云计算技术在实践场景中的应用，系统了解相关产品架构设计与技术服务优势，深入掌握百度技术如何满足个人开发者和企业级用户的业务需求。 学习地址： 人工智能全栈学习路线 云计算学习路线 AI产品与应用学习路线

点击蓝色“程序员书单”关注我哟 加个“星标”，每天带你读好书！ ​ 在介绍本书单之前，我想先问一下各位读者，你们之前对于Java并发编程的了解有多少呢。经过了10多年的发展，Java Web从开发框架到社区都已经非常成熟，很多程序员都可以通过使用框架很快速地搭建起一个Java Web应用，特别是近几年SpringBoot大热，干脆连配置都不需要了解了，直接一键式编译部署运行，让Java工程师的入门成本变得越来越低。 但于此同时，互联网公司对于Java的应用场景也在不断地升级换代，从单机部署再到分布式，从SOA再到微服务，Java后端技术栈变得更加庞大，对于工程师的要求也越来越高，特别是对于大公司来说更是如此，也正因为如此，对Java工程师的考察已经不限于Java Web的那套东西了，企业往往会提出更高的要求，比如熟悉Java并发编程和JVM调优，了解分布式技术、微服务以及中间件等等。 而今天的这份书单就会来推荐一些关于Java并发编程的好书，对于一个Java工程师来说，我们一开始接触的其实是Java中的多线程，所以这份书单也会由浅入深依次推荐相应的书籍，从多线程基础，再到并发编程实战，最后则会推荐几本关于并发编程原理的书籍，其中也包含了对于JUC并发包的源码解析。 Java并发编程书单 ​ Java多线程编程核心技术 Java多线程是每个Java工程师都必须要掌握的知识点

作者 | 儒枭 来源 | 阿里巴巴中间件（ID：Aliware_2018） 为什么要成长 成长是为了在职场升值，提升职场竞争力！ 衡量标准：你成长的速度要匹配甚至超越业务发展的速度。 当你成长速度超越业务发展速度的时候，组织才会把更重要的职责交给你，如果你成长的速度跟不上业务发展的速度，可能会面临被调整。 成长的维度 阿里的技术人绝大部分是做业务技术的，即业务和技术要同时发展，纯技术发展路线是指中间件、数据库、操作系统、硬件之类的实打实的技术。阿里对业务技术人的要求，既要有技术的深度，又要有业务的高度，此外还需要你有领导力、影响力等软技能，当然心态也是不容忽视的。 我的代表作是 MOZI ，2018 年年初开始做 MOZI ，我选择做 MOZI 的原因是我就要开始站在业务线或者公司层面去思考，MOZI 做了会给业务带来什么改变。 做 MOZI 的时候是站在经济体的的角度在思考问题，另外那个时候经济体的云化产品化才刚刚开始，做出 MOZI 提供一套统一解决方案正逢其时。 技术的深度 我们是做业务技术的，业务技术如何做得更加“技术”，这里我学习了很多大牛的文章，尤其是张建飞大师对我启发非常大。这里我总结下两点： 1. 业务复杂度 ：“基于复杂业务场景的抽象能力”是一种能体现你技术深度的能力，业务的本质是模型，如果我们能基于复杂业务场景抽象出领域模型或者基于复杂业务场景做流程编排

来源：AI科技评论 编译：Mr Bear 本文介绍了Yoshua Bengio及其学生Anirudh Goyal近期发表的一篇论文，该论文围绕“归纳偏置”概念，展开了对当下人工智能研究现状的讨论，并提出了富有启发性的观点：不同的深度学习架构基于不同的归纳偏置，探索更大范畴的归纳偏置，是实现人工智能研究进步的关键。 该论文篇幅长达43页，讨论的主题有： 深度学习是否收敛？ 归纳偏置是什么 基于高级认知的归纳偏置是通向分布外泛化系统的途径 因果依赖的声明性知识 高级认知的生物学启示与表征 近期与扩展归纳偏置相关的工作 未来的研究方向 回顾过去：与经典符号AI的关系 AI科技评论编译了“归纳偏置是什么”以及“未来的研究方向”两部分的内容，希望对读者有所启发。 论文：Inductive Biases for Deep Learning of Higher-Level Cognition 地址：https://arxiv.org/pdf/2011.15091.pdf 我们不妨做出一个有趣的假设：可以通过一些原理（而非广博的启发式方法）来解释人类和动物的智能。 如果这个假设成立，那么我们就可以更容易地理解人类本身的智能并且构建智能机器。正如在物理学中的那样，这些原理并不足以预测像大脑这样的复杂系统的行为，我们可能需要通过大量的计算来模拟类人智能。 上述假设意在指出：研究人类和动物利用的归纳偏置

文/黄康瑄 来源/智能相对论（aixdlun） “醒来灿烂星光透过了窗台，海岸线连接了那片山川大海。涌动梦境边缘像是空旷舞台，在眼前忽然展开。”看到这段文字，你的脑海中是否浮现出靛蓝星空风云变幻、透出曙光豁然开朗的景象呢? 网易“醒来” 这段文从字顺且颇具画面感的歌词并非出自人类之手，而是由网易新开发的人工智能所创作。日前，由 网易伏羲、网易雷火音频部提供作词、作曲、编曲、演唱等全链路AI技术支持的歌曲《醒来》 ，在“2020网易未来大会”上正式发布。这是网易首次完成由AI完全生成的歌曲，从创作到演唱， 整首歌曲从无到有仅需一小时。 其实在此之前，网易一直都在默默进行大数据平台、强化学习、图像动作、自然语言处理等围绕游戏领域的人工智能研究，毕竟游戏才是人家最赚钱的业务。《醒来》的歌词创作就是依托于网易游戏伏羲人工智能实验室较为成熟的语言处理技术。 网易伏羲利用其自主研发的“有灵智能创作平台”，让AI学会人类语言组织的基本逻辑。再借助大规模语料训练实现端到端的歌词生成，并通过自研的方法控制不同参数下的歌词创作。 有灵平台的预训练语言模型可提高歌词质量，确保生成内容的流畅性和上下文相关性。如《醒来》的歌词内容便是为了契合大会主题“洞觉·未见”而编写的一个关于AI虚拟人类在深夜苏醒的故事。 “智能相对论”了解到， 作曲方面，网易伏羲根据乐理的数据分析，形成一套用于生成旋律的算法

摘要 ：基于传统手工特征的骨龄评估方法主要包括预处理、关键区域检测、手骨分割、特征提取、测量五个步骤。 基于传统手工特征的骨龄评估方法主要包括预处理、关键区域检测、手骨分割、特征提取、测量五个步骤，见图1，以下为该类方法的发展历史介绍。 图1 前人基于手工特征的骨龄评估方法的主要技术路线 1989年，Michael和Nelson共同开发了世界上第一套基于模型的半自动化手骨测量系统，并将其命名为HANDX。该系统包含了三个主要模块：预处理、分割和测量。首先构造直方图模型用于增强图像，使用高斯分布函数将图像大致分为三类：背景，软组织和骨骼；然后，采用自适应轮廓逼近算法逐步勾勒出每块骨骼的形状；最后，通过找到每块骨骼的长轴和短轴来计算测量值。HANDX系统需要基于手的位置作为先验知识输入到系统中，并未进行大规模的数据测试。 1991年，Pietka等人提出了一种基于测量指骨长度来估计骨龄的简便方法。通过对二值化后的图像缩小范围，确定大致的指骨及其骨骺感兴趣区（phalangeal ROI，PROI）并对图像进行旋转，获得大致PROI垂直正位X光片，使用Sobel梯度算子进行边缘检测，根据经验选择合适的阈值，从而获得指骨及其骨骺的边缘图。然后根据中指位于图像最顶端的特性，找出中指的近端指骨、中端指骨和远端指骨并测量他们的长度。通过查阅中指的标准指骨长度表，对应给出大致估计的骨龄