监督学习

ICASSP 2021将于2021年6月6日-11日在加拿大多伦多拉开序幕，凭借在语音技术领域的扎实积累和前沿创新，京东科技集团的_3篇_论文已经被 ICASSP 2021接收。 ICASSP全称International Conference on Acoustics, Speech and Signal Processing（国际声学、语音与信号处理会议），是由IEEE主办的全世界最大的，也是最全面的信号处理及其应用方面的顶级学术会议。京东科技集团此次的入选论文，在国际舞台全方位展示了 自身在语音增强、语音合成、多轮对话方面的实力。 01.Neural Kalman Filtering for Speech Enhancement 基于神经卡尔曼滤波的语音增强算法研究 * 论文链接： https://arxiv.org/abs/2007.13962 由于复杂环境噪声的存在，语音增强在人机语音交互系统中扮演重要的角色。基于统计机器学习的语音增强算法通常采用机器学习领域现有的常用模块（如全连接网络、递归神经网络、卷积神经网络等）构建增强系统。然而，如何将传统语音信号处理中基于专家知识的最优化滤波器设计理论，有效地应用到基于机器学习的语音增强系统中仍是一个仍未解决的问题。 京东科技集团入选论文《Neural Kalman Filtering for Speech

机器学习九大算法---支持向量机 出处：结构之法算法之道 blog 。 前言 动笔写这个支持向量机( support vector machine)是费了不少劲和困难的，原因很简单，一者这个东西本身就并不好懂，要深入学习和研究下去需花费不少时间和精力，二者这个东西也不好讲清楚，尽管网上已经有朋友写得不错了( 见文末参考链接)，但在描述数学公式的时候还是显得不够。得益于同学白石的数学证明，我还是想尝试写一下，希望本文在兼顾通俗易懂的基础上，真真正正能足以成为一篇完整概括和介绍支持向量机的导论性的文章。 本文在写的过程中， 参考了不少资料，包括《支持向量机导论》、《统计学习方法》及网友 pluskid的支持向量机系列等等， 于此，还是一篇 学习笔记，只是加入了自己的理解和总结，有任何不妥之处，还望海涵。全文宏观上整体认识支持向量机的概念和用处，微观上深究部分定理的来龙去脉，证明及原理细节，力保逻辑清晰 & 通俗易懂。 同时，阅读本文时建议大家尽量使用 chrome等浏览器，如此公式才能更好的显示，再者，阅读时 可拿张纸和笔出来，把本文所有定理.公式都亲自推导一遍或者直接打印下来（可直接打印网页版或本文文末附的PDF ，享受随时随地思考、演算的极致快感），在文稿上演算。 Ok，还是那句原话，有任何问题，欢迎任何人随时不吝指正 & 赐教，感谢。 第一层、了解SVM 1.0

//2019.08.01 机器学习基础入门1-2 1、 半监督学习的数据特征在于其数据集一部分带有一定的"标记"和或者"答案"，而另一部分数据没有特定的标记 ，而更常见的半监督学习数据集产生的原因是各种原因引起的数据缺失。 2、半监督学习的数据集处理方式大多采用： 先用无监督学习算法对数据进行相关的处理，再利用监督学习算法对其进行模型的训练和预测。 3、增强学习： 它是指根据周围的环境进行相应的行动，然后根据采取行动的结果，学习行动的方式 ，其算法得到整体闭环原理图如下图所示： 图1 4、机器学习算法的其他分类方式： (1)在线学习(online learning)和批量学习(离线学习)(batch learning) (2)参数学习(parametric learning)与非参数学习(nonparametric learning) 5、批量学习算法的整体流程如下图所示： 图2 它的优点在于比较简单，它适应环境变化的方式是：进行定时重新批量学习，不过这种方式也有比较大的缺点就是：每次重新批量学习，其运算量巨大；另外在某些环境变化非常迅速的情况下，其实现是基本不可能的。 6、在线学习：它是指在批量学习的基础上将新的产生的数据集输入到机器学习算法的学习资料中进行实时的训练和迭代优化，从而及时地适应环境的变化，其具体原理图如下： 图3 它的优点在于能够及时地反映新的环境的变化

我们都知道机器学习是一门综合性极强的研究课题，对数学知识要求很高。因此，对于非学术研究专业的程序员，如果希望能入门机器学习，最好的方向还是从实践触发。 我了解到 Python 的生态对入门机器学习很有帮助。因此希望以此作为突破口入门机器学习。 我将会记录一个系列的学习与实践记录。记录内容主要参考 Youtube 中 sentdex 发布的视频，有兴趣的读者可以自己翻墙到油管看一下。 下面介绍一下我将如何通过 Python 入门机器学习。 学习Python基本语法 首先我在 Python 官网找到入门教程，快速过了一遍 Python 的基本语法。相信对于稍微有点编程基础的人来说这都不是事儿。 作为实践，接着我用 Python 实现了一个基于命令行翻译脚本。到此 Python 算入门了。 这里啰嗦一下 Mac 下的 Python 环境的搭建过程。我在 这篇文章 中介绍如何处理系统自带和自己安装的 Python 版本。 Python机器学习相关库 Python 有好多涉及机器学习的库，如 Theano 、 TensorFlow 、 PyTorch 、 scikit-learn 等。考虑到 scikit-learn （以后将简写为 sklearn ）对机器学习进行了高度封装与抽象，能够让初学者跳出数学的梦魇进行机器学习实践，我选择它作为入门的跳板。 除此之外还需要学习下面几个 Python

不同的机器学习算法是如何从数据中学习并预测未见数据的呢? 机器学习算法是这样设计的，它们从经验中学习，当它们获取越来越多的数据时，性能就会提高。每种算法都有自己学习和预测数据的方法。在本文中，我们将介绍一些机器学习算法的功能，以及在这些算法中实现的有助于学习过程的一些数学方程。 机器学习算法的类型 机器学习算法大致可以分为以下四类: 监督学习:预测的目标或输出变量是已知的。这些算法生成一个函数，该函数将输入映射到输出变量。回归和分类算法属于这一类。在回归中，输出变量是连续的，而在分类中，输出变量包含两个或更多的离散值。一些监督学习算法包括线性回归，逻辑回归，随机森林，支持向量机，决策树，朴素贝叶斯，神经网络。 无监督学习:目标或输出变量是未知的。这些算法通常对数据进行分析并生成数据簇。关联、聚类和维数约简算法属于这一类。K-means聚类、PCA(主成分分析)、Apriori算法等是非监督学习算法。 半监督学习:它是监督和非监督学习方法的结合。它使用已知数据来训练自己，然后标记未知数据。 强化学习:机器或代理被训练从“试错”过程中学习。机器从过去的决策经验中学习，并利用它的学习来预测未来决策的结果。强化学习算法的例子有Q-Learning, Temporal Difference等。 线性回归 线性回归是通过拟合数据点上的最佳直线来预测连续变量的结果

http://openaccess.thecvf.com/content_cvpr_2017/papers/Jie_Deep_Self-Taught_Learning_CVPR_2017_paper.pdf Deep Self-Taught Learning for Weakly Supervised Object Localization. Zequn Jie, Yunchao Wei, Xiaojie Jin, Jiashi Feng, Wei Liu 亮点 监督学习中用难例挖掘，弱监督中靠可靠样本的挖掘，本文筛选可靠样本的方法比较具有通用性 在线样本收集，通过relative improvement指标，不断提升弱监督驯练样本的质量 本文是少数未采用预计算好的proposal，而采取自适应proposal的文章，可以根据网络训练情况来改变proposal 主要思想 问题 ：大多数现有的弱监督定位（WSL）方法通过对图像级别的监督学习识别到的特征区块来进行探测器的学习。然而，这些特征不包含空间位置的相关信息，同时对探测器的学习来说，其所提供的样本数据质量都比较差。 解决方案 ：检测器学习获取可靠的样本对象特征并以此为基础重新训练自己。相应的，随着探测器本身检测能力的提高和提供的位置信息质量的提高，于是便能进一步的提高较好质量的数据。 文中提出了一个种子样本采集（Seed

　kNN是一种常见的监督学习方法。工作机制简单：给定测试样本，基于某种距离度量找出训练集中与其最靠近的k各训练样本，然后基于这k个“邻居”的信息来进行预测，通常，在分类任务中可使用“投票法”，即选择这k个样本中出现最多的类别标记作为预测结果；在回归任务中可以使用“平均法”，即将这k个样本的实值输出标记的平均值作为预测结果；还可以基于距离远近进行加权平均或加权投票，距离越近的样本权重越大。[1] 　　 　　kNN的伪代码如下：[2] 　　　　 　　　　对未知类别属性的数据集中的每个点依次执行以下操作： 　　　　 　　　　（1）计算已知类别数据集中的点与当前点之间的距离； 　　　　 　　　　（2）按照距离递增次序排序； 　　　　 　　　　（3）选取与当前点距离最小的k个点； 　　　　 　　　　（4）确定前k个点所在类别的出现频率； 　　　　　 　　　　（5）返回前k个点出现频率最高的类别作为当前点的预测分类。 　　 　　以下通过图来进一步解释： 　　假定要对紫色的点进行分类，现有红绿蓝三个类别。此处以k为7举例，即找出到紫色距离最近的7个点。 分别找出到紫色距离最近的7个点后，我们将这七个点分别称为1、2、3、4、5、6、7号小球。其中红色的有1、3两个小球，绿色有2、4、5、6四个小球，蓝色有7这一个小球。 显然，绿色小球的个数最多，则紫色小球应当归为绿色小球一类。 　

李宏毅老师的机器学习课程和吴恩达老师的机器学习课程都是都是ML和DL非常好的入门资料，在YouTube、网易云课堂、B站都能观看到相应的课程视频，接下来这一系列的博客我都将记录老师上课的笔记以及自己对这些知识内容的理解与补充。(本笔记配合李宏毅老师的视频一起使用效果更佳！） Lecture 8：Why deep？ 1.Shallow network VS Deep network 在比较浅层网络与深层网络时，要让“矮胖”的网络和“高瘦”的网络的参数数目相等，这样比较才公平,如下图所示 比较结果如下图所示： 从上图可以看出：即便是在深层网络参数较少的情况下，深层网络也会比浅层网络表现好。 这是因为 “深层”其实相当于“模组化” ，第一个隐层是最基本的分类器，第二个隐层是用第一个隐层建造的分类器，以此类推。 2.模组化(Modularization) （1）举个图像识别的例子，识别长发男生、长发女生、短发男生和短发女生，如下，由于长发男生样本少，所以模型训练出来的效果对测试集上的长发男生效果会比较差（样本不平衡） 因此接下来让我们使用模组化的思想解决这一问题，我们先考虑识别基础类别（男女、长发短发），即我们先input一张图片，识别这是长发还是短发，这是男还是女，此时样本比例是相当的，由此训练的效果不会变差，且由两个基础类别的组合可以得到最终的四个类别。

在求解机器学习算法的模型参数，即无约束优化问题时，梯度下降（Gradient Descent）是最常采用的方法之一，另一种常用的方法是最小二乘法。这里就对梯度下降法做一个完整的总结。 1. 梯度 　　　　在微积分里面，对多元函数的参数求∂偏导数，把求得的各个参数的偏导数以向量的形式写出来，就是梯度。比如函数f(x,y), 分别对x,y求偏导数，求得的梯度向量就是(∂f/∂x, ∂f/∂y) T ,简称grad f(x,y)或者▽f(x,y)。对于在点(x 0 ,y 0 )的具体梯度向量就是(∂f/∂x 0 , ∂f/∂y 0 ) T .或者▽f(x 0 ,y 0 )，如果是3个参数的向量梯度，就是(∂f/∂x, ∂f/∂y，∂f/∂z) T ,以此类推。 　　　　那么这个梯度向量求出来有什么意义呢？他的意义从几何意义上讲，就是函数变化增加最快的地方。具体来说，对于函数f(x,y),在点(x 0 ,y 0 )，沿着梯度向量的方向就是(∂f/∂x 0 , ∂f/∂y 0 ) T 的方向是f(x,y)增加最快的地方。或者说，沿着梯度向量的方向，更加容易找到函数的最大值。反过来说，沿着梯度向量相反的方向，也就是 -(∂f/∂x 0 , ∂f/∂y 0 ) T 的方向，梯度减少最快，也就是更加容易找到函数的最小值。 　　　　 2. 梯度下降与梯度上升 　　　　在机器学习算法中

原创：Elesdspline 转载自：AI自然语言处理与知识图谱 原文链接： 综述：关系抽取，挑战与机遇并存！ ​ mp.weixin.qq.com 关系抽取是信息抽取的基本任务之一，目的是识别文本中实体的目标关系，关系抽取对于知识库的构建以及文本的理解十分重要，特别有利于自然语言处理的一些任务，如问答，文本理解等，而且，关系抽取作为知识图谱构建的核心关键，是必不可少的步骤。 大家熟知的传统关系抽取(二元关于抽取，两个实体之间的关系)已经得到了广泛的研究，并且有很多的研究方法已经落地实践，近些年来，对于复杂场景的变化，传统的简单关系抽取已经无法满足实际场景中的复杂应用，慢慢衍生出需要复杂场景的关系抽取任务。 本文是一篇综述文章，总结了目前简单关系抽取的研究进展以及实践方法，对目前已出现的复杂关系抽取任务进行了总结，并介绍了每个任务的定义、最新进展、挑战和机遇。 一、简单关系抽取 简单的关系抽取目的是从文本中识别两个实体之间的关系，例如下图，根据文本，识别出北京和中国的关系为 the capital of，一般这样的关系抽取称之为二元关系抽取( Binary Relation Extraction，BiRE)。 简单关系抽取 目前的方法一般分为 基于监督学习的 BiRE(Supervised BiRE) 、 基于半监督学习的 BiRE(Semi-supervised BiRE) 以及