监督学习

作者：Peter 红色石头的个人网站： 红色石头的个人博客-机器学习、深度学习之路 ​ www.redstonewill.com 系列文章： 吴恩达《Machine Learning》精炼笔记 1：监督学习与非监督学习 吴恩达《Machine Learning》精炼笔记 2：梯度下降与正规方程 吴恩达《Machine Learning》精炼笔记 3：回归问题和正则化 吴恩达《Machine Learning》精炼笔记 4：神经网络基础 吴恩达《Machine Learning》精炼笔记 5：神经网络 吴恩达《Machine Learning》精炼笔记 6：关于机器学习的建议 吴恩达《Machine Learning》精炼笔记 7：支持向量机 SVM 本周的主要知识点是无监督学习中的两个重点：聚类和降维。本文中首先介绍的是聚类中的K均值算法，包含： 算法思想 图解K-Means sklearn实现 Python实现 无监督学习unsupervised learning 无监督学习简介 聚类和降维是无监督学习方法，在无监督学习中数据是没有标签的。 比如下面的数据中，横纵轴都是xx，没有标签（输出yy）。在非监督学习中，我们需要将一系列无标签的训练数据，输入到一个算法中，快速这个数据的中找到其内在数据结构。 无监督学习应用 市场分割 社交网络分析 组织计算机集群 了解星系的形成 聚类

Noise Estimation Using Density Estimation for Self-Supervised Multimodal Learning 这篇文件讲的是， 按照现有多模态的任务， 往往会 出现噪音的问题 ， 噪声 使得模型一直得不到最好结果， 而这篇文章提出一个去噪方法，自监督的去训练一个去噪模块来消除噪声， 实验结果显示， 用此方法， 能够直接提高 VQA， Text-To-Video Retrieval 等任务的表现 本文贡献 证明多模态噪声的消除任务 可以归结为 多模态密度估计任务 提出一个模块用于学习一个抗噪声能力强的表示 并且变成一个 max margin ranking loss function. 通过HowTo100M dataset 进行自监督训练如何去噪 ， 然后用于5个任务， 结果可以发现进行提升 本文相关工作 Density Estimation： 密度估计 假设我们有一组来自未知密度函数的观察到的数据点，我们的目标是从观测到的数据估计他们的 概率密度函数 参数或半参数方法 非参数方法 密度估计理论（部分）_sinat_31184961的博客-CSDN博客_密度估计 自监督学习 一文读懂自监督学习_zandaoguang的博客-CSDN博客_自监督学习 多模态表示学习 joint representation 联合表示

论文名称：CornerNet: Detecting Objects as Paired Keypoints 论文链接： https://arxiv.org/abs/1808.01244 代码链接： https://github.com/princeton-vl/CornerNet 简介 这篇文章是ECCV2018的一篇目标检测论文，该论文的创新之处在于使用Keypoints代替原来的anchor思想进行目标检测，提出检测目标左上点和右下点来确定一个边界框，提出一个新的池化方法：corner pooling，在mscoco数据集上达到42.2%的ap，精度上是当时的单阶段目标检测器的state of the art，但是速度略慢，大约1fps（论文为Titan X 244ms/f），无法满足工程需求。 相对于基于anchor检测器创新意义有： anchor数量巨大，造成训练正负样本不均衡（anchor机制解决方式为难例挖掘，比如ohem，focal loss） anchor超参巨多，数量，大小，宽高比等等（比如yolo多尺度聚类anchor，ssd的多尺度aspect ratio） 算法整体架构 如上图fig1，经过特征提取主干网络（主干网络为Hourglass-104）后分为两个分支（两个分支分别接前面提到的corner pooling，随后细谈），一个分支生成目标左上点热力图

介绍 监督学习和无监督学习有什么区别？ 对于机器学习的初学者和新手来说，这是一个常见的问题。答案 是理解机器学习算法本质的核心。如果没有明白监督学习与无监督学习之间的区别，你的机器学习之旅就无法继续进行 。 实际上，这是你踏上机器学习之旅之初应该学习的东西。如果我们不了解线性回归，逻辑回归，聚类，神经网络等算法的适用范围，就不能简单地跳到模型构建阶段。 如果我们不知道机器学习算法的目标是什么，我们将无法建立一个准确的模型。这就是监督学习与无监督学习的由来。 在这篇文章中，我将用例子讨论这两个概念，并回答一个大问题——如何决定何时使用监督学习或非监督学习? 什么是监督学习？ 在监督学习中，计算机是通过数据来训练的。它从过去的数据中学习，并将学习到的东西应用到现在的数据中，以预测未来的事件。在这种情况下，输入数据和期望的输出数据都为预测未来事件提供帮助。 为了准确预测，输入数据被标记了正确的类别。 监督机器学习分类 重要的是要先记住，所有有监督学习算法本质上都是复杂的算法，分为分类或回归模型。 1） 分类模型： 分类模型用于输出变量可以分类的问题，例如“是”或“否”、“通过”或“失败”。分类模型用于预测数据的类别。现实生活中的例子包括垃圾邮件检测、情绪分析、考试记分卡预测等。 2） 回归模型 ：回归模型用于输出变量为实际值的问题，例如唯一的数字、美元、工资、体重或压力

作者丨阿尔法杨XDU@知乎 来源丨https://zhuanlan.zhihu.com/p/266513299 导读 异常检测是一个发现“少数派”的过程，本文将目前深度学习的异常检测的热门研究方向进行了分类，并列举了对应的文章，并推荐了值得一读的8篇新颖论文，帮助大家理解学习异常检测这一领域。 一、简介 异常检测一直是机器学习中一个非常重要的子分支，在各种人工智能落地应用例如计算机视觉、数据挖掘、NLP中，异常检测算法都是很热门的研究方向，特别是大数据时代，人工处理数据的速度已经远远赶不上机器了，所以更快地检测数据中的异常情况成为了我们当下非常重要的任务。在深度学习广泛的推广之前，传统的异常检测算法有很多，例如高斯拟合，半监督学习等等，而在深度学习大火之后，人们也开始研究将深度学习应用于各种异常任务中(也就是Deep Anomaly Detection，以下统称DAD)，并取得了很大的成功，本文将把当下该方向热门的研究方向分类并列举了对应的文章，希望能帮助大家更好地理解此方向的研究。 二、异常检测的概念 异常检测，从定义而言就是一种识别不正常情况与挖掘非逻辑数据的技术，也叫outliers。例如在计算机视觉的应用中，有人在抖音发表一个视屏，在边骑车边打电话，那这就是个不符合规范的视屏，我们能否采用一些方式来将其检测出来，再例如在数据挖掘领域中，那异常检测的应用就更广泛了

本篇文章主要介绍邱锡鹏老师在2020年发表的一篇预训练模型的综述： 「Pre-trained Models for Natural Language Processing: A survey」 [1] 。 该综述系统地介绍了nlp中的预训练模型。主要的贡献包括： 1.深入盘点了目前主流的预训练模型 ，如word2vec，ELMo，BERT等。 2. 提出了一种预训练模型的分类体系 ，通过四种分类维度来划分目前已有的预训练模型。包括： 表征的类型，即：是否上下文感知 编码器结构，如：LSTM、CNN、Transformer 预训练任务类型，如：语言模型LM，带掩码的语言模型MLM，排列语言模型PLM，对比学习等 针对特定场景的拓展和延伸。如：知识增强预训练，多语言预训练，多模态预训练和模型压缩等 3. 如何将PTMs学到的知识迁移到下游的任务中。 4. 收集了目前关于PTMs的学习资料。 5. 指明PTMs未来的研究方向 ，如：局限、挑战、建议。 由于篇幅原因，本文主要针对前面两点进行梳理，即 「目前主流的预训练模型」 和 「预训练模型的分类体系」 。 我们建立了 自然语言处理、机器学习等 讨论组，欢迎大家加入讨论。人数达到上限，添加下方好友手动邀请，注意一定要 备注 ，不然无法通过。 1. 背景 「nlp、cv领域的传统方法极度依赖于手动特征工程」 。例如nlp中的log

　　只要模型是一层一层的，并使用AD/BP算法，就能称作 BP神经网络。RBF 神经网络是其中一个特例。本文主要包括以下内容： 什么是径向基函数 RBF神经网络 RBF神经网络的学习问题 RBF神经网络与BP神经网络的区别 RBF神经网络与SVM的区别 为什么高斯核函数就是映射到高维区间 前馈网络、递归网络和反馈网络 完全内插法 一、什么是径向基函数 　　1985年，Powell提出了多变量插值的径向基函数（RBF）方法。径向基函数是一个取值仅仅依赖于离原点距离的实值函数，也就是Φ（x）=Φ(‖x‖),或者还可以是到任意一点c的距离，c点称为中心点，也就是Φ（x，c）=Φ(‖x-c‖)。任意一个满足Φ（x）=Φ(‖x‖)特性的函数Φ都叫做径向基函数，标准的一般使用欧氏距离（也叫做欧式径向基函数），尽管其他距离函数也是可以的。最常用的径向基函数是高斯核函数 ,形式为 k(||x-xc||)=exp{- ||x-xc||^2/(2*σ)^2) } 其中x_c为核函数中心,σ为函数的宽度参数 , 控制了函数的径向作用范围。 二、RBF神经网络 　　RBF神将网络是一种三层神经网络，其包括输入层、隐层、输出层。从输入空间到隐层空间的变换是非线性的，而从隐层空间到输出层空间变换是线性的。流图如下： 　　RBF网络的基本思想是：用RBF作为隐单元的“基”构成隐含层空间

这里给大家带来一篇武大刘威威老师、南理工沈肖波老师和 UTS Ivor W. Tsang 老师合作的 2020 年多标签最新的 Survey，我也有幸参与其中，负责了一部分工作。 论文链接： https://arxiv.org/abs/2011.11197 上半年在知乎上看到有朋友咨询多标签学习是否有新的 Survey，我搜索了一下，发现现有的多标签 Survey 基本在 2014 年之前，主要有以下几篇： 1. Tsoumakas 的《Multi-label classification: An overview》(2007) 2. 周志华老师的《A review on multi-label learning algorithms》(2013) 3. 一篇比较小众的，Gibaja 《Multi‐label learning: a review of the state of the art and ongoing research》2014 时过境迁，从 2012 年起，AI 领域已经发生了翻天覆地的变化，Deep Learning 已经占据绝对的主导地位，我们面对的问题越来越复杂，CV 和 NLP 朝着各自的方向前行。模型越来越强，我们面对的任务的也越来越复杂，其中，我们越来越多地需要考虑高度结构化的输出空间。多标签学习，作为一个传统的机器学习任务，近年来也拥抱变化

从小学到高中，每天上学时又是为了什么？ 有人说，是为了考上理想的大学，那考上理想的大学又是为了什么？有人说，为了找份好的工作。 可思考的顺序却应该是反过来的：找到好工作的前提是可以胜任这分工作，而可以胜任这份工作的前提是可以解决工作中所遇到的问题。 在遇到问题时，应用自己掌握问题的方法，获得一个预测，但预测的结论不一定正确，我们希望可以利用已经掌握的方法得到与正确答案一致的预测。但是方法并不能凭空产生，需要从以往的经验种学习，找到问题和答案之间的正确关系。 ####高考学习 应用是用问题和方法来预测答案，而学习是用问题和答案来获得方法。获得方法才是学习得目的，才是从小到大你我每天上学的目的。比如我们从大量历年的高考问题和其对应答案中学习某个问题的解题方法，高考的目的是希望学到一个能解决高考种任意该类问题的方法，可在高考之前，我们并不知道已学到方法是否有效。所以需要模拟考来测试，用已经学到的方法预测模拟问题的答案。通过和模拟答案的对比得出考试分数，从而衡量学习得有效性。而决定一切的并非是否可以解决学习时所用的就问题，也并非是否可以解决模拟题，而是能否解决最后的高考题。然而高考也只是验证自己所学方法有效性的一次模拟。不同之处在于，该次模拟的结构是给他人参考而用的，各个大学和企业会用改次模拟的结构来判断你说学方法的有效性，来判断你将来解决问题的能力，更多的也是判断你的学习能力。 ###

题目：知识图谱技术综述 作者：徐增林，盛泳潘，贺丽荣，王雅芳 摘 要 知识图谱技术 是人工智能技术的重要组成部分，其建立的具有 语义处理 能力与 开放互联 能力的 知识库 ，可在 智能搜索、智能问答、个性化推荐 等智能信息服务中产生应用价值。 该文在全面阐述知识图谱定义、架构的基础上，综述知识图谱中的 知识抽取、知识表示、知识融合、知识推理 四大核心技术 的研究进展以及一些典型应用。该文还将评论当前研究存在的挑战。 关 键 词： 知识融合; 知识图谱技术; 知识表示; 开放互联; 语义处理 目录 0 导 读 1 知识图谱的定义与架构 1.1 知识图谱的定义 1.2 知识图谱的架构 2 大规模知识库 2.1 开放链接知识库 2.2 垂直行业知识库 3 知识图谱的关键技术 3.1 知识抽取 3.2 知识 表示 3.3 知识融合 3.4 知识推理 4 知识图谱的典型应用 4.1 智能搜索 4.2 深度问答 4.3 社交网络 4.4 垂直行业应用 5 知识图谱的挑战 5.1 知识获取 5.2 知识表示 5.3 知识融合 5.4 知识应用 6 结束语 7 参考文献 0.导读 人类先后经历了以文档互联为主要特征的“ Web 1.0 ”时代与数据互联为特征的“ Web 2.0 ”时代，正在迈向基于知识互联的崭新“ Web 3.0 ”时代 [1] 。 知识图谱 (knowledge graph)