学习迁移

一、 Predictive Analysis in Network Function Virtualization NFV的预测分析 问题提出： 1、新部署的NFV服务比精致的硬件更容易出现问题。 2、NFV相当于在原来的设备上添加了更多的层，导致底层设备故障事件更难定位。 如何更好的为NFV进行故障预测和分析？ 问题解决： 针对一种重要的NFV——vPE (virtualized Provider Edge router)，设计了将深度学习模型（LSTM），模型定制和通过迁移学习共享到syslog的组合相结合的系统，从而使我们能够识别潜在故障特征，从而近乎实时地预测故障，最后进行了性能的测试。 主要面临的问题： 1、解决训练样本数据不均衡：使用无监督的异常检测方法来训练带有“正常”日志的长短期记忆（LSTM）网络[14]模型。 异常日志模式会触发对网络故障情况的预测。 2、解决NFV的多样性，不好选特征集的问题：使用聚类来识别具有相似配置和日志行为的VNF，并对其进行汇总（将它们作为合并后的系统日志作为一个单元进行处理） 3、网络基础架构随着时间动态修改：使用类似于迁移学习的增量培训。 这有助于我们在软件更新后快速引导模型，而不会导致收集训练数据的时间延迟。 Q1:这个系统是如何设计的？ 机器学习算法等分析日志，进行预测异常故障。 Q2:性能如何、能否进行复现？暂时没法复现。 二

风格迁移算法 最近推导了1765243235一些机器学习入门的算法，老是搞那些数学知识，搞的自己都没信心和新区了。今天学着玩点有趣好玩的。 图像的艺术风格迁移算法，算是一个简单有趣，而且一般人都能看得到效果的算法。图像艺术风格迁移，简单的理解，就是找一个照片作为内容，然后把这个照片换成梵高或者毕加索等制定的风格。关于 图像艺术风格迁移 的一些历史和知识，大家可以看看这篇文章： 图像风格迁移(Neural Style)简史 。 思路 风格迁移的大概思路是：我们需要准备两张图片。一张是我们将要输出的内容图片，另外一张是我们需要模仿的风格图片。我们需要输出一张图片，让输出的这张图片的内容和内容图片相近，让输出图片的风格和风格图片的风格相近。 内容最接近的算法 内容最接近，相对来说比较简单。简单的理解可以对比每个图片的像素，然后计算他们的差距。也可以是计算CNN中间某个卷积层得到的特征值之间的距离。 我经过调试发现，如果内容图层取得太靠前，效果不太好。因为内容特征越靠前，相当于对比的越细腻，而风格迁移要得到的效果是宏观上更像内容图片，细节上用风格表现，这样效果最好。 风格最接近的算法 风格的比较是最难理解的。要理解风格比较的算法，需要了解一个名词叫做格拉姆矩阵。听常博士说这个知识属于矩阵分析里面的内容。我对这方面没系统学习过，不太懂。但是我能理解到的层次是：你给定N个卷积核

将迁移学习用于文本分类 《 Universal Language Model Fine-tuning for Text Classification》 2018-07-27 20:07:43 ttv56 阅读数 4552 更多 分类专栏： 自然语言处理 版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。 本文链接： https://blog.csdn.net/u014475479/article/details/81253506 本文发表于自然语言处理领域顶级会议 ACL 2018 原文链接 特别说明：笔记掺杂了本人大量的个人理解，以及口语化的语言，由于本人水平有限，极有可能曲解原文的意思，各位看官随意看看，切莫当真~ 摘要 迁移学习在图像领域大放异彩，可是在NLP领域却用途寥寥，这是因为现有的NLP模型都与迁移学习不兼容，每次更新任务都需要重头开始训练模型，否则就会导致模型习得的语言特征灾难性地丢失。本文深知迁移学习才是NLP研究的新方向，故本文提出了一个新型的可以用于所有NLP任务的“超级模型”——ULMFiT ！！！！！！！ 经过严密实验，本文提出的ULMFiT模型吊打一切现有NLP分类模型，牛得一批！！！！！ 模型介绍 假设我们有源任务 T s Ts，我们想把它迁移到任意一个目标任务 T t Tt上去

https://blog.csdn.net/weixin_37993251 http://chenrudan.github.io/blog/2017/10/30/introductiontotransferlearning.html http://chenrudan.github.io/blog/2017/12/15/domainadaptation1.html 来源： https://www.cnblogs.com/jiangkejie/p/11599340.html

先来看下效果： 上图是老王在甘南合作的 米拉日巴佛阁 外面拍下的一张照片，采用风格迁移技术后的效果为： 一些其它效果图： 下面进入正题。 如果你依然在编程的世界里迷茫，可以加入我们的Python学习扣qun：784758214，看看前辈们是如何学习的。从基础的python脚本到web开发、爬虫、django、数据挖掘等，0基础到项目实战的资料都有整理。送给每一位python的小伙伴！每天分享学习方法和趣味实战教程，技术经验！点击加入我们的 python学习者聚集地 近年来，由深度学习所引领的人工智能(AI)技术浪潮，开始越来越广泛地应用到生活各个领域。这其中，人工智能与艺术的交叉碰撞，在相关技术领域和艺术领域引起了高度关注。就在上个月，由电脑生成的艺术品在佳士得(Christie’s)的拍卖价竟高达43.25万美元，证明人工智能不仅可以具有创造性，还可以创作出世界级的艺术品。 早些时候，有些人坚信艺术的创造力是人工智能无法替代的，艺术将是人类最后一片自留地！这不，没过多久，这片唯一的自留地也逐渐被人工智能所取代。 在这各种神奇的背后，最核心的就是基于深度学习的 风格迁移 (style transfer)技术。我将在这篇博客带领大家学习如何使用Python来快速实现图片的风格迁移。阅读完本博客后，相信你也能够创造出漂亮的艺术品。 1. 什么是图片的风格迁移？ 所谓图片风格迁移

我们通常是拿到一个任务，譬如图像分类、识别等，搜集好数据后就开始直接用模型进行训练，但是现实情况中，由于设备的局限性、时间的紧迫性等导致我们无法从头开始训练，迭代一两百万次来收敛模型，所以这个时候迁移学习就派上用场了。 什么是迁移学习？ 　　迁移学习通俗来讲，就是运用已有的知识来学习新的知识，核心是找到已有知识和新知识之间的相似性，用成语来说就是举一反三。由于直接对目标域从头开始学习成本太高，我们故而转向运用已有的相关知识来辅助尽快地学习新知识。比如，已经会下中国象棋，就可以类比着来学习国际象棋；已经会编写Java程序，就可以类比着来学习C#；已经学会英语，就可以类比着来学习法语；等等。世间万事万物皆有共性，如何合理地找寻它们之间的相似性，进而利用这个桥梁来帮助学习新知识，是迁移学习的核心问题。 为什么需要迁移学习？ 满足深度学习训练数据量的数据太少。对于一个机器学习的任务，譬如分类，如果数据量过小，我们是否一定要上深度学习呢？其实不必然。如果在实际的生产过程中，能够用规则就能得到好的效果的就用规则，能够用简单的模型就用简单的模型，我们常听到的“奥卡姆剃刀”其实就是这个意思，减少模型的复杂度，能够从某种程度上避免过拟合的情况。那么对于小量数据集，没有必要一定需要用深度学习的方法来做。同样，如果要对一个新任务分类，或者识别，搜集不了大量的正负样本，怎么训练呢？

先来看下效果： 上图是老王在甘南合作的 米拉日巴佛阁 外面拍下的一张照片，采用风格迁移技术后的效果为： 一些其它效果图： 下面进入正题。 近年来，由深度学习所引领的人工智能(AI)技术浪潮，开始越来越广泛地应用到生活各个领域。这其中，人工智能与艺术的交叉碰撞，在相关技术领域和艺术领域引起了高度关注。就在上个月，由电脑生成的艺术品在佳士得(Christie’s)的拍卖价竟高达43.25万美元，证明人工智能不仅可以具有创造性，还可以创作出世界级的艺术品。 早些时候，有些人坚信艺术的创造力是人工智能无法替代的，艺术将是人类最后一片自留地！这不，没过多久，这片唯一的自留地也逐渐被人工智能所取代。 在这各种神奇的背后，最核心的就是基于深度学习的 风格迁移 (style transfer)技术。我将在这篇博客带领大家学习如何使用Python来快速实现图片的风格迁移。阅读完本博客后，相信你也能够创造出漂亮的艺术品。 1. 什么是图片的风格迁移？ 所谓图片风格迁移，是指利用程序算法学习著名画作的风格，然后再把这种风格应用到另外一张图片上的技术。 举个例子，见上图。左边是我们的 原始图片 (也称内容图像)：小编在苏州甪直古镇的一座小桥上拍下的一张照片。 中间是我们的 风格图片 ：挪威表现派画家爱德华**·**蒙克的代表作《呐喊》(The Scream)。 右边是将爱德华**· 蒙克的《呐喊

转自： http://www.cnblogs.com/Gavin_Liu/archive/2009/12/12/1622281.html 在传统的机器学习的框架下，学习的任务就是在给定充分训练数据的基础上来学习一个分类模型；然后利用这个学习到的模型 来对测试文档进行分类与预测。然而，我们看到机器学习算法在当前的Web挖掘研究中存在着一个关键的问题： 一些新出现的 领域中的大量训练数据非常难得到。 我们看到Web应用领域的发展非常快速。大量新的领域不断涌现，从传统的新闻，到网 页，到图片,再到博客、播客等等。 传统的机器学习需要对每个领域都标定大量训练数据，这将会耗费大量的人力与物力。 而没 有大量的标注数据，会使得很多与学习相关研究与应用无法开展。其次， 传统的机器学习假设训练数据与测试数据服从相同的 数据分布。 然而，在许多情况下，这种同分布假设并不满足。通常可能发生的情况如训练数据过期。这往往需要我们去重新标 注大量的训练数据以满足我们训练的需要，但标注新数据是非常昂贵的，需要大量的人力与物力。从另外一个角度上看，如果 我们有了大量的、在不同分布下的训练数据，完全丢弃这些数据也是非常浪费的。如何合理的利用这些数据就是迁移学习主要 解决的问题。迁移学习可以从现有的数据中迁移知识，用来帮助将来的学习。 迁移学习（Transfer Learning）的目标是将从一

把已经训练好的模型参数迁移到新的模型上来帮助新模型训练，从而加快并优化模型的学习效率。避免了从零开始学习。 （前提是两个模型的大致方向都是一样的，比如说都是做动物的目标检测，这样便于数据集的训练） 在网络架构上前几层都不变，在最后一层稍作修改就可以了。 比方说我现在要开一家自营奶茶店，但是苦于没有任何经验和管理模式，于是我就先照搬「喜茶」的管理模式。虽然后期还是得切合自身实际，需要有一些改动，但是起码有模式总比没有好。 刚开始接触，暂且就把它理解为是一个「模型迁移」的概念。 来源： https://www.cnblogs.com/wang615/p/11363591.html

　　那么，有必要解释下。为何自然科学概念不好理解，而且大多用方程式较表示呢？ 　　书中一直强调，自然科学概念不好理解。可是，我也解释不清楚。 　　书中的观点是，科学家认为围绕着抽象且形成了组块的概念精髓，而脑中没有特定应用范畴，你就能获得轻松将只是迁移到各种应用的技能。 　　这里的迁移是把所学的知识从一个知识背景应用到别处的能力。比如你学了一门外语之后，发现学第二名外语就比学第一门外语要轻松了。 　　回到主题。 　　为何不好理解，是因为这些概念比较抽象。而抽象的概念是，可以迁移的。 　　书中把数学举例子，将数学应用在特定的科目中，这样学生可以很好的理解数学。目前不讨论自然科学概念是难理解的，而是我们要运用什么方法去理解自然科学的概念，刚刚已经说了一个方法了是自己阐释，接下来的一个方法就是强调过的运行比喻。 来源： https://www.cnblogs.com/158-186/p/11337899.html