文本数据挖掘

转载自潇一： 简要的谈谈文本数据挖掘的一般步骤 原文 一、获取文本 一般来说网络文本的获取，主要是网页的形式。我们要把网络中的文本获取形成一个文本数据库(数据集)。利用一个爬虫(这是另外一个知识点),抓取到网络中的信息。爬取的策略有广度和深度爬取；根据用户的需求，爬虫可以有主题爬虫和通用爬虫之分，主题爬取主要是在相关站点爬取或者爬取相关主题的文本，而通用爬虫则一般对此不加限制。爬虫可以自己写，当然现在网络上已经存在很多开源的爬虫系统。当然如果需要定制，自己写还是可以的。 二、对文本进行预处理 通过上面的步骤，我们已经获得了做菜的材料了，可以说，有了它，做出一道菜已经是顺利成当了。但是，菜好不好吃，可不可口，还需要经过很多步骤的。 我们知道，网页中存在很多不必要的信息，比如说一些广告，导航栏，html、js代码，注释等等，我们并不感兴趣的信息,可以delete掉。所以，我们还需要对文本中的信息进行筛选。这个步骤相当于我们做菜的洗菜过程，洗掉泥土等，吃起来才会口感好，否则，没有清洗过的菜，就算再牛逼的大厨，我想也很难做出佳肴吧。 三、分词系统 经过上面的步骤，我们会得到比较干净的素材。我们知道，文本中起到关键作用的是一些词，甚至主要词就能起到决定文本取向。比如说一篇文章讲的是体育还是娱乐，肯定是对文章中的中心词进行分析得到的结果。那么怎么样才能找到那些能够影响中心意思的词语呢？ 别忘了

本文原地址 https://www.cnblogs.com/subconscious/p/4107357.html 拜读原文之后，无比喜欢，怕以后找不到，所以转载，大家喜欢可以去看原文，真的很精彩。 从机器学习谈起 　　在本篇文章中，我将对机器学习做个概要的介绍。本文的目的是能让即便完全不了解机器学习的人也能了解机器学习，并且上手相关的实践。这篇文档也算是EasyPR开发的番外篇，从这里开始，必须对机器学习了解才能进一步介绍EasyPR的内核。当然，本文也面对一般读者，不会对阅读有相关的前提要求。 　　在进入正题前，我想读者心中可能会有一个疑惑：机器学习有什么重要性，以至于要阅读完这篇非常长的文章呢？ 　　我并不直接回答这个问题前。相反，我想请大家看两张图，下图是图一： 图1 机器学习界的执牛耳者与互联网界的大鳄的联姻　　 　　这幅图上上的三人是当今机器学习界的执牛耳者。中间的是Geoffrey Hinton, 加拿大多伦多大学的教授，如今被聘为“Google大脑”的负责人。右边的是Yann LeCun, 纽约大学教授，如今是Facebook人工智能实验室的主任。而左边的大家都很熟悉，Andrew Ng，中文名吴恩达，斯坦福大学副教授，如今也是“百度大脑”的负责人与百度首席科学家。这三位都是目前业界炙手可热的大牛，被互联网界大鳄求贤若渴的聘请，足见他们的重要性。而他们的研究方向

原文链接： https://www.cnblogs.com/lsgsanxiao/p/6955502.html 机器学习入门好文，强烈推荐（转） 转自 飞鸟各投林 史上最强----机器学习经典总结---入门必读----心血总结-----回味无穷 让我们从机器学习谈起 导读：在本篇文章中，将对 机器学习 做个概要的介绍。本文的目的是能让即便完全不了解机器学习的人也能了解机器学习，并且上手相关的实践。当然，本文也面对一般读者，不会对阅读有相关的前提要求。 在进入正题前，我想读者心中可能会有一个疑惑：机器学习有什么重要性，以至于要阅读完这篇非常长的文章呢？ 我并不直接回答这个问题前。相反，我想请大家看两张图，下图是图一： 图1 机器学习界的执牛耳者与互联网界的大鳄的联姻 这幅图上上的三人是当今机器学习界的执牛耳者。中间的是Geoffrey Hinton, 加拿大多伦多大学的教授，如今被聘为“Google大脑”的负责人。右边的是Yann LeCun, 纽约大学教授，如今是Facebook人工 智能 实验室的主任。而左边的大家都很熟悉，Andrew Ng，中文名吴恩达，斯坦福大学副教授，如今也是“百度大脑”的负责人与百度首席科学家。这三位都是目前业界炙手可热的大牛，被互联网界大鳄求贤若渴的聘请，足见他们的重要性。而他们的研究方向，则全部都是机器学习的子类-- 深度学习 。 下图是图二： 图2