随机森林

通过sklearn中的红酒训练集测试并且画树 保存到了桌面的pdf文件中，目前还没有处理中文显示问题。 from sklearn import tree from sklearn . datasets import load_wine from sklearn . model_selection import train_test_split import pandas as pd wine = load_wine ( ) wine . data . shape wine . target pd . concat ( [ pd . DataFrame ( wine . data ) , pd . DataFrame ( wine . target ) ] , axis = 1 ) wine . feature_names wine . target_names Xtrain , Xtest , Ytrain , Ytest = train_test_split ( wine . data , wine . target , test_size = 0.3 ) clf = tree . DecisionTreeClassifier ( criterion = "entropy" ) clf = clf . fit ( Xtrain , Ytrain ) score = clf .

先看这个类的参数： class sklearn.ensemble.RandomForestClassifier(n_estimators=10, criterion='gini', max_depth=None, min_samples_split=2, min_samples_leaf=1, min_weight_fraction_leaf=0.0, max_features=’auto’, max_leaf_nodes=None, min_impurity_decrease=0.0, min_impurity_split=None, bootstrap=True, oob_score=False, n_jobs=1, random_state=None, verbose=0, warm_start=False, class_weight=None) 具体参数意义如下： criterion: 决策树分裂的标准。 n_estimators： 在利用最大投票数或平均值来预测之前，你想要建立子树的数量。 较多的子树可以让模型有更好的性能，但同时让你的代码变慢。 值过大容易导致过拟合，过小容易导致欠拟合，一般选取50~100，默认是10。 max_features 单个决策树使用的最大特征数 。 Python为最大特征数提供了多个可选项。 下面是其中的几个： (1) Auto/None

今天学了菜菜第二章，随机森林。顺便回顾了昨天学的决策树。 具体学到了什么 总结到下面用代码和注释的形式给出，相当于给自己理清楚思路。 划分训练集和测试集的代码： from sklearn.model_selection import train_test_split Xtrain, Xtest, Ytrain, Ytest = train_test_split(wine.data,wine.target,test_size=0.3) # 划分为训练集和测试集的代码 建随机森林的代码（三行）： rfc=RandomForestClassifier(random_state=0) rfc=rfc.fit(Xtrain,Ytrain) score_r=rfc.score(Xtest,Ytest) # 建随机森林来分析的代码 建决策树的代码（三行）： clf=DecisionTreeClassifier(random_state=0) clf=clf.fit(Xtrain,Ytrain) score_c=clf.score(Xtest,Ytest) # 建决策树来分析的代码 交叉验证法（也叫k折交叉验证法）的用法： rfc_l = [] for i in range(10): rfc = RandomForestClassifier(n_estimators=25) rfc_s =

集成学习(Ensemble Learning) 集成学习的思想是将若干个学习器(分类器&回归器)组合之后产生一个新学习器.弱分类器(weak learner)指那些分类准确率只稍微好于随机猜测的分类器(error rate < 0.5)； 集成算法的成功在于保证弱分类器的多样性(Diversity).而且集成不稳定的算法也能够得到一个比较明显的性能提升 常见的集成学习思想有: Bagging Boosting Stacking Why need Ensemble Learning? 1. 弱分类器间存在一定的差异性，这会导致分类的边界不同，也就是说可能存在错误。那么将多个弱分类器合并后，就可以得到更加合理的边界，减少整体的错误率，实现更好的效果； 2. 对于数据集过大或者过小，可以分别进行划分和有放回的操作产生不同的数据子集，然后使用数据子集训练不同的分类器，最终再合并成为一个大的分类器； 3. 如果数据的划分边界过于复杂，使用线性模型很难描述情况，那么可以训练多个模型，然后再进行模型的融合； 4. 对于多个异构的特征集的时候，很难进行融合，那么可以考虑每个数据集构建一个分类模型，然后将多个模型融合。 Bagging方法 Bagging方法又叫做自举汇聚法(Bootstrap Aggregating)，思想是：在原始数据集上通过有放回的抽样的方式

可视化随机森林的特征重要性 # 查看随机森林的特征重要性 import numpy as np import matplotlib . pyplot as plt from sklearn . ensemble import RandomForestClassifier from sklearn import datasets ​ iris = datasets . load_iris ( ) features = iris . data target = iris . target # 创建分类器对象 randomforest = RandomForestClassifier ( random_state = 0 ) # 训练模型 model = randomforest . fit ( features , target ) # 计算特征重要性 importances = model . feature_importances_ print ( "model.feature_importances_: {}" . format ( importances ) ) ​ # print(importances) # 对特征重要性进行排序 indices = np . argsort ( importances ) [ : : - 1 ] print ( indices ) #

认识 我觉得决策树+ 随机森林 应该是 ML 中最为重要的算法之一了吧, 反正我是很喜欢用的. 算法难度低, 可解释性很强, 能可视化 能处理非线性, 可扩展为随机森林(集成学习) 建立决策树的判别依据有很多, 比较主流的有经典的 ID3 算法(熵), C4.5 , 基尼系数等. 我是这种基于熵的理解了, 上学时学过熵的概念, 在<> 和 <> 有讲到. 其余的也没仔细看, 暂时能深入理解一个就可以了. 信息熵 衡量信息的不确定性 或 混乱程度的指标 不确定性越大, 则熵值越大 直观认知 举几个栗子: a. 大海捞针: 几乎不可能, 熵值很大 b. 扔一次硬币: 不确定性也很大, 熵值很大 c. 詹姆斯强攻篮下: 进球概率大, 不确定性很小, 因此熵值小 d. 斗地主时我已经推出对方剩下的牌: 这个信息量就很大了, 对于局势不确定性减少, 则熵变小. 通过直观, 我们用 信息熵 这个概念来 衡量信息的不确定性大小 , 如何对这个概念直观定性呢? 信息量,感觉上跟 概率 有关系, 概率很多, 信息量就很多 信息量, 应该是可以 相加 的 信息量, 应该是一个 单调的 信息量, 应该 不能为负数 , 最多只能有, 最差情况是 没有信息含量 , 不能说负吧 理性认知 也可以从系统论的观点来认识 (系统 = 多个元素的 相互联系). 可以肯定一点, 既然跟概率有关, 那 概率取值是 [0

什么是随机森林？ 随机森林就是 通过集成学习的思想将多棵树集成的一种算法 ，它的基本单元是决策树，而它的本质属于机器学习的一大分支——集成学习（Ensemble Learning）方法。随机森林的名称中有两个关键词，一个是“随机”，一个就是“森林”。“森林”我们很好理解，一棵叫做树，那么成百上千棵就可以叫做森林了，这样的比喻还是很贴切的，其实这也是随机森林的主要思想--集成思想的体现。 随机森林算法的实质 是基于决策树的分类器集成算法，其中每一棵树都依赖于一个随机向量，随机森林的所有向量都是独立同分布的。随机森林就是对数据集的列变量和行观测进行随机化，生成多个分类数，最终将分类树结果进行汇总。 随机森林相比于神经网络， 降低了运算量的同时也提高了预测精度 ，而且该算法对多元共线性不敏感以及对缺失数据和非平衡数据比较稳健，可以很好地适应多达几千个解释变量数据集。 随机森林的组成 随机森林是由多个CART分类决策树构成，在构建决策树过程中， 不进行任何剪枝动作 ，通过随机挑选观测（行）和变量（列）形成每一棵树。对于分类模型，随机森林将根据投票法为待分类样本进行分类；对于预测模型，随机森林将使用单棵树的简单平均值来预测样本的Y值。 随机森林的估计过程 1）指定m值，即随机产生m个变量用于节点上的二叉树，二叉树变量的选择仍然满足节点不纯度最小原则； 2

http://www.36dsj.com/archives/32820 简介 近年来，随机森林模型在界内的关注度与受欢迎程度有着显著的提升，这多半归功于它可以快速地被应用到几乎任何的数据科学问题中去，从而使人们能够高效快捷地获得第一组基准测试结果。在各种各样的问题中，随机森林一次又一次地展示出令人难以置信的强大，而与此同时它又是如此的方便实用。 需要大家注意的是，在上文中特别提到的是第一组测试结果，而非所有的结果，这是因为随机森林方法固然也有自己的局限性。在这篇文章中，我们将向你介绍运用随机森林构建预测模型时最令人感兴趣的几个方面。 计算机视觉：随机森林算法在人体识别中的应用 机器学习中的算法——决策树模型组合之随机森林与GBDT 美国金融银行业的大数据算法：随机森林模型+综合模型 随机森林的发展史 谈及随机森林算法的产生与发展，我们必须回溯到20世纪80年代。可以说，该算法是Leo Breiman, Adele Cutler, Ho Tin Kam, Dietterich, Amit和Geman这几位大师呕心沥血的共同结晶，他们中的每个人都对随机森林算法的早期发展作出了重要的贡献。Leo Breiman和 Adele Cutler最早提出了执行随机森里的关键算法，这一算法也成为了他们的专利之一。Amit, Gemen和Ho Tim Kam各自独立地介绍了特征随即选择的思想

随机森林分类器。 scikit-learn v0.19.1 随机森林是一个元估计器，它适合数据集的各个子样本上的多个决策树分类器，并使用平均值来提高预测精度和控制过度拟合。 子样本大小始终与原始输入样本大小相同，但如果bootstrap = True（默认值），则会使用替换来绘制样本。 先看这个类的参数： class sklearn.ensemble.RandomForestClassifier(n_estimators=10, criterion='gini', max_depth=None, min_samples_split=2, min_samples_leaf=1, min_weight_fraction_leaf=0.0, max_features=’auto’, max_leaf_nodes=None, min_impurity_decrease=0.0, min_impurity_split=None, bootstrap=True, oob_score=False, n_jobs=1, random_state=None, verbose=0, warm_start=False, class_weight=None) 具体参数意义如下： 参数： n_estimators : integer, optional (default=10) 整数，可选择(默认值为10)

随机森林（ Random Forest ，简称 RF ） 随机森林就是通过集成学习的思想将多棵树集成的一种算法，它的基本单元是决策树，而它的本质属于机器学习的一大分支——集成学习（Ensemble Learning）方法。随机森林的名称中有两个关键词，一个是“随机”，一个就是“森林”。“森林”我们很好理解，一棵叫做树，那么成百上千棵树就可以叫做森林了，这也是随机森林的主要思想“集成”的体现。 每棵决策树都是一个分类器（假设现在针对的是分类问题），那么对于一个输入样本，N棵树会有N个分类结果。而随机森林集成了所有的分类投票结果，将投票次数最多的类别指定为最终的输出，这就是一种最简单的 Bagging 思想。 随机森林的特点 在当前所有算法中，具有极好的准确率 能够有效地运行在大数据集上 能够处理具有高维特征的输入样本，而且不需要降维 能够评估各个特征在分类问题上的重要性 在生成过程中，能够获取到内部生成误差的一种无偏估计 对于缺省值问题也能够获得很好得结果 集成学习 集成学习通过建立几个模型组合的来解决单一预测问题。它的工作原理是生成多个分类器/模型，各自独立地学习和作出预测。这些预测最后结合成单预测，因此优于任何一个单分类的做出预测。 随机森林是集成学习的一个子类，它依靠于决策树的投票选择来决定最后的分类结果。 随机森林的生成 随机森林中有许多的分类树。我们要将一个输入样本进行分类