lightgbm

转载： https://www.jianshu.com/p/3f114699c6ed 提高准确率： learning_rate:学习率. 默认值：0.1 调参策略：最开始可以设置得大一些，如0.1。调整完其他参数之后最后再将此参数调小。 取值范围:0.01~0.3. max_depth:树模型深度 默认值：-1 调整策略:无 取值范围：3-8（不超过10） num_leaves:叶子节点数，数模型复杂度。 默认值：31 调整策略：可以设置为2的n次幂。如 但要大于分类的类别数 取值范围： 降低过拟合 max_bin:工具箱数（叶子结点数+非叶子节点数？） 工具箱的最大数特征值决定了容量 工具箱的最小数特征值可能会降低训练的准确性, 但是可能会增加一些一般的影响（处理过度学习） LightGBM 将根据 max_bin 自动压缩内存。 例如, 如果 maxbin=255, 那么 LightGBM 将使用 uint8t 的特性值 min_data_in_leaf:一个叶子上数据的最小数量. 可以用来处理过拟合 默认值：20 调参策略：搜索，尽量不要太大。 feature_fraction：每次迭代中随机选择特征的比例。 默认值：1.0 调参策略：0.5-0.9之间调节。 可以用来加速训练 可以用来处理过拟合 bagging_fraction：不进行重采样的情况下随机选择部分数据 默认值

I'm new to python and would like to install lightgbm on my macbook. I did a pip install lightgbm and it said installation successful. However when I try to import that into my notebook I get the following error message: ../anaconda/envs/python3/lib/python3.6/ctypes/__init__.py in __init__(self, name, mode, handle, use_errno, use_last_error) 342 343 if handle is None: --> 344 self._handle = _dlopen(self._name, mode) 345 else: 346 self._handle = handle OSError: dlopen(../anaconda/envs/python3/lib/python3.6/site-packages/lightgbm/lib_lightgbm.so, 6): Library not loaded: /usr/local/opt/gcc/lib/gcc

一开始直接用pip install lightgbm 报错： OSError: dlopen(/Users/{xxx}/anaconda3/lib/python3.6/site- packages/lightgbm/lib_lightgbm.so, 6): Library not loaded: /usr/local/opt/gcc/lib/gcc/7/libgomp.1.dylib Referenced from: /opt/anaconda3/lib/python3.7/site-packages/lightgbm/lib_lightgbm.so Reason: image not found 看了一些网络回答，原因：主要是编译器的版本不一致（mac默认是gcc-8，pip安装的包则是用gcc-7编译的） 然后我看了一下我的gcc，原来都没有安装，这个需要自己安装的。安装这个之前，还要先安装一下Homebrew。 什么是homebrew? 简单说就是一款mac os软件包管理工具。 什么是CMake？ 是一个跨平台的安装、编译工具。 什么是Apple Clang? 是一个c语言、c++的轻量级编译器。 什么是Xcode？ 是运行在mac os上的集成开发环境（IDE）。里面包含了Apple Clang。 什么是gcc ？GNU Compiler Collection

转载链接 https://www.cnblogs.com/mata123/p/7440774.html GBDT 梯度提升树实在提升树的基础上发展而来的一种使用范围更广的方法，当处理回归问题时，提升树可以看作是梯度提升树的特例(分类问题时是不是特例？)。 因为提升树在构建树每一步的过程中都是去拟合上一步获得模型在训练集上的残差。后面我们将会介绍，这个残存正好是损失函数的梯度，对应于GBDT每一步要拟合的对象。 主要思想 在目标函数所在的函数空间中做梯度下降，即把待求的函数模型当作参数，每一步要拟合目标函数关于上一步获得的模型的梯度，从而使得参数朝着最小化目标函数的方向更新。 一些特性 每次迭代获得的决策树模型都要乘以一个缩减系数，从而降低每棵树的作用，提升可学习空间。 每次迭代拟合的是一阶梯度。 XGBoost XGBoost 是GBDT的一个变种，最大的区别是xgboost通过对目标函数做二阶泰勒展开，从而求出下一步要拟合的树的叶子节点权重（需要先确定树的结构），从而根据损失函数求出每一次分裂节点的损失减小的大小，从而根据分裂损失选择合适的属性进行分裂。 这个利用二阶展开的到的损失函数公式与分裂节点的过程是息息相关的。先遍历所有节点的所有属性进行分裂，假设选择了这个a属性的一个取值作为分裂节点，根据泰勒展开求得的公式可计算该树结构各个叶子节点的权重，从而计算损失减小的程度

网上教程基本都是清一色的使用sklearn版本，此时的XGBClassifier有自带属性feature_importances_，而特征名称可以通过model._Booster.feature_names获取，但是对应原生版本，也就是通过DMatrix构造，通过model.train训练的模型，如何获取feature_importance?而且，二者获取的feature_importance又有何不同？ 1.通过阅读官方文档https://xgboost.readthedocs.io/en/latest/python/python_api.html,发现sklearn版本初始化时会指定一个默认参数 显而易见，最后获取的feature_importances_就是gain得到的 2.而原生版本初始化时没有importance_type参数，真正获取feature_importance时通过model.get_score(importance_type="gain")获取，（另外一个方法get_fscore()就是get_score(importance_type="weight")，二者实现一样。） 注意这里默认参数是"weight"，就是指每个特征被用于分割的使用次数。如果对标skelearn版本需要指定“gain”，这里gain是指平均增益，另外

If I simply do: import lightgbm as lgb I'm getting python script.py Traceback (most recent call last): File "script.py", line 4, in <module> import lightgbm as lgb File "/usr/local/lib/python2.7/site-packages/lightgbm/__init__.py", line 8, in <module> from .basic import Booster, Dataset File "/usr/local/lib/python2.7/site-packages/lightgbm/basic.py", line 31, in <module> _LIB = _load_lib() File "/usr/local/lib/python2.7/site-packages/lightgbm/basic.py", line 26, in _load_lib lib = ctypes.cdll.LoadLibrary(lib_path[0]) File "/usr/local/Cellar/python/2.7.12/Frameworks/Python.framework/Versions/2