##逻辑回归
import numpy as np
import pandas as pd
from sklearn.datasets import load_iris
from sklearn.linear_model import LogisticRegression
#1.导入数据
#data = pd.read_csv(’’)
#2.数据预处理
#略，最终生成x_train,y_train,x_test,y_test
#此处导入鸢尾花数据
x_train, y_train = load_iris(return_X_y=True)
#3.模型训练
clf = LogisticRegression(random_state=0, solver=‘lbfgs’, multi_class=‘multinomial’)
clf.fit(x_train, y_train)
#4.模型预测
y_predict = clf.predict(x_train[:2, :])
print(y_predict)
#参数列表与调参方法
LogisticRegression(penalty=’l2’, dual=False, tol=0.0001, C=1.0, fit_intercept=True,
intercept_scaling=1, class_weight=None, random_state=None, solver=’warn’, max_iter=100,
multi_class=’warn’, verbose=0, warm_start=False, n_jobs=None, l1_ratio=None)
#penalty:正则化参数，‘l1’，‘l2’，‘elasticnet’或’none’，可选（默认=‘l2’）。
‘newton-cg’，'sag’和’lbfgs’解算器仅支持l2处罚。‘elasticnet’仅由’saga’解算器支持。如果’none’（liblinear解算器不支持），则不应用正则化。
#dual:对偶或者原始方法。Dual只适用于正则化相为l2 liblinear的情况，通常样本数大于特征数的情况下，默认为False
#tol:迭代终止判据的误差范围，默认1e-4
#C:惩罚系数，默认1.0
#fit_intercept:是否存在截距，默认True
#intercept_scaling:仅在正则化项为“liblinear”，且fit_intercept设置为True时有用，默认1
#class_weight:样本权重，处理类别不均衡
#random_state:随机数种子，默认为无，仅在正则化优化算法为sag,liblinear时有用。
#solver:
solver参数决定了我们对逻辑回归损失函数的优化方法，有四种算法可以选择，分别是：
a) liblinear：使用了开源的liblinear库实现，内部使用了坐标轴下降法来迭代优化损失函数。
b) lbfgs：拟牛顿法的一种，利用损失函数二阶导数矩阵即海森矩阵来迭代优化损失函数。
c) newton-cg：也是牛顿法家族的一种，利用损失函数二阶导数矩阵即海森矩阵来迭代优化损失函数。
d) sag：即随机平均梯度下降，是梯度下降法的变种，和普通梯度下降法的区别是每次迭代仅仅用一部分的样本来计算梯度，适合于样本数据多的时候。
从上面的描述可以看出，newton-cg, lbfgs和sag这三种优化算法时都需要损失函数的一阶或者二阶连续导数，因此不能用于没有连续导数的L1正则化，只能用于L2正则化。而liblinear通吃L1正则化和L2正则化。
同时，sag每次仅仅使用了部分样本进行梯度迭代，所以当样本量少的时候不要选择它，而如果样本量非常大，比如大于10万，sag是第一选择。但是sag不能用于L1正则化，所以当你有大量的样本，又需要L1正则化的话就要自己做取舍了。要么通过对样本采样来降低样本量，要么回到L2正则化。
从上面的描述，大家可能觉得，既然newton-cg, lbfgs和sag这么多限制，如果不是大样本，我们选择liblinear不就行了嘛！错，因为liblinear也有自己的弱点！我们知道，逻辑回归有二元逻辑回归和多元逻辑回归。对于多元逻辑回归常见的有one-vs-rest(OvR)和many-vs-many(MvM)两种。而MvM一般比OvR分类相对准确一些。郁闷的是liblinear只支持OvR，不支持MvM，这样如果我们需要相对精确的多元逻辑回归时，就不能选择liblinear了。也意味着如果我们需要相对精确的多元逻辑回归不能使用L1正则化了。
总结几种优化算法适用情况：
L1 liblinear
liblinear适用于小数据集；如果选择L2正则化发现还是过拟合，即预测效果差的时候，就可以考虑L1正则化；如果模型的特征非常多，希望一些不重要的特征系数归零，从而让模型系数稀疏化的话，也可以使用L1正则化。
L2 liblinear
libniear只支持多元逻辑回归的OvR，不支持MvM，但MVM相对精确。
L2 lbfgs/newton-cg/sag
较大数据集，支持one-vs-rest(OvR)和many-vs-many(MvM)两种多元逻辑回归。
L2 sag
如果样本量非常大，比如大于10万，sag是第一选择；但不能用于L1正则化
#max_iter:仅在正则化优化算法为newton-cg, sag and lbfgs 才有用，算法收敛的最大迭代次数。
#multi_class:ovr即前面提到的one-vs-rest(OvR)，而multinomial即前面提到的many-vs-many(MvM)。如果是二元逻辑回归，ovr和multinomial并没有任何区别，区别主要在多元逻辑回归上。
OvR和MvM有什么不同？
OvR的思想很简单，无论你是多少元逻辑回归，我们都可以看做二元逻辑回归。具体做法是，对于第K类的分类决策，我们把所有第K类的样本作为正例，除了第K类样本以外的所有样本都作为负例，然后在上面做二元逻辑回归，得到第K类的分类模型。其他类的分类模型获得以此类推。
而MvM则相对复杂，这里举MvM的特例one-vs-one(OvO)作讲解。如果模型有T类，我们每次在所有的T类样本里面选择两类样本出来，不妨记为T1类和T2类，把所有的输出为T1和T2的样本放在一起，把T1作为正例，T2作为负例，进行二元逻辑回归，得到模型参数。我们一共需要T(T-1)/2次分类。
可以看出OvR相对简单，但分类效果相对略差（这里指大多数样本分布情况，某些样本分布下OvR可能更好）。而MvM分类相对精确，但是分类速度没有OvR快。如果选择了ovr，则4种损失函数的优化方法liblinear，newton-cg,lbfgs和sag都可以选择。但是如果选择了multinomial,则只能选择newton-cg, lbfgs和sag了。
#verbose:日志冗长度int：冗长度；0：不输出训练过程；1：偶尔输出； >1：对每个子模型都输出
#warm_start:否热启动，如果是，则下一次训练是以追加树的形式进行（重新使用上一次的调用作为初始化），bool：热启动，False：默认值
#n_jobs:并行数，int：个数；-1：跟CPU核数一致；1:默认值
#l1_ratio:弹性网络参数，用于L1与L2组合
The Elastic-Net mixing parameter, with 0 <= l1_ratio <= 1. Only used if penalty=‘elasticnet’`. Setting ``l1_ratio=0 is equivalent to using penalty=‘l2’, while setting l1_ratio=1 is equivalent to using penalty=‘l1’. For 0 < l1_ratio <1, the penalty is a combination of L1 and L2.
来源：51CTO
作者：1289902828
链接：https://blog.csdn.net/weixin_44611266/article/details/100763365