逻辑回归

一、概述

1、逻辑回归是用于分类的回归算法，可做二分类，也可做多分类

2、逻辑回归的sigmoid函数（记住公式和图像）

z越大g(z)越靠近1，z越小g(z)越靠近0，将任何数据压缩到（0,1）

3、逻辑回归的优点：对线性关系拟合效果极好；计算速度快；返回不是固定0、1，而是小数形式类概率数字

4、目的是求解使模型拟合效果最好的参数，方式是梯度下降SGD

二、linear_model.LogisticRegression

1、损失函数：求解最优参数的工具，用来衡量参数为θ的模型拟合训练集产生的信息损失的大小。

追求损失函数最小化的参数组合。（不求解参数的模型就没有损失函数，比如KNN，决策树）

对逻辑回归过拟合的控制，通过正则化实现。

2、控制过拟合的两个参数

1）penalty

默认="l2"，若选择"l1”，参数solver只能使用"liblinear"和"saga"

l1正则化会把参数压缩到0，本质特征选择，越强、0越多、参数越稀疏，防止过拟合。数据维度高：l1正则化。

l2正则化只会让参数尽量小，不会取到0。

2）C：正则化强度导数默认1.0（正则项：损失函数=1:1），越小，对模型惩罚越大，正则化强度越大。

3、重要属性

1）coef_：每个特征对应参数

三、逻辑回归中的特征工程

一般不用PCA，SVD，因为会抹去特征的可解释性，统计方法可以使用，但不必要

逻辑回归模型评估指标

metric.confusion_matrix

metric.roc_auc_score

metric.accuracy_score

1、向量一般写成列向量

2、模型属性都是在fit之后查看

3、np.linspace(start,end,num)包括end

4、predict返回的是一个预测的值，predict_proba返回的是对于预测为各个类别的概率

5、

业务选择

说到降维和特征选择，首先要想到的是利用自己的业务能力进行选择，肉眼可见明显和标签有关的特征就是需要留 下的。当然，如果我们并不了解业务，或者有成千上万的特征，那我们也可以使用算法来帮助我们。或者，可以让 算法先帮助我们筛选过一遍特征，然后在少量的特征中，我们再根据业务常识来选择更少量的特征。

PCA和SVD一般不用

逻辑回归是由线性回归演变而来，线性回归的一个核心目的是通过求解参数来探究特征X与标签y之间的 关系，而逻辑回归也传承了这个性质，我们常常希望通过逻辑回归的结果，来判断什么样的特征与分类结果相关， 因此我们希望保留特征的原貌。PCA和SVD的降维结果是不可解释的，因此一旦降维后，我们就无法解释特征和标 签之间的关系了。当然，在不需要探究特征与标签之间关系的线性数据上，降维算法PCA和SVD也是可以使用的。

统计方法可以使用，但不是非常必要

逻辑回归对数据的要求低于线性回归，由于我们不是使用最小二乘法来求解，所以逻辑回归对数据的总体分布和方差没有要求，也不需要排除特征之间的共线性，但如果我 们确实希望使用一些统计方法，比如方差，卡方，互信息等方法来做特征选择，也并没有问题。过滤法中所有的方法，都可以用在逻辑回归上。