逻辑回归

一、概述

1、逻辑回归是用于分类的回归算法，可做二分类，也可做多分类

2、逻辑回归的sigmoid函数（记住公式和图像）

z越大g(z)越靠近1，z越小g(z)越靠近0，将任何数据压缩到（0,1）

3、逻辑回归的优点：对线性关系拟合效果极好；计算速度快；返回不是固定0、1，而是小数形式类概率数字

4、目的是求解使模型拟合效果最好的参数，方式是梯度下降SGD

二、linear_model.LogisticRegression

1、损失函数：求解最优参数的工具，用来衡量参数为θ的模型拟合训练集产生的信息损失的大小。

追求损失函数最小化的参数组合。（不求解参数的模型就没有损失函数，比如KNN，决策树）

对逻辑回归过拟合的控制，通过正则化实现。

2、控制过拟合的两个参数

1）penalty

默认="l2"，若选择"l1”，参数solver只能使用"liblinear"和"saga"

l1正则化会把参数压缩到0，本质特征选择，越强、0越多、参数越稀疏，防止过拟合。数据维度高：l1正则化。

l2正则化只会让参数尽量小，不会取到0。

2）C：正则化强度导数默认1.0（正则项：损失函数=1:1），越小，对模型惩罚越大，正则化强度越大。

3、重要属性

1）coef_：每个特征对应参数

三、逻辑回归中的特征工程

一般不用PCA，SVD，因为会抹去特征的可解释性，统计方法可以使用，但不必要

逻辑回归模型评估指标

metric.confusion_matrix

metric.roc_auc_score

metric.accuracy_score

1、向量一般写成列向量

2、模型属性都是在fit之后查看

3、np.linspace(start,end,num)包括end

4、predict返回的是一个预测的值，predict_proba返回的是对于预测为各个类别的概率

5、

逻辑回归

一、概述

1、逻辑回归是用于分类的回归算法，可做二分类，也可做多分类

2、逻辑回归的sigmoid函数（记住公式和图像）

z越大g(z)越靠近1，z越小g(z)越靠近0，将任何数据压缩到（0,1）

3、逻辑回归的优点：对线性关系拟合效果极好；计算速度快；返回不是固定0、1，而是小数形式类概率数字

4、目的是求解使模型拟合效果最好的参数，方式是梯度下降SGD

二、linear_model.LogisticRegression

1、损失函数：求解最优参数的工具，用来衡量参数为θ的模型拟合训练集产生的信息损失的大小。

追求损失函数最小化的参数组合。（不求解参数的模型就没有损失函数，比如KNN，决策树）

对逻辑回归过拟合的控制，通过正则化实现。

2、控制过拟合的两个参数

1）penalty

默认="l2"，若选择"l1”，参数solver只能使用"liblinear"和"saga"

l1正则化会把参数压缩到0，本质特征选择，越强、0越多、参数越稀疏，防止过拟合。数据维度高：l1正则化。

l2正则化只会让参数尽量小，不会取到0。

2）C：正则化强度导数默认1.0（正则项：损失函数=1:1），越小，对模型惩罚越大，正则化强度越大。

3、重要属性

1）coef_：每个特征对应参数

逻辑回归模型评估指标

metric.confusion_matrix

metric.roc_auc_score

metric.accuracy_score

1、向量一般写成列向量

2、模型属性都是在fit之后查看

3、np.linspace(start,end,num)包括end

4、predict返回的是一个预测的值，predict_proba返回的是对于预测为各个类别的概率

5、

逻辑回归

一、概述

1、逻辑回归是用于分类的回归算法，可做二分类，也可做多分类

2、逻辑回归的sigmoid函数（记住公式和图像）

z越大g(z)越靠近1，z越小g(z)越靠近0，将任何数据压缩到（0,1）

3、逻辑回归的优点：对线性关系拟合效果极好；计算速度快；返回不是固定0、1，而是小数形式类概率数字

4、目的是求解使模型拟合效果最好的参数，方式是梯度下降SGD

二、linear_model.LogisticRegression

1、损失函数：求解最优参数的工具，用来衡量参数为θ的模型拟合训练集产生的信息损失的大小。

追求损失函数最小化的参数组合。（不求解参数的模型就没有损失函数，比如KNN，决策树）

对逻辑回归过拟合的控制，通过正则化实现。

逻辑回归模型评估指标

metric.confusion_matrix

metric.roc_auc_score

metric.accuracy_score

向量一般写成列向量

逻辑回归

一、概述

1、逻辑回归是用于分类的回归算法，可做二分类，也可做多分类

2、逻辑回归的sigmoid函数（记住公式和图像）

z越大g(z)越靠近1，z越小g(z)越靠近0，将任何数据压缩到（0,1）

3、逻辑回归的优点：对线性关系拟合效果极好；计算速度快；返回不是固定0、1，而是小数形式类概率数字

4、目的是求解使模型拟合效果最好的参数，方式是梯度下降SGD

二、linear_model.LogisticRegression

逻辑回归模型评估指标

metric.confusion_matrix

metric.roc_auc_score

metric.accuracy_score

向量一般写成列向量

逻辑回归

一、概述

1、逻辑回归是用于分类的回归算法，可做二分类，也可做多酚

2、逻辑回归的sigmoid函数（记住公式和图像）

z越大g(z)越靠近1，z越小g(z)越靠近0，将任何数据压缩到（0,1）

3、逻辑回归的优点：对线性关系拟合效果极好；计算速度快；返回不是固定0、1，而是小数形式类概率数字

向量一般写成列向量

逻辑回归

一、概述

1、逻辑回归是用于分类的回归算法

2、逻辑回归的sigmoid函数（记住公式和图像）

z越大g(z)越靠近1，z越小g(z)越靠近0，将任何数据压缩到（0,1）

3、 

向量一般写成列向量

逻辑回归

为线加噪音：

SVD比PCA快得多

一、2个重要参数

1、svd_solver

"auto"：数据量小选full，大则选randomized

"full"：生成完整的矩阵，数据量不大一般选用

"randomized"：适合特征矩阵巨大，计算量大。

"arpack”：适合特征矩阵大，一般用于特征矩阵为稀疏矩阵（每一列为0,1组成，大部分为0）

注：一般选"auto", 算不出来找"randomized"

2、random_state: 

svd_solver为"randomized""arpack”生效，通常选"auto"

二、重要属性components_：提出的值是V(k,n)，表示新特征空间，可视化可以看出提取了什么重要信息，n维压缩到k维

SVD比PCA快得多

一、2个重要参数

1、svd_solver

"auto"：数据量小选full，大则选randomized

"full"：生成完整的矩阵，数据量不大一般选用

"randomized"：适合特征矩阵巨大，计算量大。

"arpack”：适合特征矩阵大，一般用于特征矩阵为稀疏矩阵（每一列为0,1组成，大部分为0）

注：一般选"auto", 算不出来找"randomized"

2、random_state: 

svd_solver为"randomized""arpack”生效

3）按信息量占比选择

n_components=[0,1]之间浮点数，且让参数scd_solver='full'(n_components=0.97,scd_solver='full'选出使保留信息量超过0.97的信息量的特征），比较快可以多用

降维算法

一、维度概述

1、对数组和Series，shape中返回几个数字就是几维，几个方括号就是几维

2、特征矩阵，DataFrame，几个特征就是几维，对应图中几个坐标轴，降维降的是特征数量

二、降维算法decomposition.PCA：主成分分析

1、PCA使用的信息量衡量指标为样本方差，越大，该特征带有信息量越多。

2、降维后找到的每个新特征向量叫“主成分”，新特征没有可读性，属于特征创造。线性回归不适合使用PCA。

3、重要参数

1）n_components：降维后要保留的特征数量，一般选 0-最小维度（特征数和标签数比较小的值） 范围内整数，默认为最小维度。如果需要可视化，取2或3.

2）如何选择n_components？

累积可解释方差贡献率曲线。横坐标：降维后保留的特征个数，纵坐标：累积可解释方差贡献率（选1个特征多少总信息，2个特征多少总信息...）

plt.plot([1,2,3,4],np.cumsum(pca_line.explained_variance_ratio_))

最大似然估计自选超参数。n_components="mle"，计算量大

4、重要属性

1）属性explained_variance：查看降维后每个新特征信息量大小

2）属性explained_variance_ratio：查看降维后每个新特征信息量占原始数据信息量百分比

三、降维算法SVD

降维算法计算量很大

降维算法

一、维度概述

1、对数组和Series，shape中返回几个数字就是几维，几个方括号就是几维

2、特征矩阵，DataFrame，几个特征就是几维，对应图中几个坐标轴，降维降的是特征数量

二、降维算法decomposition.PCA：主成分分析

1、PCA使用的信息量衡量指标为样本方差，越大，该特征带有信息量越多。

2、降维后找到的每个新特征向量叫“主成分”，新特征没有可读性，属于特征创造。线性回归不适合使用PCA。

3、重要参数

三、降维算法SVD

降维算法计算量很大

一、维度概述

1、对数组和Series，shape中返回几个数字就是几维，几个方括号就是几维

2、特征矩阵，DataFrame，几个特征就是几维，降维降的是特征数量

二、降维算法decomposition.PCA：主成分分析

三、降维算法SVD

包装法：

特征选择（专门算法）和训练同时进行，可以与任何有coef_, feature_importances_属性的模型一起使用，计算成本小于嵌入法

• 使用feature_selection.RFE类：迭代选取特征。
• 参数estimator：实例化后的评估器，n_features_to_select：想选的特征数，step：每迭代一次删去的特征数
• 属性.support_：特征是否被选中的不二矩阵，.ranking_：特征重要性排名，前面越重要。（训练后查看属性，不要转化）
• 计算量大，优先使用方差过滤和互信息法；逻辑回归，嵌入法优先；支持向量机，包装法优先；没思路，过滤法开始

嵌入法

1、特征选择与算法训练同时进行，算法自己选择用哪些特征。计算速度与算法相关，可能十分缓慢，大型数据中优先选过滤法或包装法

2、使用模块feature_selection.SelectFromModel，可以与任何有coef_, feature_importances_属性的模型一起使用

3、两个重要属性
1）estimator：模型评估器，模型要先实例化

2）threshold：特征重要性阈值，低于则删除，通过学习曲线确定这个属性的最佳取值

嵌入法

特征选择与算法训练同时进行，算法自己选择用哪些特征。计算速度与算法相关，可能十分缓慢。

feature_selection.SelectFromModel，可以与任何有coef_, feature_importances_属性的模型一起使用

2）相关性过滤

卡方过滤：

• 专门针对分类问题，不能计算负数，chi2(x,y)返回卡方值和p值
• feature_selection.chi2，结合feature_selection.SelectKBest（选出前k分数最高特征）
• 如何选择k值（想保留特征值）？使用p值。p小于0.05或0.01：特征与标签相关。k=(chi_value.shape[0]-(p_value>0.05).sum())#特征数-想删除的特征数

F检验：

• 捕捉特征与标签之间的线性关系，返回F值和P值
• feature_selection.f_classif（F检验分类），feature_selection.f_regression（F检验回归），需要与feature_selection.SelectKBest连用
• F检验在数据服从正态分布时效果好，先把数据转换成正态分布形式
• p小于0.05或0.01：特征与标签显著线性相关

互信息法：

• 捕捉特征与标签任意关系，返回特征与标签之间互信息量的估计，0：独立，1：相关
• feature_selection.mutual_info_classif（互信息分类），feature_selection.mutual_info_regression（互信息回归）

2）相关性过滤

卡方过滤：

• 专门针对分类问题，不能计算负数
• feature_selection.chi2，结合feature_selection.SelectKBest（选出前k分数最高特征）
• chi2(x,y)返回卡方值和p值，
• 如何选择k值（想保留特征值）？使用p值。p小于0.05或0.01：特征与标签相关。k=(chi_value.shape[0]-(p_value>0.05).sum())#特征数-想删除的特征数

F检验