一、概述

1、无监督学习：训练时只需要一个特征矩阵x，不需要标签y，例如PCA

2、聚类（无监督分类）VS 分类

1）在已经知晓的类别上，给未知的样本标上标签（分类）；在完全不知道标签的情况下，探索分布上的分类（聚类）

2）分类结果确定，聚类结果不确定

RFM模型，漏斗分析，AARRR模型

分箱：

1）评分卡核心，本质是离散化连续变量

2）分多少箱子合适？4-5个最佳

3）离散化必然伴随信息损失，IV：用于衡量特征对预测函数的贡献，<0.03特征可以删除，太高的也删除（特征选择）IV可以帮助找出合适的分箱个数。

4）分箱想要达成什么效果？组间差异大，组内差异小，用卡方检验对比箱子相似性，卡方检验p值越大越相似

4、二元回归与多元回归：重要参数solver，multi_class

1）multi_class

"ovr"，二分类；"multinormial"，多分类，在solver="liblinear"时不可用；"auto" 自动选择，默认

2）solver：选择求解器

"liblinear"：求解方式为坐标下降法，默认，二分类专用

"lbfgs","newton-cg"利用海森矩阵求解，只支持l2正则化，不适合

"sag"：随机平均梯度下降，只支持l2正则化

"saga"："sag"的进化，支持l1,l2正则化

5、样本不平衡参数class_weight

1）样本不平衡：标签某一类占有很大比例，或误分类代价很高，该参数给少量标签更多权重

2）默认为None，所有标签相同权重；误分类代价很高，选”balanced"

3） 参数很难用，处理样本不平衡一般用采样法。上采样：增加少数类样本；下采样：减少多数类的样本

4、二元回归与多元回归：重要参数solver，multi_class

1）multi_class

"ovr"，二分类；"multinormial"，多分类，在solver="liblinear"时不可用；"auto" 自动选择，默认

2）solver：选择求解器

"liblinear"：求解方式为坐标下降法，默认，二分类专用

"lbfgs","newton-cg"利用海森矩阵求解，只支持l2正则化，不适合

"sag"：随机平均梯度下降，只支持l2正则化

"saga"："sag"的进化，支持l1,l2正则化

3、梯度下降：重要参数max_iter

max_iter（最大迭代次数）人为设置的步数限制，越大，步长越小，模型迭代时间越长

多元函数的梯度：多元函数对各个自变量求偏导，求解梯度（向量）=损失函数 J(θ1,θ2)对其自身自变量θ1,θ2求偏导

a为步长，是梯度向量大小dj上的一个比例，dj为梯度向量大小

3、梯度下降：重要参数max_iter

max_iter为人为设置的步数限制

多元函数的梯度：多元函数对各个自变量求偏导，求解梯度（向量）=损失函数 J(θ1,θ2)对其自身自变量θ1,θ2求偏导

a为步长，dj 

3、梯度下降：重要参数max_iter

max_iter为人为设置的步数限制

系数累加法，简单快速的包装法

逻辑回归

一、概述

1、逻辑回归是用于分类的回归算法，可做二分类，也可做多分类

2、逻辑回归的sigmoid函数（记住公式和图像）

z越大g(z)越靠近1，z越小g(z)越靠近0，将任何数据压缩到（0,1）

3、逻辑回归的优点：对线性关系拟合效果极好；计算速度快；返回不是固定0、1，而是小数形式类概率数字

4、目的是求解使模型拟合效果最好的参数，方式是梯度下降SGD

二、linear_model.LogisticRegression

1、损失函数：求解最优参数的工具，用来衡量参数为θ的模型拟合训练集产生的信息损失的大小。

追求损失函数最小化的参数组合。（不求解参数的模型就没有损失函数，比如KNN，决策树）

对逻辑回归过拟合的控制，通过正则化实现。

2、控制过拟合的两个参数

1）penalty

默认="l2"，若选择"l1”，参数solver只能使用"liblinear"和"saga"

l1正则化会把参数压缩到0，本质特征选择，越强、0越多、参数越稀疏，防止过拟合。数据维度高：l1正则化。

l2正则化只会让参数尽量小，不会取到0。

2）C：正则化强度导数默认1.0（正则项：损失函数=1:1），越小，对模型惩罚越大，正则化强度越大。

3、重要属性

1）coef_：每个特征对应参数，值越大，对逻辑回归的贡献越大

三、逻辑回归中的特征工程

一般不用PCA，SVD，因为会抹去特征的可解释性；统计方法可以使用，但不必要；嵌入法较高效（尽量保留数据信息&降维）

x_embedded=SelectFromModel(LR_,norm_order=1).fit_transform(x,y)

#参数1：模型
#参数2：threshold是筛选特征的阈值，可以取到的最大值是系数的最大值
abs(LR_.fit(x,y).coef_).max()
#参数3：norm_order=1，使用l1范式，模型删除所有在l1范式下判断无效的特征

逻辑回归模型评估指标

metric.confusion_matrix

metric.roc_auc_score

metric.accuracy_score

1、向量一般写成列向量

2、模型属性都是在fit之后查看

3、np.linspace(start,end,num)包括end

4、predict返回的是一个预测的值，predict_proba返回的是对于预测为各个类别的概率

逻辑回归

一、概述

1、逻辑回归是用于分类的回归算法，可做二分类，也可做多分类

2、逻辑回归的sigmoid函数（记住公式和图像）

z越大g(z)越靠近1，z越小g(z)越靠近0，将任何数据压缩到（0,1）

3、逻辑回归的优点：对线性关系拟合效果极好；计算速度快；返回不是固定0、1，而是小数形式类概率数字

4、目的是求解使模型拟合效果最好的参数，方式是梯度下降SGD

二、linear_model.LogisticRegression

1、损失函数：求解最优参数的工具，用来衡量参数为θ的模型拟合训练集产生的信息损失的大小。

追求损失函数最小化的参数组合。（不求解参数的模型就没有损失函数，比如KNN，决策树）

对逻辑回归过拟合的控制，通过正则化实现。

2、控制过拟合的两个参数

1）penalty

默认="l2"，若选择"l1”，参数solver只能使用"liblinear"和"saga"

l1正则化会把参数压缩到0，本质特征选择，越强、0越多、参数越稀疏，防止过拟合。数据维度高：l1正则化。

l2正则化只会让参数尽量小，不会取到0。

2）C：正则化强度导数默认1.0（正则项：损失函数=1:1），越小，对模型惩罚越大，正则化强度越大。

3、重要属性

1）coef_：每个特征对应参数

三、逻辑回归中的特征工程

一般不用PCA，SVD，因为会抹去特征的可解释性，统计方法可以使用，但不必要

逻辑回归模型评估指标

metric.confusion_matrix

metric.roc_auc_score

metric.accuracy_score

1、向量一般写成列向量

2、模型属性都是在fit之后查看

3、np.linspace(start,end,num)包括end

4、predict返回的是一个预测的值，predict_proba返回的是对于预测为各个类别的概率

5、

逻辑回归

一、概述

1、逻辑回归是用于分类的回归算法，可做二分类，也可做多分类

2、逻辑回归的sigmoid函数（记住公式和图像）

z越大g(z)越靠近1，z越小g(z)越靠近0，将任何数据压缩到（0,1）

3、逻辑回归的优点：对线性关系拟合效果极好；计算速度快；返回不是固定0、1，而是小数形式类概率数字

4、目的是求解使模型拟合效果最好的参数，方式是梯度下降SGD

二、linear_model.LogisticRegression

1、损失函数：求解最优参数的工具，用来衡量参数为θ的模型拟合训练集产生的信息损失的大小。

追求损失函数最小化的参数组合。（不求解参数的模型就没有损失函数，比如KNN，决策树）

对逻辑回归过拟合的控制，通过正则化实现。

2、控制过拟合的两个参数

1）penalty

默认="l2"，若选择"l1”，参数solver只能使用"liblinear"和"saga"

l1正则化会把参数压缩到0，本质特征选择，越强、0越多、参数越稀疏，防止过拟合。数据维度高：l1正则化。

l2正则化只会让参数尽量小，不会取到0。

2）C：正则化强度导数默认1.0（正则项：损失函数=1:1），越小，对模型惩罚越大，正则化强度越大。

3、重要属性

1）coef_：每个特征对应参数

逻辑回归模型评估指标

metric.confusion_matrix

metric.roc_auc_score

metric.accuracy_score

1、向量一般写成列向量

2、模型属性都是在fit之后查看

3、np.linspace(start,end,num)包括end

4、predict返回的是一个预测的值，predict_proba返回的是对于预测为各个类别的概率

5、

逻辑回归

一、概述

1、逻辑回归是用于分类的回归算法，可做二分类，也可做多分类

2、逻辑回归的sigmoid函数（记住公式和图像）

z越大g(z)越靠近1，z越小g(z)越靠近0，将任何数据压缩到（0,1）

3、逻辑回归的优点：对线性关系拟合效果极好；计算速度快；返回不是固定0、1，而是小数形式类概率数字

4、目的是求解使模型拟合效果最好的参数，方式是梯度下降SGD

二、linear_model.LogisticRegression

1、损失函数：求解最优参数的工具，用来衡量参数为θ的模型拟合训练集产生的信息损失的大小。

追求损失函数最小化的参数组合。（不求解参数的模型就没有损失函数，比如KNN，决策树）

对逻辑回归过拟合的控制，通过正则化实现。

逻辑回归模型评估指标

metric.confusion_matrix

metric.roc_auc_score

metric.accuracy_score

向量一般写成列向量

逻辑回归

一、概述

1、逻辑回归是用于分类的回归算法，可做二分类，也可做多分类

2、逻辑回归的sigmoid函数（记住公式和图像）

z越大g(z)越靠近1，z越小g(z)越靠近0，将任何数据压缩到（0,1）

3、逻辑回归的优点：对线性关系拟合效果极好；计算速度快；返回不是固定0、1，而是小数形式类概率数字

4、目的是求解使模型拟合效果最好的参数，方式是梯度下降SGD

二、linear_model.LogisticRegression

逻辑回归模型评估指标

metric.confusion_matrix

metric.roc_auc_score

metric.accuracy_score

向量一般写成列向量

逻辑回归

一、概述

1、逻辑回归是用于分类的回归算法，可做二分类，也可做多酚

2、逻辑回归的sigmoid函数（记住公式和图像）

z越大g(z)越靠近1，z越小g(z)越靠近0，将任何数据压缩到（0,1）

3、逻辑回归的优点：对线性关系拟合效果极好；计算速度快；返回不是固定0、1，而是小数形式类概率数字

向量一般写成列向量

逻辑回归

一、概述

1、逻辑回归是用于分类的回归算法

2、逻辑回归的sigmoid函数（记住公式和图像）

z越大g(z)越靠近1，z越小g(z)越靠近0，将任何数据压缩到（0,1）

3、 

向量一般写成列向量

逻辑回归

为线加噪音：

SVD比PCA快得多

一、2个重要参数

1、svd_solver

"auto"：数据量小选full，大则选randomized

"full"：生成完整的矩阵，数据量不大一般选用

"randomized"：适合特征矩阵巨大，计算量大。

"arpack”：适合特征矩阵大，一般用于特征矩阵为稀疏矩阵（每一列为0,1组成，大部分为0）

注：一般选"auto", 算不出来找"randomized"

2、random_state: 

svd_solver为"randomized""arpack”生效，通常选"auto"

二、重要属性components_：提出的值是V(k,n)，表示新特征空间，可视化可以看出提取了什么重要信息，n维压缩到k维

I4