4、二元回归与多元回归：重要参数solver，multi_class
1）multi_class
"ovr"，二分类；"multinormial"，多分类，在solver="liblinear"时不可用；"auto" 自动选择，默认
2）solver：选择求解器
"liblinear"：求解方式为坐标下降法，默认，二分类专用
"lbfgs","newton-cg"利用海森矩阵求解，只支持l2正则化，不适合
"sag"：随机平均梯度下降，只支持l2正则化
"saga"："sag"的进化，支持l1,l2正则化
3、梯度下降：重要参数max_iter
max_iter（最大迭代次数）人为设置的步数限制，越大，步长越小，模型迭代时间越长
多元函数的梯度：多元函数对各个自变量求偏导，求解梯度（向量）=损失函数 J(θ1,θ2)对其自身自变量θ1,θ2求偏导
a为步长，是梯度向量大小dj上的一个比例，dj为梯度向量大小
3、梯度下降：重要参数max_iter
max_iter为人为设置的步数限制
多元函数的梯度：多元函数对各个自变量求偏导，求解梯度（向量）=损失函数 J(θ1,θ2)对其自身自变量θ1,θ2求偏导
a为步长，dj
3、梯度下降：重要参数max_iter
max_iter为人为设置的步数限制
系数累加法，简单快速的包装法
逻辑回归
一、概述
1、逻辑回归是用于分类的回归算法，可做二分类，也可做多分类
2、逻辑回归的sigmoid函数（记住公式和图像）
z越大g(z)越靠近1，z越小g(z)越靠近0，将任何数据压缩到（0,1）
3、逻辑回归的优点：对线性关系拟合效果极好；计算速度快；返回不是固定0、1，而是小数形式类概率数字
4、目的是求解使模型拟合效果最好的参数，方式是梯度下降SGD
二、linear_model.LogisticRegression
1、损失函数：求解最优参数的工具，用来衡量参数为θ的模型拟合训练集产生的信息损失的大小。
追求损失函数最小化的参数组合。（不求解参数的模型就没有损失函数，比如KNN，决策树）
对逻辑回归过拟合的控制，通过正则化实现。
2、控制过拟合的两个参数
1）penalty
默认="l2"，若选择"l1”，参数solver只能使用"liblinear"和"saga"
l1正则化会把参数压缩到0，本质特征选择，越强、0越多、参数越稀疏，防止过拟合。数据维度高：l1正则化。
l2正则化只会让参数尽量小，不会取到0。
2）C：正则化强度导数默认1.0（正则项：损失函数=1:1），越小，对模型惩罚越大，正则化强度越大。
3、重要属性
1）coef_：每个特征对应参数，值越大，对逻辑回归的贡献越大
三、逻辑回归中的特征工程
一般不用PCA，SVD，因为会抹去特征的可解释性；统计方法可以使用，但不必要；嵌入法较高效（尽量保留数据信息&降维）
x_embedded=SelectFromModel(LR_,norm_order=1).fit_transform(x,y)
#参数1：模型
#参数2：threshold是筛选特征的阈值，可以取到的最大值是系数的最大值
abs(LR_.fit(x,y).coef_).max()
#参数3：norm_order=1，使用l1范式，模型删除所有在l1范式下判断无效的特征
逻辑回归模型评估指标
metric.confusion_matrix
metric.roc_auc_score
metric.accuracy_score
1、向量一般写成列向量
2、模型属性都是在fit之后查看
3、np.linspace(start,end,num)包括end
4、predict返回的是一个预测的值，predict_proba返回的是对于预测为各个类别的概率
逻辑回归
一、概述
1、逻辑回归是用于分类的回归算法，可做二分类，也可做多分类
2、逻辑回归的sigmoid函数（记住公式和图像）
z越大g(z)越靠近1，z越小g(z)越靠近0，将任何数据压缩到（0,1）
3、逻辑回归的优点：对线性关系拟合效果极好；计算速度快；返回不是固定0、1，而是小数形式类概率数字
4、目的是求解使模型拟合效果最好的参数，方式是梯度下降SGD
二、linear_model.LogisticRegression
1、损失函数：求解最优参数的工具，用来衡量参数为θ的模型拟合训练集产生的信息损失的大小。
追求损失函数最小化的参数组合。（不求解参数的模型就没有损失函数，比如KNN，决策树）
对逻辑回归过拟合的控制，通过正则化实现。
2、控制过拟合的两个参数
1）penalty
默认="l2"，若选择"l1”，参数solver只能使用"liblinear"和"saga"
l1正则化会把参数压缩到0，本质特征选择，越强、0越多、参数越稀疏，防止过拟合。数据维度高：l1正则化。
l2正则化只会让参数尽量小，不会取到0。
2）C：正则化强度导数默认1.0（正则项：损失函数=1:1），越小，对模型惩罚越大，正则化强度越大。
3、重要属性
1）coef_：每个特征对应参数
三、逻辑回归中的特征工程
一般不用PCA，SVD，因为会抹去特征的可解释性，统计方法可以使用，但不必要
逻辑回归模型评估指标
metric.confusion_matrix
metric.roc_auc_score
metric.accuracy_score
1、向量一般写成列向量
2、模型属性都是在fit之后查看
3、np.linspace(start,end,num)包括end
4、predict返回的是一个预测的值，predict_proba返回的是对于预测为各个类别的概率
5、
逻辑回归
一、概述
1、逻辑回归是用于分类的回归算法，可做二分类，也可做多分类
2、逻辑回归的sigmoid函数（记住公式和图像）
z越大g(z)越靠近1，z越小g(z)越靠近0，将任何数据压缩到（0,1）
3、逻辑回归的优点：对线性关系拟合效果极好；计算速度快；返回不是固定0、1，而是小数形式类概率数字
4、目的是求解使模型拟合效果最好的参数，方式是梯度下降SGD
二、linear_model.LogisticRegression
1、损失函数：求解最优参数的工具，用来衡量参数为θ的模型拟合训练集产生的信息损失的大小。
追求损失函数最小化的参数组合。（不求解参数的模型就没有损失函数，比如KNN，决策树）
对逻辑回归过拟合的控制，通过正则化实现。
2、控制过拟合的两个参数
1）penalty
默认="l2"，若选择"l1”，参数solver只能使用"liblinear"和"saga"
l1正则化会把参数压缩到0，本质特征选择，越强、0越多、参数越稀疏，防止过拟合。数据维度高：l1正则化。
l2正则化只会让参数尽量小，不会取到0。
2）C：正则化强度导数默认1.0（正则项：损失函数=1:1），越小，对模型惩罚越大，正则化强度越大。
3、重要属性
1）coef_：每个特征对应参数
逻辑回归模型评估指标
metric.confusion_matrix
metric.roc_auc_score
metric.accuracy_score
1、向量一般写成列向量
2、模型属性都是在fit之后查看
3、np.linspace(start,end,num)包括end
4、predict返回的是一个预测的值，predict_proba返回的是对于预测为各个类别的概率
5、
逻辑回归
一、概述
1、逻辑回归是用于分类的回归算法，可做二分类，也可做多分类
2、逻辑回归的sigmoid函数（记住公式和图像）
z越大g(z)越靠近1，z越小g(z)越靠近0，将任何数据压缩到（0,1）
3、逻辑回归的优点：对线性关系拟合效果极好；计算速度快；返回不是固定0、1，而是小数形式类概率数字
4、目的是求解使模型拟合效果最好的参数，方式是梯度下降SGD
二、linear_model.LogisticRegression
1、损失函数：求解最优参数的工具，用来衡量参数为θ的模型拟合训练集产生的信息损失的大小。
追求损失函数最小化的参数组合。（不求解参数的模型就没有损失函数，比如KNN，决策树）
对逻辑回归过拟合的控制，通过正则化实现。
逻辑回归模型评估指标
metric.confusion_matrix
metric.roc_auc_score
metric.accuracy_score
向量一般写成列向量
逻辑回归
一、概述
1、逻辑回归是用于分类的回归算法，可做二分类，也可做多分类
2、逻辑回归的sigmoid函数（记住公式和图像）
z越大g(z)越靠近1，z越小g(z)越靠近0，将任何数据压缩到（0,1）
3、逻辑回归的优点：对线性关系拟合效果极好；计算速度快；返回不是固定0、1，而是小数形式类概率数字
4、目的是求解使模型拟合效果最好的参数，方式是梯度下降SGD
二、linear_model.LogisticRegression
逻辑回归模型评估指标
metric.confusion_matrix
metric.roc_auc_score
metric.accuracy_score
向量一般写成列向量
逻辑回归
一、概述
1、逻辑回归是用于分类的回归算法，可做二分类，也可做多酚
2、逻辑回归的sigmoid函数（记住公式和图像）
z越大g(z)越靠近1，z越小g(z)越靠近0，将任何数据压缩到（0,1）
3、逻辑回归的优点：对线性关系拟合效果极好；计算速度快；返回不是固定0、1，而是小数形式类概率数字
向量一般写成列向量
逻辑回归
一、概述
1、逻辑回归是用于分类的回归算法
2、逻辑回归的sigmoid函数（记住公式和图像）
z越大g(z)越靠近1，z越小g(z)越靠近0，将任何数据压缩到（0,1）
3、
向量一般写成列向量
逻辑回归
为线加噪音：
SVD比PCA快得多
一、2个重要参数
1、svd_solver
"auto"：数据量小选full，大则选randomized
"full"：生成完整的矩阵，数据量不大一般选用
"randomized"：适合特征矩阵巨大，计算量大。
"arpack”：适合特征矩阵大，一般用于特征矩阵为稀疏矩阵（每一列为0,1组成，大部分为0）
注：一般选"auto", 算不出来找"randomized"
2、random_state:
svd_solver为"randomized""arpack”生效，通常选"auto"
二、重要属性components_：提出的值是V(k,n)，表示新特征空间，可视化可以看出提取了什么重要信息，n维压缩到k维
SVD比PCA快得多
一、2个重要参数
1、svd_solver
"auto"：数据量小选full，大则选randomized
"full"：生成完整的矩阵，数据量不大一般选用
"randomized"：适合特征矩阵巨大，计算量大。
"arpack”：适合特征矩阵大，一般用于特征矩阵为稀疏矩阵（每一列为0,1组成，大部分为0）
注：一般选"auto", 算不出来找"randomized"
2、random_state:
svd_solver为"randomized""arpack”生效
3）按信息量占比选择
n_components=[0,1]之间浮点数，且让参数scd_solver='full'(n_components=0.97,scd_solver='full'选出使保留信息量超过0.97的信息量的特征），比较快可以多用
降维算法
一、维度概述
1、对数组和Series，shape中返回几个数字就是几维，几个方括号就是几维
2、特征矩阵，DataFrame，几个特征就是几维，对应图中几个坐标轴，降维降的是特征数量
二、降维算法decomposition.PCA：主成分分析
1、PCA使用的信息量衡量指标为样本方差，越大，该特征带有信息量越多。
2、降维后找到的每个新特征向量叫“主成分”，新特征没有可读性，属于特征创造。线性回归不适合使用PCA。
3、重要参数
1）n_components：降维后要保留的特征数量，一般选 0-最小维度（特征数和标签数比较小的值） 范围内整数，默认为最小维度。如果需要可视化，取2或3.
2）如何选择n_components？
累积可解释方差贡献率曲线。横坐标：降维后保留的特征个数，纵坐标：累积可解释方差贡献率（选1个特征多少总信息，2个特征多少总信息...）
plt.plot([1,2,3,4],np.cumsum(pca_line.explained_variance_ratio_))
最大似然估计自选超参数。n_components="mle"，计算量大
4、重要属性
1）属性explained_variance：查看降维后每个新特征信息量大小
2）属性explained_variance_ratio：查看降维后每个新特征信息量占原始数据信息量百分比
三、降维算法SVD
降维算法计算量很大
降维算法
一、维度概述
1、对数组和Series，shape中返回几个数字就是几维，几个方括号就是几维
2、特征矩阵，DataFrame，几个特征就是几维，对应图中几个坐标轴，降维降的是特征数量
二、降维算法decomposition.PCA：主成分分析
1、PCA使用的信息量衡量指标为样本方差，越大，该特征带有信息量越多。
2、降维后找到的每个新特征向量叫“主成分”，新特征没有可读性，属于特征创造。线性回归不适合使用PCA。
3、重要参数
三、降维算法SVD
降维算法计算量很大