数据预处理与特征工程
数据挖掘的五大流程:获取数据、数据预处理、特征工程、建模、上线验证
数据预处理与特征工程
数据挖掘的五大流程:获取数据、数据预处理、特征工程、建模、上线验证
首先调整
机器学习调参基本思想
调参目标是提升某个模型评估指标
1、泛化误差(衡量模型在未知数据上准确率的指标)
1)在测试集上表现不好:泛化能力不够
2)泛化误差受模型结构(复杂度)影响(U型曲线),调参之前,判断模型在曲线哪个部分
3)模型太简单或太复杂,泛化误差都会升高,追求的是中间的平衡点
4)模型太复杂:过拟合,太简单:欠拟合
5)树模型和树的集成模型,越深、枝叶越多、模型越复杂
6)树模型和树的集成模型目标:减少模型复杂度(剪枝),使模型向图像左边移动
2、各个参数对树模型的影响程度(由大到小)
1)n_estimators:计算量允许,越大越好,不影响单个模型复杂度
2)max_depth:默认让树生长到最茂盛,下降,模型更简单
3)min_samples_leaf、min_samples_split:默认最小限制1、2,即最高复杂度,调大,模型更简单
4)max_features:默认特征总数开平方(auto),中间复杂度,减小,更简单,增加,更复杂(不怎么用)
5)criterion:一般选gini(影响看具体情况)
x_labels=['full data'
pd.concat()
第一个参数:需要连接的所有对象用列表包起来
第二个参数:axis=1左右相连
特征矩阵和标签有某种联系,可以交换
特征矩阵缺失值标签:x_test
特征矩阵缺失值:需要预测的y_test
特征矩阵不缺失值:y_train,标签:x_train
(这种做法适用于某一列特征大量缺失,若多列缺失,遍历特征,从缺失最少的列填补,填补其中一列时,先将其它特征缺失值用0代替)
imp_mean=S
RandomForestRegressor(随机森林回归)
一、参数criterion取值不同(与决策树部分相同)
1)"mse":回归树中,MSE是分支质量衡量指标,也是回归树回归质量衡量指标
2)"friedman_mse"
3)"mae"
二、模型衡量指标不同:R²或MSE(常用)
三、常用接口apply, predict, fit, score,没有predict_proba
注:如何打印模型评估指标列表?
import sklearn
sorted(sklearn.metrics.SCORERS.keys())
2、random_state
1)随机森林中的random_state控制的是生成森林的模式,设成固定值生成一组固定的树
2)决策树中的random_state控制随机选择特征分支
3)随机性越大,bagging效果一般越好,因此一般不设置,若追求稳定性可设置成固定值
3、bootstrap、oob_score
1)bootstrap默认为True,控制有放回的随机抽样
2)oob_score默认为False,设置为True表示希望用袋外数据测试模型,此时训练函数中放入完整数据(不用划分训练集、测试集)
三、重要属性
1、estimators_,查看森林中树的状况
.estimators[num]取出一棵树
2、oob_score_,查看在袋外数据上测试结果
3、feature_importance_查看特征重要性(用zip把特征重要性和特征名连起来,易于观察哪一个特征更为重要)
四、重要接口
1、4个常用接口:apply(返回测试集中每一个样本在每一棵树中叶子节点的索引;需要画图或需要提取单独叶子节点时使用)、fit、predict(返回对测试集预测的标签)、score
2、predict_proba:
1)返回每个测试样本被分到每一类标签的概率,标签几类,返回几个
二、RandomForestClassifier(随机森林分类器)参数
1、n_estimators:森林中树木的数量
1)越大往往越好,但计算量越大,达到一定值精确性波动,一般在0-200内选
2)单个决策树准确度越高,随机森林的准确度也会越高
随机森林
一、概述
1、集成算法
1)集成算法考虑多个评估器的结果,汇总获取更好的分类、回归表现
2)三种集成算法:装袋法bagging(模型独立),提升法boosting(模型相关),stacking
3)随机森林是一种bagging集成算法
超平面:就是低于
numpy数组
1、
如何进行增维?(放到回归树中的数据必须是二维的)
1).reshape(-1,1)
2)[:,np.newaxis]
交叉验证()
1、观察模型稳定性的一种方法,避免测试集训练集划分导致模型不同
2、数据分为n份,依次把其中一份作为测试集,其他为训练集,交叉验证n次求平均值
3、model_selection.cross_val_score的五个参数
1)任何实例化的算法模型
2)不需划分测试集、训练集的特征矩阵
3)不需划分的完整标签
4)cv=10,做十次交叉验证,数据划分为十份,每次一份为测试集,剩下为训练集,通常选5,默认为5
5)scoring="neg_mean_squared_error",neg_mean_squared_error负均方误差。用这个指标评估交叉验证的结果。不填,回归默认返回R平方
1、回归问题处理的是连续型变量
交叉验证(model_selection.cross_val_score)
1、观察模型稳定性的一种方法,避免测试集训练集划分导致模型不同
2、数据分为n份,依次把其中一份作为测试集,其他为训练集,交叉验证n次求平均值
1、回归问题处理的是连续型变量
回归树
一、参数、属性、接口几乎和分类树相同)
二、回归树没有标签分布均衡问题,没有class_weight
三、参数criterion差异
1、="mse",均方误差
1)父节点和子节点均方误差的差额,本质是样本真实数据和回归结果的差异。
2)在回归树中,MSE是分枝质量衡量指标、回归树回归质量衡量指标。越小越好。
3)回归树接口score返回的是R平方,不是MSE,取值为负无穷到1,MSE总为正,sklearn中为负值
2、="friedman_mse",费尔德曼均方误差
3、="mae",绝对平均误差
四、目标权重参数(用的少)
控制目标权重,保持样本标签平衡(不平衡:某类标签占比大,决策树会向占比大标签偏移)
1、class_weight
1)给少量标签更多权重,参数默认None(所有标签相同权重)
2、min_weight_fraction_leaf
1)基于权重的剪枝参数,比min_samples_leaf更偏向主导类
2)样本加权使用此参数剪枝
重要接口
1、fit训练,score
2、apply测试样本叶子节点索引,predict返回测试样本分类或回归标签结果(只输入训练集特征,不需要标签y)
注:所有接口中要求输入x_test或x_train部分必须输入二维矩阵,不接受任何一维矩阵输入,若数据只有一个样本,reshape(-1,1)增维
4、max_features
1)限制分枝考虑的特征个数
2)用于高维数据,防止过拟合
3)缺点:强行设定会导致模型学习不足。
4)如果希望通过降维防止过拟合,最好使用PCA,ICA中的降维算法
5、min_impurity_decrease
1)限制信息增益的大小,信息增益小于指定数值的分枝不会发生
2)信息增益:父节点和子节点信息熵的差(子节点信息熵一定小于父节点信息熵),越大,这一层分枝对决策树贡献越大
注:
1)如何确定最优的剪枝参数?画出超参数学习曲线
2)剪枝参数不一定能提升模型在测试集上的表现
三、剪枝参数:正确剪枝是优化决策树算法的核心
注:剪枝后准确度不下降,保留剪枝参数,避免重复计算;准确度下降,注掉参数
1、max_depth:限制树的最大参数
高维度、低样本量非常有效,从=3开始尝试,看拟合效果再增加深度
2、min_sample_leaf
1)一个节点在分枝后,每个节点至少包含min_sample_leaf个训练样本samples
2)一般和max_depth搭配使用
3)太小:过拟合,太大:阻止模型学习数据
4)从=5开始使用;
训练集测试集划分不平衡:输入浮点数(含义为样本总量*小数);
类别不多,=1通常最好
3、min_sample_split
1)一个节点至少min_sample_split个样本才被允许分枝