数据标准化，把它变成标准分布。

同时调整多个参数，模型运行非常慢。更换数据预处理的方式。

调参可以画学习曲线，或者进行网格搜索。模型调参，第一步找目标。

泛化误差：当模型在未知数据表现很差时，表明模型泛化能力不够。模型太简单和太复杂泛化误差都会很大。

偏差-方差困境。n_estimator增加，不影响单个模型的复杂度。调参方向：降低模型复杂度。

max_deph有增无减，模型复杂度增加。

当复杂度无法再降低时，就可以不用再tiaozhnegle

[*矩阵]查看列的索引。需要Ytest所带的索引，

使用随机森林填补缺失值。n个数据，特征T有缺失值，把特征T当作标签，作为训练集。遍历所有特征，缺失值最少的特征进行填补，因为一开始需要的缺失值最少。当进行到最后一行时，那么在弥补缺失值最多的数据时，就有足够多的准确数据了。

随机森林填补获取数据集时的缺失值。

sklearn.impute.SimpleImputer轻松填补数据缺失值。

随机森林的回归。

分类树与回归树，MSE均方误差。

回归树衡量指标mse、firedman_mse与MAE

sklearn使用负值的均方误差作为衡量指标，因为表示的是损失。

load_boston是一个标签连续型数据集。

regressor是模型

boston.data完整的矩阵、boston.target是标签。来回验证十次，scoring选择指标进行打分。

一半以上的决策树判断错误，才会导致随机森林才会判断错误。

comb是求和。

相同的训练集与参数，随机森林中的树会有不同的判断结果，选择重要的特征进行提问。

estimators，查看森林中树的参数或属性。每棵树中的random_state不一样，导致每棵树都不一样。

random_state固定，随机森林中的树是固定的，但随机挑选的特征，导致树是不一样。随机性越大，效果越好。

bootstrap用于控制抽样技术的参数。

自主集：从原始训练集中进行n次有放回抽样，得到的数据集。自主集会包含63%的原始数据集元素。剩下37%数据可以作为测试模型的数据，称为袋外数据。

wine.target为wine的标签。

一个自助集里，样本A永远不被抽到的概率：(1-1/n)^n

oob_score训练分数。

apply返回所在叶子节点的索引

predict_proba返回每个样本对应类别的标签的概率。

n_estimators基评估器数量，该值越大，越好。

到达一定程度后，精确性会开始波动。

集成算法：在数据上构建多个模型，集成所有模型的建模结果。

集成算法会考虑多个评估器的建模结果，汇总之后得到一个综合的结果。

集成评估器：基评估器，装袋法，提升法，stacking

sklearn中的ensemble，集成算法有一半以上都是树的模型。决策树用于分类和回归问题。通过有特征和标签的表格中，通过对特定特征进行提问，总结出决策规则。

如何找到正确的特征去提问，定义衡量分支质量的指标不纯度。

sklearn中的信息熵，实际上是信息增益。即父节点的信息熵-子节点的信息熵。

非参数：即不限制数据结构和类型

有监督：有标签

啊深度啊收到卡后

老师的卷发就到了发掘了深刻的