max_features & min_impurity_decrease

一般max_depth使用，用作树的”精修“

·max_features

限制分枝时考虑的特征个数，超过限制个数的特征都会被舍弃。和max_depth异曲同工，max_features是用来限制高维度数据的过拟合的剪枝参数，但其方法比较暴力，是直接限制可以使用的特征数量 而强行使决策树停下的参数，在不知道决策树中的各个特征的重要性的情况下，强行设定这个参数可能会导致模型 学习不足。如果希望通过降维的方式防止过拟合，建议使用PCA，ICA或者特征选择模块中的降维算法。

·min_impurity_decrease限制信息增益的大小，（信息增益是用父节点的信息熵-子节点的信息熵）信息增益小于设定数值的分枝不会发生。这是在0.19版本中更新的功能，在0.19版本之前时使用min_impurity_split。

剪枝参数可以通过学习曲线来找到最优参数

无论如何，剪枝参数的默认值会让树无尽地生长，这些树在某些数据集上可能非常巨大，对内存的消耗也非常巨 大。所以如果你手中的数据集非常巨大，你已经预测到无论如何你都是要剪枝的，那提前设定这些参数来控制树的 复杂性和大小会比较好。

剪枝参数

在不加限制的情况下，一棵决策树会生长到衡量不纯度的指标最优，或者没有更多的特征可用为止。这样的决策树 往往会过拟合，这就是说，它会在训练集上表现很好，在测试集上却表现糟糕。

为了让决策树有更好的泛化性，我们要对决策树进行剪枝。剪枝策略对决策树的影响巨大，正确的剪枝策略是优化 决策树算法的核心。

·max_depth

限制树的最大深度，超过设定深度的树枝全部剪掉 这是用得最广泛的剪枝参数，在高维度低样本量时非常有效。决策树多生长一层，对样本量的需求会增加一倍，所 以限制树深度能够有效地限制过拟合。实际使用时，建议从=3开始尝试，看看拟合的效 果再决定是否增加设定深度。

·min_samples_leaf & min_samples_split min_samples_leaf

限定，一个节点在分枝后的每个子节点都必须包含至少min_samples_leaf个训练样本，否则分 枝就不会发生，或者，分枝会朝着满足每个子节点都包含min_samples_leaf个样本的方向去发生。

一般搭配max_depth使用，在回归树中有神奇的效果，可以让模型变得更加平滑。这个参数的数量设置得太小会引 起过拟合，设置得太大就会阻止模型学习数据。一般来说，建议从=5开始使用。

min_samples_split限定，一个节点必须要包含至少min_samples_split个训练样本，这个节点才允许被分枝，否则 分枝就不会发生。

建一棵树

train_test_split

训练集和测试集划分每次都是随机的喔，所以实验结果每次都不同

决策树在形成时，分支的时候是通过计算每个节点的不纯度来选取节点，是通过优化每个节点来形成的，但是最优的节点不一定能形成最优的树。

每次建树的时候都是通过选取不同的特征值来形成不同的树。但是每次返回的最优的树都不同。

所以可以通过固定一个种子数来固定最优树模型。

random_state用来设置分枝中的随机模式的参数，默认None，在高维度时随机性会表现更明显，低维度的数据 （比如鸢尾花数据集），随机性几乎不会显现。输入任意整数，会一直长出同一棵树，让模型稳定下来。

splitter也是用来控制决策树中的随机选项的，有两种输入值，输入”best"，决策树在分枝时虽然随机，但是还是会 优先选择更重要的特征进行分枝（重要性可以通过属性feature_importances_查看），输入“random"，决策树在 分枝时会更加随机，树会因为含有更多的不必要信息而更深更大，并因这些不必要信息而降低对训练集的拟合。

加入splitter=‘random’以后会发现树变得更大更宽了，因为特征值选取更加随机了

默认是best

重要参数

criterion

为了要将表格转化为一棵树，决策树需要找出最佳节点和最佳的分枝方法，对分类树来说，衡量这个“最佳”的指标 叫做“不纯度”。通常来说，不纯度越低，决策树对训练集的拟合越好。

不纯度基于节点来计算，树中的每个节点都会有一个不纯度，并且子节点的不纯度一定是低于父节点的，也就是 说，在同一棵决策树上，叶子节点的不纯度一定是最低的。

Criterion这个参数正是用来决定不纯度的计算方法的。sklearn提供了两种选择：

1）输入”entropy“，使用信息熵（Entropy） 2）输入”gini“，使用基尼系数（Gini Impurity）

当使用信息熵 时，sklearn实际计算的是基于信息熵的信息增益(Information Gain)，即父节点的信息熵和子节点的信息熵之差。

比起基尼系数，信息熵对不纯度更加敏感，对不纯度的惩罚最强。但是在实际使用中，信息熵和基尼系数的效果基 本相同。信息熵的计算比基尼系数缓慢一些，因为基尼系数的计算不涉及对数。另外，因为信息熵对不纯度更加敏 感，所以信息熵作为指标时，决策树的生长会更加“精细”，因此对于高维数据或者噪音很多的数据，信息熵很容易 过拟合，基尼系数在这种情况下效果往往比较好。当模型拟合程度不足的时候，即当模型在训练集和测试集上都表 现不太好的时候，使用信息熵。当然，这些不是绝对的

决策树

1、概述

决策树是一种非参数的有监督学习方法，它能够从一系列有特征和标签的数据中总结出决策规则，以解决分类和回归问题。

2、关键概念：节点

根节点：没有进边，有出边。包含最初的，针对特征的提问。

中间节点：既有进边也有出边，进边只有一条，出边可以有很多条。都是针对特征的提问。

叶子节点：有进边，没有出边，每个叶子节点都是一个类别标签。

子节点和父节点：在两个相连的节点中，更接近根节点的是父节点，另一个是子节点。/3、

3、决策树算法的核心是要解决两个问题：

1）如何从数据表中找出最佳节点和最佳分枝？ 2）如何让决策树停止生长，防止过拟合？

4、模块sklearn.tree的使用

什么是sklearn？

sklearn是一个开源的基于python语言的机器学习工具包，它通过numpy、scipy和matplotlib等python数值计算的库实现高效的算法应用，涵盖了几乎所有主流机器学习算法。

数据预处理

深度学习需要的是标准的正方形图片

（1）image resize

（2）Data Argumentation

（3）Normalize

（4）to tensor

自定义数据集实战

test数据量太小的话，测试结果波动较大，所以我们为了保证测试的效果，会把测试集的数据多分配一些

1、load data ——比较重要的模型；

继承一个通用的母类

inherit from torch.utils.data.Dataset

要定一个两个函数

_len_：数据量

_getitiem_：能够得到指定的样本

2、build model——在我们已经定义好的模型上做一些修改；

3、train and test

4、transfer learning

情感分类实战

Google CoLab

（1）continuous 12 hours；

（2）free K80 for GPU；

（3）不需要爬墙

LSTM使用方法

LSTMcell更为灵活的使用方法，可以自定义喂数据的方式

2、输入门

it作为一个开度，将多少信息传入到下一个时间点，有算法决定这个开度；新信息同样也是由ht-1和当前点的xt共同决定的。it是对当前信息的过滤系数，当前信息与开度相乘之后就是经过过滤后输入下一个点的新信息。

输入门的值

ct是memory，ht是隐藏层的输出

3、输出值

同样是由开度和ct共同决定的，ot作为开度也是由算法决定的

LSTM如何解决梯度离散的问题呢？

由于存在忘记门、输入门和输出门三个门

当前隐藏层对前一个隐藏层求导时，出现三个值相加的情况，不容易出现都是大或都是小的情况，数值相对可靠，所以效果相对来说更好一些。

LSTM将短期记忆变长，RNN只能记住比较短的时间序列，LSTM就是为了解决短期记忆的问题。

1、忘记门

梯度爆炸

why？

梯度是有WR的k次方乘以其他的一些东西得到的

当WR大于1的时候，k次方会非常大

当WR小于1的时候，k次方会接近于0

我们的loss本来是逐渐变小的，发生梯度爆炸的loss会突然增大，为了解决这个问题，我们可以检查当前位置的梯度值，如果大于我们设定的阈值，我们将用梯度本身来除以她此刻的模，再乘以阈值，这样使得梯度在设定范围内，且方向不发生变化

Gradient Clipping

查看一下梯度的模，利用clip_grad_norm把梯度的裁剪到10左右

梯度离散：后面隐藏层梯度变化比较大，前面的隐藏层梯度变化很小，长时间得不到更新

out是所有的时间戳上面最后一个memory状态

h是左右一个时间的所有memory状态

memory的更新方式

How to train?

求导过程略

RNN循环神经网络

RNN跟CNN最大的区别是会根据语境信息更新

时间序列表示方法

pytorch里面并没有支持字符串的功能

one_hot是比较稀疏的、维度高

sequence序列能接受的input shape有两种

[word num, b, word vec]

[b, word num, word vec]

CIFAR—10数据集包括了常见的十类事物的图片

每一类有6000张图片，一共有6万张，其中5万张用来训练，1万张用来测试

洛贝达法则

泰勒展开