误差来源于两个——一个是bias，还有一个是variance。出现bias是由于开始就没有瞄准靶心；出现vaiance是由于瞄准了靶心，但是发射的时候出现了偏离。我们的目标是低bias和低variance。

红色的部分是分别在考虑输入值一次方、三次方和五次方函数进行5000次实验的结果，蓝色的线条是将5000次实验结果进行平均即结果

越简单的模型，bias越大，variance比较小；反之，模型越复杂，variance越大，但是平均值却比较接近于期望值

bias较大的情况，问题出现在underfitting；

variance较大的情况，问题出现在overfitting

Diagnosis：

(1)当模型不能拟合训练集时，我们有较大的bias；

(2)当模型可以集合训练集，但是在测试集上出现了较大的损失值，则很大可能上有较大的variance

for bias, redesign模型：
（1）add more feature as input

（2）a more complex model

for variance

（1）more data（增加每次实验的样本量）

（2）Regularization我们希望曲线越平缓越好

伤害：只包含了比较平滑的曲线，在取值上产生了较大的bias

model selection：

我们想要找到尽可能小的bias和variance来得到最小的损失值