集成算法

调参曲线,交叉验证,网格算法    调参方法

base estimator 基评估器

boosting 结合弱评估器一次次对难以评估的对象进行攻克

对特征提问得出决策规则-决策树

# 函数rotation=90旋转的度数

###调整x或者y轴上的参数

1.from matplotlib import pyplot as plt引入函数

2.plt.figure(figsize=(20,8),dpi=80)

#figurezide图片大小，（长，宽），dpi越大越不容易失真

from matplotlib import pyplot as plt

x=range(2,26,2)
y=[15,13,14,5,17,20,25,26,26,27,22,18,15]

#设置图片大小
#figurezide图片大小，（长，宽），dpi越大越不容易失真
plt.figure(figside=(20,8),dpi=80)

#绘图
plt.plot(x,y)

#设置x轴
_xtick_labels=[i/2 for i in range(2,49)]
plt.xticks(_xtick_labels[::3])

#保存

#plt.savefig("./t1.png")
#展示
plt.show()

时间复杂度

degree：默认为2，输入的整数越大，升入的维度越高

ordinal：会返回一列特征

什么是正则化路径？

不同a对应的特征向量的参数的取值所对应的矩阵

eps, n_alphas作用?帮助生成很小的a的取值

岭回归和LASSO的评估指标？岭回归是R2，LASSO是MSE

参数alpha_和alphas_？最佳a、自动生成的a

岭回归和LASSO计算交叉验证结果的区别？

ridge.cv_values_.mean(axis=0)#跨行求均值

lasso.mse_path_.mean(axis=1)#跨列求均值

为什么要用LASSO特征选择？LASSO对alpha敏感

如何画一条水平的虚线？

sklearn.linear_model.Ridge（岭回归：线性回归的基础上加上正则项，以处理多重共线性）

1）核心参数alpha：正则项系数，默认1，增大以消除多重共线性带来的影响，但过大会削弱模型本来已有的信息

2）通过调节alpha，模型的泛化能力可能上升。但现实生活中，很少有带有多重共线性的数据，使用岭回归和lasso模型表现一般会降低，

3）泛化能力没有直接衡量指标，只能通过R²和方差来大致判断（var()查看方差，方差反映真实值和预测值的差距）

岭回归解决多重共线性

矩阵的逆存在的条件：行列式不为0

MSE和MSA

2、衡量是否拟合了足够的信息：R²，越接近1越好

1) from sklearn.metrics import r2_score
r2_score(ytest,yhat)
2) reg.score(xtest,ytest)
3) cross_val_score(reg,x,y,cv=10,scoring="r2").mean()
R²为负说明模型拟合十分糟糕

如何用sklearn.metrics中的roc_curve函数计算 

y_true：真实标签

y_score：decision_function返回的距离or置信度分数or正类样本的概率

pos_label：填上1，表示1为正样本

返回FPR，recall和阈值

如何计算auc？

from sklearn.metrics import roc_auc_score
roc_auc_score(y,clf.decision_function(x))

ROC曲线上如何画x=y的直线？
plt.plot([0,1],[0,1],linestyle="--",c="black")

SVM实现概率预测：重要参数probabiity，接口decision_function

重要参数probabiity：布尔值，默认为False，是否启用概率估计，启用后可以调用predict_prob和predict_log_proba接口。该功能会减慢SVM运算速度

接口decision_function返回SVM的置信度（衡量样本有多大可能属于某一类）

对二维数据decision_function生成距离，是一维，表示每个点到决策边界的距离，predict_proba生成两列的概率，是二维

SVM实现概率预测

二分类SVC中的样本不均衡问题：重要参数class_weight，接口fit中的参数sample_weight

class_weight：默认为None，可输入字典或balanced（SVM通过在C上加权重影响样本均衡）

sample_weight：数组，必须对应输入fit特征矩阵的每个样本

分类模型天生倾向多数的类

SVM样本总量对运算速度影响大

在数据空间中找出一个超平面作为决策边界，利用决策边界对数据进行分类，决策边界是比数据空间小一维的空间