包装法：

特征选择（专门算法）和训练同时进行，可以与任何有coef_, feature_importances_属性的模型一起使用，计算成本小于嵌入法

• 使用feature_selection.RFE类：迭代选取特征。
• 参数estimator：实例化后的评估器，n_features_to_select：想选的特征数，step：每迭代一次删去的特征数
• 属性.support_：特征是否被选中的不二矩阵，.ranking_：特征重要性排名，前面越重要。（训练后查看属性，不要转化）
• 计算量大，优先使用方差过滤和互信息法；逻辑回归，嵌入法优先；支持向量机，包装法优先；没思路，过滤法开始

包装法也是一个特征选择和算法训练同时进行的方法，与嵌入法十分相似，它也是依赖于算法自身的选择，比如 coef_属性或feature_importances_属性来完成特征选择。但不同的是，我们往往使用一个目标函数作为黑盒来帮 助我们选取特征，而不是自己输入某个评估指标或统计量的阈值。包装法在初始特征集上训练评估器，并且通过 coef_属性或通过feature_importances_属性获得每个特征的重要性。然后，从当前的一组特征中修剪最不重要的 特征。在修剪的集合上递归地重复该过程，直到最终到达所需数量的要选择的特征。区别于过滤法和嵌入法的一次 训练解决所有问题，包装法要使用特征子集进行多次训练，因此它所需要的计算成本是最高的。

最典型的目标函数是递归特征消除法（Recursive feature elimination, 简写为RFE）。它是一种贪婪的优化算法， 旨在找到性能最佳的特征子集。 它反复创建模型，并在每次迭代时保留最佳特征或剔除最差特征，下一次迭代时， 它会使用上一次建模中没有被选中的特征来构建下一个模型，直到所有特征都耗尽为止。然后，它根据自己保留或 剔除特征的顺序来对特征进行排名，最终选出一个最佳子集。包装法的效果是所有特征选择方法中最利于提升模型 表现的，它可以使用很少的特征达到很优秀的效果。