支持向量机（SVM，也称为支持向量网络），是机器学习中获得关注最多的算法没有之一。它源于统计学习理论， 是我们除了集成算法之外，接触的第一个强学习器。它有多强呢？
从实际应用来看，SVM在各种实际问题中都表现非常优秀。它在手写识别数字和人脸识别中应用广泛，在文本和超 文本的分类中举足轻重，因为SVM可以大量减少标准归纳（standard inductive）和转换设置（transductive settings）中对标记训练实例的需求。同时，SVM也被用来执行图像的分类，并用于图像分割系统。。除此之外，生物学和许多其他科学都是SVM的青睐者，SVM现在已经广泛被用于蛋白质分类，现 在化合物分类的业界平均水平可以达到90%以上的准确率。在生物科学的尖端研究中，人们还使用支持向量机来识 别用于模型预测的各种特征，以找出各种基因表现结果的影响因素。
从学术的角度来看，SVM是最接近深度学习的机器学习算法。线性SVM可以看成是神经网络的单个神经元（虽然损 失函数与神经网络不同），非线性的SVM则与两层的神经网络相当，非线性的SVM中如果添加多个核函数，则可以 模仿多层的神经网络。
类方法：从属于“类对象”的方法，格式如下：
@classmethod
def 类对象(cls,[,形参列表])：
函数体
要点如下：
（1）@classmathod必须位于方法上面一行
（2）第一个cls必须有；cls指的就是“类对象”本身；
（3）调用类方法格式：“类名.类方法名（参数列表）”，不需要给cls传值。
类对象
实例方法(从属于实例对象)
def 方法名（self,[形参列表]）：
函数体
实例属性：从属于实例对象，也成为实例变量。
（1）实例属性一般在__init__()方法中通过如下代码定义：
self.实例属性名=初始值
（2）在本类的其他实例方法中，也是通过self进行访问：
self.实例属性名
（3）创建实例对象后，通过实例对象进行访问：
obj01=类名() #创建对象，调用__init__()初始化属性
obj01.实例属性名=值 #可以给已有属性赋值，也可以新加属性
构造函数__init__():初始化实例对象的实例属性。
Python对象包含三个部分=id、type、value
只要是类中的方法参数第一个都是self，通过类名()来调用构造函数
对象的进化
面向对象
Python支持面向过程、面向对象、函数式编程等多种编程范式。
LEGB规则
Local:函数或者类的方法内部
nonlocal关键字
nonlocal 用来声明外部的局部变量
global 用来声明全局变量
嵌套函数：在函数内部定义的函数
递归函数：在函数体内直接或者间接的自己调用自己。
(1)终止条件：表示递归什么时候结束，一般用于返回值，不再调用自己。
（2）递归步骤：把第n步的值和第n-1步相关联。
eval()函数
lambda表达式和匿名函数
基本语法：
lambda arg1,arg2,arg3...:<表达式>
可变参数（一个*为元组，**为字典）
强制命名参数（当带星号的“可变参数”后面增加新的参数，必须是强制命名参数）
参数的几种类型
位置参数
默认值参数
命名参数
传递不可变对象：浅拷贝
浅拷贝和深拷贝
浅拷贝：不拷贝子对象的内容，只拷贝子对象的引用。
深拷贝：会连子对象的内存全部拷贝一份，对子对象的修改不会影响源对象。
高效嵌入法embedded
业务选择
说到降维和特征选择，首先要想到的是利用自己的业务能力进行选择，肉眼可见明显和标签有关的特征就是需要留 下的。当然，如果我们并不了解业务，或者有成千上万的特征，那我们也可以使用算法来帮助我们。或者，可以让 算法先帮助我们筛选过一遍特征，然后在少量的特征中，我们再根据业务常识来选择更少量的特征。
PCA和SVD一般不用
逻辑回归是由线性回归演变而来，线性回归的一个核心目的是通过求解参数来探究特征X与标签y之间的 关系，而逻辑回归也传承了这个性质，我们常常希望通过逻辑回归的结果，来判断什么样的特征与分类结果相关， 因此我们希望保留特征的原貌。PCA和SVD的降维结果是不可解释的，因此一旦降维后，我们就无法解释特征和标 签之间的关系了。当然，在不需要探究特征与标签之间关系的线性数据上，降维算法PCA和SVD也是可以使用的。
统计方法可以使用，但不是非常必要
逻辑回归对数据的要求低于线性回归，由于我们不是使用最小二乘法来求解，所以逻辑回归对数据的总体分布和方差没有要求，也不需要排除特征之间的共线性，但如果我 们确实希望使用一些统计方法，比如方差，卡方，互信息等方法来做特征选择，也并没有问题。过滤法中所有的方法，都可以用在逻辑回归上。