机器学习是从数据中自动分析获得规律(模型)，并利用规律对未知数据进行预测

1. 解放生产力

2.解决专业问题

3.提供社会便利

费马定理

sympy 符号计算

极限

O 来自 order 大写：以多项式的最大的次项的次数 大O(n) 表示 f(x) =O(g(x))  f(x)的阶与g(x)的阶相同

小写O f(x)=o(g(x))  f(x)的阶小于g(x)的阶

梯度下降法

连续[2:5,1:4]跳跃[[2,1],[3,5]]

1. 集合
2. 元素
3. 描述方式
4. ​​​​​​​子集
5.  

让机器学习程序替换手动步骤，减少企业的成本，也提高企业的效率

真是听过讲的最烂的，重点yong'yuan'tiao'guo

# Machine learning

- make decisions

- go right/left 

- increse/decrease

# 为什么使用tensorflow

- GPU加速 比cpu快很多

- 自动求导

- 神经网络API

> 给与cpu和gpu一个热身的时间：warm-up

数据分析的流程:

1. 提出问题
2. 准备数据
3. 分析数据
4. 获得结论
5. 成果可视化

# 非监督学习

## k-means （聚类）

> 聚类做在分类之前

# 分类算法：逻辑回归

> 逻辑回归：线性回归的式子作为输入，解决二分类问题， 也可以得出概率值

## 1、应用场景（基础分类问题：二分类）

- 广告点击率

- 是否为垃圾邮件

- 是否患病

- 金融诈骗

- 虚假账号

## 2、广告点击

- 点击

- 没点击

## 3、逻辑回归的输入与线性回归相同

# 模型的保存和加载

from sklearn.externals import joblib

## 过拟合与欠拟合

> 问题：训练集数据训练得很好，误差也不大，在测试集上有问题 原因：学习特征太少，导致区分标准太粗糙，不能准确识别处目标

- 欠拟合：特征太少

- 过拟合：特征过多

特征选择：

- 过滤式：低方差特征

- 嵌入式： 正则化，决策树，神经网络

## 2、线性回归策略

> 预测结果与真实值有误差

> 回归：迭代的算法，知道误差，不断减小误差，

### 损失函数

- 最小二乘法之梯度下降

scikit-learn：

- 优点：封装好，建立模型简单，预测简单

- 缺点：算法的过程，有些参数都在算法API内部优化

## 集成学习方法-随机森林

### 集成学习方法

> 通过建立几个模型组合来解决单一预测问题。工作原理是生成多个分类器/模型，各自独立地学习和做出预测，这些预测最后结合成单预测，因此优于任何一个单分类的做出预测。

### 随机森林

> 在机器学习中，随机森林是一个包含多个决策树的分类器，并且其输出的类别是由个别树输出的类别的众数而定。多个决策树来投票

### 随机森林建立多个决策树的过程

# 分类算法：决策树、随机森林

## 1、认识决策树

### 决策树的划分

## 2、信息的度量和作用

> 信息的单位：比特

### 信息熵

> 信息和消除不确定性xiang'guan