1. AlexNet(现代神经网络起源):

1.1 AlexNet,

1.2 卷积神经网络基本构成

卷积层CNN+池化层+全连接层FC

全连接层:

top5:说5个结果,有一个是对的就是对的

2. VGG(AlexNet增强版):

在AlexNet中增加多个卷积层group

结构简单:同AlexNet结构类似,误差减少50%

同googleNet.ResNet相比,表现近似

选择最多的基本模型方便优化,SSD RCNN,等任务的基本模型

3. GoogleNet(多维度识别):

3.1 参数总数:5m,没有全连接

3.2 全卷积结构(FCN)

没有全连接层

特点: 输入图片大小无限制,空间信息有丢失,参数更少,表达力更强

4. ResNet(机器超越人类识别):

为什么ResNet有效:

4.1 前向计算:低层卷积网络高层卷积网络信息融合,层数越深,模型表现力越强

4.2 反向计算:导数传递更直接,越过模型,直达各层

5. DeepFace(结构化图片的特殊处理):

人脸识别:通过观察人脸确认对应身份,在应用中更多的是确认(verification)

将图片位置对准,然后进行卷积层计算,提取出特征,不同区域希望单独考虑,希望不同的filter对应不同的部位进行训练使每个对应位置一个卷积核 

结构化:所有人脸,组成相抵,理论上能够实现对其

差异化:相同位置,形貌不同

二维对准 三维对准,三维映射到二维

缺陷:

大量对准,对对准要求高,原始信息可能丢失

卷积参数数量很大,模型收敛难度大,需要大量数据

模型可扩展性差

6. U-Net(图片生成网络):

通过卷积神经网络生成特殊类型的图片

图片所有pixel需要生成,多目标回归

借助VGG结构

反池化:记住原来位置,不是resize

逆卷积:有学习能力的上采样