NLP的关键技术

semantic

sytax

morphology

phonetics 语音识别

wastion

知识库

情感分析

舆情监控

step 1:translation modle

step 2:languge modle

decoding analysis

DP 动态规划

贝叶斯公式！！！！

 unigraw modle

bingraw modle

triangraw modle

LM  语言模型

NLU    语音文本   meaning  

NLG   意思    文本、语音

Ambiguity   （一词多义）

深度学习

神经网络和BP算法

为什么会提出神经网络解决问题

神经网络：大量的结构简单、功能相近的神经元节点按一定的体系架构连接成的网状结构——模拟大脑结构

作用：

分类

模式识别

连续值预测

总的来说就是建立一种输入输出的映射关系；

人工神经网络

神经元：输入向量、权重、偏执

一般浅层网络是3~5层

前馈神经网络：

同一层的神经元之间没有相互连接，层间信息的传送只沿着一个方向进行；

学习的过程实际上是对权重的更改

目标：输出和实际输出越接近越好

梯度下降：

随机梯度下降算法：梯度下降

在传入模型的开始，首先要对数据预处理、特征提取、特征选择、再到推理、预测或者识别

隐马可夫链，

期望不能反映收益，

from pyplot as plt 重命名，简化

temperature是气温, 100度很吓人啦 XD

啊深度啊收到卡后

老师的卷发就到了发掘了深刻的

numpy读取数据

np.loadtxt(frame,dtype=np.float,delimiter=None,skiprows=0,usecols=None,unpack=False)

转置t.T()

t1.reshape(1,24) #修改数组形状

t1.flatten() #展开 二维降成一维

t1+2 #数组每个值都加2 （广播机制）

0除以0得到nan（不是一个数字），其他数字除以0得到inf（无穷的意思）

t6+t5 #对应位置的数据计算

matplotlib

plt.figure(figsize=(20,8),dpi=80)

plt.savefig('./sig.png')

plt.xticks(x) #x的每个值

plt.xticks((1,26))#调整步长

matplotlib

1.什么是matplotlib

主要做数据可视化，模仿matlab

安装conda install matplotlib

2.matplotlib基本要点

axis轴，指的是x或y轴

from matplotlib import pyplot as plt

x= range(2,26,2)

y=[15,13,14.5,17,20,25,26,26,24,22,18,15]

plt.plot(x,y)

plt.show()

提出问题

准备数据（数据清洗）

分析数据

获得结论

成果可视化

事件：样本点的合集

事件运算：

包含，等价，对立（逆事件）

AUB, A,B事件的并

A∩B=AB，A,B事件的交集

AB=空集， A∪B=A+B 称为和

A-B=AB(逆)

交换律A∪B=B∪A， AB=BA

结合律（A∪B）∪C=A∪（B∪C），ABC=A(BC)

分配律(A∪B)∩C=AC ∩ BC

（A∩B）∪C=(A∪C)∩（B∪C）

德摩根定理：分开反号

pandas时间序列

现在我们有2015到2017年25万条911的紧急电话的数据，请统计出出这些数据中不同类型的紧急情况的次数，如果我们还想统计出不同月份不同类型紧急电话的次数的变化情况，应该怎么做呢？

为什么要学习pandas的时间序列

不管在什么行业，时间序列都是一种非常重要的数据形式，很多统计数据以及数据的规律也都和时间序列有着非常重要的联系

时间格式化

python中时间日期格式化符号：
%y 两位数的年份表示（00-99）
%Y 四位数的年份表示（000-9999）
%m 月份（01-12）
%d 月内中的一天（0-31）
%H 24小时制小时数（0-23）
%I 12小时制小时数（01-12）
%M 分钟数（00=59）
%S 秒（00-59）
%a 本地简化星期名称
%A 本地完整星期名称
%b 本地简化的月份名称
%B 本地完整的月份名称
%c 本地相应的日期表示和时间表示
%j 年内的一天（001-366）
%p 本地A.M.或P.M.的等价符
%U 一年中的星期数（00-53）星期天为星期的开始
%w 星期（0-6），星期天为星期的开始
%W 一年中的星期数（00-53）星期一为星期的开始
%x 本地相应的日期表示
%X 本地相应的时间表示
%Z 当前时区的名称
%% %号本身