字典核心底层原理(重要)

字典对象的核心是散列表。（稀疏数组（总是有空白元素的数组），数组的每个单元叫做bucket。）每个bucket 有两部分：一个是键对象的引用，一个是值对象的引用。
由于，所有bucket 结构和大小一致，我们可以通过偏移量来读取指定bucket。

将一个键值对放进字典的底层过程

假设字典a 对象创建完后，数组长度为8：

1.首先计算键”name”的散列值。Python 中可以通过hash()来计算。
>>> bin(hash("name"))
'-0b1010111101001110110101100100101'

2.数组长度为8（三位），

3.拿散列值的最右边3 位数字作为偏移量，即
“101”，十进制是数字5。

4.我们查看偏移量5，对应的bucket 是否为空。如果为空，则将键值对放进去。如果不为空，则依次取右边3 位作为偏移量，即“100”直到找到为空的bucket 将键值对放进去。

5.数组放满不够就扩容

r1 = {"name":"高小一","age":18,"salary":30000,"city":"北京"}
r2 = {"name":"高小二","age":19,"salary":20000,"city":"上海"}
r3 = {"name":"高小五","age":20,"salary":10000,"city":"深圳"}

tb = [r1,r2,r3]

#获得第二行的人的薪资
print(tb[1].get("salary"))
#打印表中所有的的薪资
for i in range(len(tb)): # i -->0,1,2  len(tb)=3
     print(tb[i].get("salary"))
#打印表的所有数据
for i in range(len(tb)):
 print(tb[i].get("name"),tb[i].get("age"),tb[i].get("salary"),tb[i].get("city"))

序列解包

序列解包可以用于元组、列表、字典。序列解包可以让我们方便的对多个变量赋值。
>>> x,y,z=(20,30,10)
>>> x
20
>>> y
30
>>> z
10
>>> (a,b,c)=(9,8,10)
>>> a
9
>>> [a,b,c]=[10,20,30]
>>> a
10
>>> b
20

序列解包用于字典时，默认是对“键”进行操作； 如果需要对键值对操作，则需要使用items()；如果需要对“值”进行操作，则需要使用values()；
>>> s = {'name':'gaoqi','age':18,'job':'teacher'}
>>> name,age,job=s #默认对键进行操作
>>> name
'name'
>>> name,age,job=s.items() #对键值对进行操作
>>> name
('name', 'gaoqi')
>>> name,age,job=s.values() #对值进行操作
>>> name
'gaoqi'

字典元素添加、修改、删除
1. 给字典新增“键值对”。“键”已存，则覆盖旧的键值对；如果“键”不存在，则新增“键值对”。
>>>a = {'name':'gaoqi','age':18,'job':'programmer'}
>>> a['address']='西三旗1 号院'
>>> a['age']=16
>>> a
{'name': 'gaoqi', 'age': 16, 'job': 'programmer', 'address': '西三旗1 号院'}

2. 使用update()将新字典中所有键值对全部添加到旧字典对象上。如果key 有重复，则直
接覆盖。
>>> a = {'name':'gaoqi','age':18,'job':'programmer'}
>>> b = {'name':'gaoxixi','money':1000,'sex':'男的'}
>>> a.update(b)
>>> a
{'name': 'gaoxixi', 'age': 18, 'job': 'programmer', 'money': 1000, 'sex': '男的'}

3. 字典中元素的删除，可以使用del()方法；或者clear()删除所有键值对；pop()删除指定
键值对，并返回对应的“值对象”；
>>> a = {'name':'gaoqi','age':18,'job':'programmer'}
>>> del(a['name'])
>>> a
{'age': 18, 'job': 'programmer'}
>>> b = a.pop('age')
>>> b
18

4. popitem() ：随机删除和返回该键值对。字典是“无序可变序列”，因此没有第一个元
素、最后一个元素的概念；popitem 弹出随机的项，因为字典并没有"最后的元素"或者其
他有关顺序的概念。若想一个接一个地移除并处理项，这个方法就非常有效（因为不用首先
获取键的列表）。
>>> a = {'name':'gaoqi','age':18,'job':'programmer'}
>>> a.popitem()
('job', 'programmer')
>>> a
{'name': 'gaoqi', 'age': 18}
>>> a.popitem()
('age', 18)
>>> a
{'name': 'gaoqi'}

字典元素的访问

eg. a ={'name':'gaoqi','age':18,'job':'programmer'}

1. 通过[键] 获得“值”。若键不存在，则抛出异常。
>>> a = {'name':'gaoqi','age':18,'job':'programmer'}
>>> a['name']
'gaoqi'
>>> a['age']
18
>>> a['sex']
KeyError: 'sex'

2. 通过get()方法获得“值”。推荐使用。优点是：指定键不存在，返回None；也可以设
定指定键不存在时默认返回的对象。
>>> a.get('name')
'gaoqi'
>>> a.get('sex')------>None
>>> a.get('sex','不存在')    #设置不存在时返回值
'不存在'

3. 列出所有的键值对
>>> a.items()
dict_items([('name', 'gaoqi'), ('age', 18), ('job', 'programmer')])

4. 列出所有的键，列出所有的值
>>> a.keys()
dict_keys(['name', 'age', 'job'])
>>> a.values()
dict_values(['gaoqi', 18, 'programmer'])

5. len() 键值对的个数

6. 检测一个“键”是否在字典中
>>> a = {"name":"gaoqi","age":18}
>>> "name" in a
True

字典介绍
字典是“键值对”的无序可变序列，字典中的每个元素都是一个“键值对”

可以通过“键对象”实现快速获取、删除、更新对应的“值对象”。(列表中我们通过“下标数字”找到对应的对象。字典中通过“键对象”找到对应的“值对象”。)

“键”是任意的不可变数据(整数、浮点数、字符串、元组)并且“键”不可重复。
“值”可以是任意的数据，并且可重复(列表、字典、集合)
一个典型的字典的定义方式：
a ={'name':'gaoqi','age':18,'job':'programmer'

字典的创建
1. 我们可以通过{}、dict()来创建字典对象。
>>> a = {'name':'gaoqi','age':18,'job':'programmer'}
>>> b = dict(name='gaoqi',age=18,job='programmer')
>>> a = dict([("name","gaoqi"),("age",18)])
>>> c = {} #空的字典对象
>>> d = dict() #空的字典对象
2. 通过zip()创建字典对象
>>> k = ['name','age','job']
>>> v = ['gaoqi',18,'techer']
>>> d = dict(zip(k,v))  #k键；v值
>>> d
{'name': 'gaoqi', 'age': 18, 'job': 'techer'}
3. 通过fromkeys 创建值为空的字典
>>> a = dict.fromkeys(['name','age','job'])
>>> a
{'name': None, 'age': None, 'job': None}

# 线性回归

## 方程y=Ax

## 最小二乘法（平方）Least Squares Method

\sum_(n=1)^N（y-y_i）^2

w\hat=(\pmb{X^T}\pmb{X})^-1\pmb{X^T}y

> 让平方误差最小

集成算法

- bagging：套袋法

- boosting：提升算法：增大错误样本的权重同时减小正确样本的权重。与bagging对比boosting可以同时降低偏差和方差，而bagging只能降低模型的方差。但boosting更加容易过拟合。

- 随机森林：应用bagging和多颗决策树

- 梯度提升树

- adaboost：

> adaboost算法与boost算法不同，它是使用整个训练集来训练弱学习器，其中训练样本在每次迭代的过程中都会重新被赋予一个权重，在上一个弱学习器错误的基础熵进行学习来构建一个更加强大的分类器。

生成器推导式创建元组
从形式上看，生成器推导式与列表推导式类似，只是生成器推导式使用小括号。列表推导式直接生成列表对象，生成器推导式生成的不是列表也不是元组，而是一个生成器对象。
我们可以通过生成器对象，转化成列表或者元组。也可以使用生成器对象的__next__()方法进行遍历，或者直接作为迭代器对象来使用。不管什么方式使用，元素访问结束后，如果需要重新访问其中的元素，必须重新创建该生成器对象。

>>> s = (x*2 for x in range(5))
>>> s
<generator object <genexpr> at 0x0000000002BDEB48>
>>> tuple(s)
(0, 2, 4, 6, 8)
>>> list(s) #只能访问一次元素。第二次就为空了。需要再生成一次
[]
>>> s = (x*2 for x in range(5))
>>> s.__next__()
0
>>> s.__next__()
2
>>> s.__next__()
4

元组总结
1. 元组的核心特点是：不可变序列。
2. 元组的访问和处理速度比列表快。
3. 与整数和字符串一样，元组可以作为字典的键，列表则永远不能作为字典的键使用。

元组的元素访问和计数
1. 元组的元素不能修改
>>> a = (20,10,30,9,8)
>>> a[3]=33
TypeError: 'tuple' object does not support item assignment

2. 元组的元素访问和列表一样，只不过返回的仍然是元组对象。
>>> a = (20,10,30,9,8)
>>> a[1]
10
>>> a[1:3]
(10, 30)
>>> a[:4]
(20, 10, 30, 9)

3. 列表关于排序的方法list.sorted()是修改原列表对象，元组没有该方法。如果要对元组排
序，只能使用内置函数sorted(tupleObj)，并生成新的列表对象。
>>> a = (20,10,30,9,8)
>>> sorted(a)
[8, 9, 10, 20, 30]

生成新对象的 比如“+”可以

元组长度len()、最大值max()、最小值min()、求和sum()等可以

zip
zip(列表1，列表2，...)将多个列表对应位置的元素组合成为元组，并返回这个zip 对象。
>>> a = [10,20,30]
>>> b = [40,50,60]
>>> c = [70,80,90]
>>> d = zip(a,b,c)
>>> list(d)
[(10, 40, 70), (20, 50, 80), (30, 60, 90)]

元组tuple
列表属于可变序列，可以任意修改列表中的元素。元组属于不可变序列，不能修改元组中的元素。

因此，元组没有增加元素、修改元素、删除元素相关的方法。
因此，我们只需要学习元组的创建和删除，元组中元素的访问和计数即可。元组支持如下操作：
1. 索引访问
2. 切片操作
3. 连接操作
4. 成员关系操作
5. 比较运算操作
6. 计数：元组长度len()、最大值max()、最小值min()、求和sum()等。

元组的创建

1. 通过()创建元组。小括号可以省略。
a = (10,20,30) 或者a = 10,20,30
如果元组只有一个元素，则必须后面加逗号。这是因为解释器会把(1)解释为整数1，(1,)
解释为元组。
>>> a = (1)
>>> type(a)
<class 'int'>
>>> a = (1,) #或者a = 1,
>>> type(a)
<class 'tuple'>

2. 通过tuple()创建元组
tuple(可迭代的对象)
例如：
b = tuple() #创建一个空元组对象
b = tuple("abc")
b = tuple(range(3))
b = tuple([2,3,4])
tuple()可以接收列表、字符串、其他序列类型、迭代器等生成元组。
list()可以接收元组、字符串、其他序列类型、迭代器等生成列表。

元组的删除

del b

多维列表
二维列表
二维列表可以帮助我们存储二维、表格的数据。【【】，【】】#列表中套列表

例如下表的数据：
姓名     年龄   薪资     城市
高小一   18   30000   北京
高小二   19   20000   上海
高小五    20  10000    深圳

a = [
["高小一",18,30000,"北京"],
["高小二",19,20000,"上海"],
["高小一",20,10000,"深圳"],
]

a[0][1] ----->18

#输出二维列表

for m in range(3):
      for n in range(4):
            print(a[m][n],end="\t")
      print() #打印完一行，换行

列表排序
1.修改原列表，不建新列表的排序
>>> a = [20,10,30,40]
>>> a.sort() #默认是升序排列
>>> a
[10, 20, 30, 40]
>>> a = [10,20,30,40]
>>> a.sort(reverse=True) #降序排列
>>> a
[40, 30, 20, 10]
>>> import random
>>> random.shuffle(a) #打乱顺序
>>> a
[20, 40, 30, 10]
 

2.建新列表的排序
我们也可以通过内置函数sorted()进行排序，这个方法返回新列表，不对原列表做修改。
>>> a = [20,10,30,40]
>>> id(a)
46016008
>>> a = sorted(a) #默认升序
>>> a
[10, 20, 30, 40]
>>> id(a)
45907848
>>> c = sorted(a,reverse=True) #降序
>>> c
[40, 30, 20, 10]

3.reversed()返回迭代器  
内置函数reversed()也支持进行逆序排列，与列表对象reverse()方法不同的是，内置函数
reversed()不对原列表做任何修改，只是返回一个逆序排列的迭代器对象。（也可用切片，设置步长-1）
>>> a = [20,10,30,40]
>>> c = reversed(a)
>>> c
<list_reverseiterator object at 0x0000000002BCCEB8>
>>> list(c)
[40, 30, 10, 20]
>>> list(c)
[]
list_reverseiterator。也就是一个迭代对象。同时，我们使用list(c)进行输出，发现只能使用一次。第一次输出了元素，第二次为空。那是因为迭代对象在第一次时已经遍历结束了，第二次不能再使用。
 

列表相关的其他内置函数汇总
max 和min  返回列表中最大和最小值。
sum  对数值型列表的所有元素进行求和操作，对非数值型列表运算则会报错。
 

切片操作
切片是Python 序列及其重要的操作，适用于列表、元组、字符串等等。

标准格式为：
[起始偏移量start:终止偏移量end[:步长step]]

[:]                 提取整个列表
[start:]         从start 索引开始到结尾
[:end]          从头开始知道end-1 
[start:end]    从start 到end-1
[start:end:step]   从start 提取到end-1，步长是step
[-3:]               倒数三个
[-5:-3]        倒数第五个到倒数第三个(包头不包尾)
[::-1]           步长为负，从右到左反向提取

起始偏移量小于0 则会当做0，终止偏移量大于“长度-1”会被当成”长度-1”                    

列表的遍历
for obj in listObj:
      print(obj)

列表元素访问和计数

1.通过索引直接访问元素
索引的区间在[0, 列表长度-1]这个范围。超过这个范围则会抛出异常。
>>> a[10]
IndexError: list index out of range

2.index()获得指定元素在列表中首次出现的索引
语法是：index(value,[start,[end]])。其中，
start 和end 指定了搜索的范围。
>>> a = [10,20,30,40,50,20,30,20,30]
>>> a.index(20)
1
>>> a.index(20,3) #从索引位置3 开始往后搜索的第一个20
5
>>> a.index(30,5,7) #从索引位置5 到7 这个区间，第一次出现30 元素的位置
6

3.count()获得指定元素在列表中出现的次数
>>> a = [10,20,30,40,50,20,30,20,30]
>>> a.count(20)
3

4.len()返回列表长度
即列表中包含元素的个数。
>>> a = [10,20,30]
>>> len(a)
3

5.成员资格判断
判断列表中是否存在指定的元素，我们可以使用count()方法，返回0 则表示不存在，返回
大于0 则表示存在。但是，一般我们会使用更加简洁的in 关键字来判断，直接返回True
或False。
>>> a = [10,20,30,40,50,20,30,20,30]
>>> 20 in a
True
>>> 30 not in a
False

列表删除

1.del

>>> a = [100,200,888,300,400]
>>> del a[2]
>>> a
[100,200,300,400]   #300到888 400 到300

同增加 都涉及到元素拷贝挪

2.pop()

pop()删除并返回指定位置元素，如果未指定位置则默认操作列表最后一个元素。
>>> a = [10,20,30,40,50]
>>>b = a.pop()  #默认最后一个
>>>b                                                             50
>>> a
[10, 20, 30, 40]
>>> a.pop(1)
20
>>> a
[10, 30, 40]

3.remove()方法

删除首次出现的指定元素，若不存在该元素抛出异常。
>>> a = [10,20,30,40,50,20,30,20,30]
>>> a.remove(20)
>>> a
[10, 30, 40, 50, 20, 30, 20, 30]
>>> a.remove(100)
ValueError: list.remove(x): x not in list

动

五种添加方式

注：增加删除都会对内存进行修改。例如中间有增加或删除时，涉及到大量的数据拷贝操作。所以一般只在尾部增加、删除。

列表有自动的内存管理

1.append（)  #末尾增加

2.   +      #拼接 产生新对象  所以涉及大量+的时候不要用

3.extend  #拼接 原地扩展 比 + 好

4.insert（） #将指定元素插入列表任意位置          eg. a = [10,20,30]  ; a.insert(2,100) ---->[10,20,100,30]  涉及数组拷贝删除             remove（） pop()  del() 也涉及数组拷贝删除

5. 乘法扩展 

列表的创建

1.a = [10,'gao',123]  #任意大小任意类型

2.a = list(range(5))  #类似于之前的int() str()

range(5)---->0 1 2 3 4 

a = list('gaoqi')----->['g','a','o',.....]

range([start,]end[,step])---->start.....end-1(步长step)

step=-1 往回数 start end 都可以是负的

#循环创建多个元素

a = [x*2 for x in range(5)]---->[0 ,2 ,4, 6 ,8]

#通过if过滤

a = [x*2 for x in range(5)] if x%3==0---->[0 ,2 ,4 ,8]

python中比较运算符比较特殊，可以出现：3<a<10

bin(25)----->ob11001

^异或 同0异1

左移一位 相当于乘以2

右移一位 相当于除以2

eg.a = 3  ;     a << 2 -----> 12

加法：数字相加；字符串拼接；列表元组合并

乘法：数字相乘；字符串复制；列表元组复制

python没有++ -- 只可以 a += 1---->a = a + 1

优先级：先乘除后加减 ； 位>比较>赋值>逻辑；记得用小括号组织

可变字符串

需要原地修改字符串，可以使用io.StringIO对象或array 模块。
>>> import io
>>> s = "hello, sxt"
>>> sio = io.StringIO(s)
>>> sio
<_io.StringIO object at 0x02F462B0>
>>> sio.getvalue()
'hello, sxt'
>>> sio.seek(7)
7
>>> sio.write("g")
1
>>> sio.getvalue()
'hello, gxt'