文章目录
DataFrame是Python中Pandas库中的一种数据结构，它类似excel，是一种二维表
0 简介
DataFrame的单元格可以存放数值、字符串等，这和excel表很像，同时DataFrame可以设置列名columns与行名index。
1 创建DataFrame
pandas常与numpy一起配合使用，所以通常会一起引用，也就是：
1. import pandas as pd
2. import numpy as np
1.1 使用numpy函数创建
可以直接通过pandas的DataFrame函数进行创建。
1. import pandas as pd
2. import numpy as np
3. df1 = pd.DataFrame(np.random.randn(3, 3), index=list('abc'), columns=list('ABC'))
4. print(df1)
5. # A B C
6. # a -0.612978 0.237191 0.312969
7. # b -1.281485 1.135944 0.162456
8. # c 2.232905 0.200209 0.028671
其中第一个参数是存放在DataFrame里的数据，第二个参数index就是之前说的行名，第三个参数columns是之前说的列名。
其中后两个参数可以使用list输入，但是注意，这个list的长度要和DataFrame的大小匹配，不然会报错。
1. df2 = pd.DataFrame(np.random.randn(3, 3), index=list('abcd'), columns=list('ABCD'))
2. # ValueError: Shape of passed values is (3, 3), indices imply (4, 4)
当然，这两个参数是可选的，你可以选择不设置，而且这两个list是可以一样的
1. df3 = pd.DataFrame(np.random.randn(3, 3), index=list('ABC'), columns=list('ABC'))
2. # A B C
3. # A 1.106838 0.309086 0.748472
4. # B 0.439228 -0.213154 -1.438647
5. # C 0.292450 0.841237 -0.069207
1.2 直接创建
1. import pandas as pd
2. import numpy as np
3. df4 = pd.DataFrame([[1, 2, 3],
4. [2, 3, 4],
5. [3, 4, 5]],
6. index=list('abc'), columns=list('ABC'))
7. print(df4)
8. # A B C
9. # a 1 2 3
10. # b 2 3 4
11. # c 3 4 5
1.3 使用字典创建
1. import pandas as pd
2. import numpy as np
3. dic1 = {
4. 'name': [
5. '张三', '李四', '王二麻子', '小淘气'], 'age': [
6. 37, 30, 50, 16], 'gender': [
7. '男', '男', '男', '女']}
8. df5 = pd.DataFrame(dic1)
9. print(df5)
10. # age gender name
11. # 0 37 男 张三
12. # 1 30 男 李四
13. # 2 50 男 王二麻子
14. # 3 16 女 小淘气
2 DataFrame属性
2.1 查看列的数据类型
1. print(df5.dtypes)
2. # age int64
3. # gender object
4. # name object
5. # dtype: object
2.2 查看DataFrame的头尾
1. import pandas as pd
2. import numpy as np
3. df6 = pd.DataFrame(np.arange(36).reshape(6, 6), index=list('abcdef'), columns=list('ABCDEF'))
4. print(df6)
5. # A B C D E F
6. # a 0 1 2 3 4 5
7. # b 6 7 8 9 10 11
8. # c 12 13 14 15 16 17
9. # d 18 19 20 21 22 23
10. # e 24 25 26 27 28 29
11. # f 30 31 32 33 34 35
12. print(df6.head())
13. # A B C D E F
14. # a 0 1 2 3 4 5
15. # b 6 7 8 9 10 11
16. # c 12 13 14 15 16 17
17. # d 18 19 20 21 22 23
18. # e 24 25 26 27 28 29
比如只看前2行
1. print(df6.head(2))
2. # A B C D E F
3. # a 0 1 2 3 4 5
4. # b 6 7 8 9 10 11
比如看后5行。
1. print(df6.tail())
2. # A B C D E F
3. # b 6 7 8 9 10 11
4. # c 12 13 14 15 16 17
5. # d 18 19 20 21 22 23
6. # e 24 25 26 27 28 29
7. # f 30 31 32 33 34 35
比如只看后2行。
1. print(df6.tail(2))
2. # A B C D E F
3. # e 24 25 26 27 28 29
4. # f 30 31 32 33 34 35
2.3 查看行名与列名
使用index查看行名，columns查看列名
1. print(df6.index)
2. print(df6.columns)
3. # Index(['a', 'b', 'c', 'd', 'e', 'f'], dtype='object')
4. # Index(['A', 'B', 'C', 'D', 'E', 'F'], dtype='object')
2.4 查看数据值
使用values可以查看DataFrame里的数据值，返回的是一个数组。
1. print(df6.values)
2. # [[ 0 1 2 3 4 5]
3. # [ 6 7 8 9 10 11]
4. # [12 13 14 15 16 17]
5. # [18 19 20 21 22 23]
6. # [24 25 26 27 28 29]
7. # [30 31 32 33 34 35]]
比如说查看某一列所有的数据值。
1. print(df6['B'].values)
2. [ 1 7 13 19 25 31]
查看某一行所有的数据值
1. print(df6.iloc[0])
2. # A 0
3. # B 1
4. # C 2
5. # D 3
6. # E 4
7. # F 5
8. # Name: a, dtype: int32
2.5 查看行列数
1. print(df6.shape[0])
2. print(df6.shape[1])
3. # 6
4. # 6
2.6 切片
1. print(df6['a':'b'])
2. # A B C D E F
3. # a 0 1 2 3 4 5
4. # b 6 7 8 9 10 11
2.7 索引
1. print(df6.loc[:,'A':'B'])
2. # A B
3. # a 0 1
4. # b 6 7
5. # c 12 13
6. # d 18 19
7. # e 24 25
8. # f 30 31
• 切片表示的是行切片
• 索引表示的是列索引
3.DataFrame操作
3.1 转置
直接字母T，线性代数上线。
1. print(df6.T)
2. # a b c d e f
3. # A 0 6 12 18 24 30
4. # B 1 7 13 19 25 31
5. # C 2 8 14 20 26 32
6. # D 3 9 15 21 27 33
7. # E 4 10 16 22 28 34
8. # F 5 11 17 23 29 35
3.2 描述性统计
使用describe可以对数据根据列进行描述性统计。
1. print(df6.describe())
2. # A B C D E F
3. # count 6.000000 6.000000 6.000000 6.000000 6.000000 6.000000
4. # mean 15.000000 16.000000 17.000000 18.000000 19.000000 20.000000
5. # std 11.224972 11.224972 11.224972 11.224972 11.224972 11.224972
6. # min 0.000000 1.000000 2.000000 3.000000 4.000000 5.000000
7. # 25% 7.500000 8.500000 9.500000 10.500000 11.500000 12.500000
8. # 50% 15.000000 16.000000 17.000000 18.000000 19.000000 20.000000
9. # 75% 22.500000 23.500000 24.500000 25.500000 26.500000 27.500000
10. # max 30.000000 31.000000 32.000000 33.000000 34.000000 35.000000
3.3 计算
使用sum默认对每列求和，sum(1)为对每行求和。
1. print(df6.sum())
2. # A 90
3. # B 96
4. # C 102
5. # D 108
6. # E 114
7. # F 120
8. # dtype: int64
9. print(df6.sum(1))
10. # a 15
11. # b 51
12. # c 87
13. # d 123
14. # e 159
15. # f 195
16. # dtype: int64
数乘运算使用apply。
1. print(df6.apply(lambda x: x * 2))
2. # A B C D E F
3. # a 0 2 4 6 8 10
4. # b 12 14 16 18 20 22
5. # c 24 26 28 30 32 34
6. # d 36 38 40 42 44 46
7. # e 48 50 52 54 56 58
8. # f 60 62 64 66 68 70
乘方运算跟matlab类似，直接使用两个*。
1. print(df6**2)
2. # A B C D E F
3. # a 0 1 4 9 16 25
4. # b 36 49 64 81 100 121
5. # c 144 169 196 225 256 289
6. # d 324 361 400 441 484 529
7. # e 576 625 676 729 784 841
8. # f 900 961 1024 1089 1156 1225
3.4 新增
扩充列可以直接像字典一样，列名对应一个list，但是注意list的长度要跟index的长度一致。
1. df6['G']=['999','999','999','999','999','999']
2. print(df6)
3. # A B C D E F G
4. # a 0 1 2 3 4 5 999
5. # b 6 7 8 9 10 11 999
6. # c 12 13 14 15 16 17 999
7. # d 18 19 20 21 22 23 999
8. # e 24 25 26 27 28 29 999
9. # f 30 31 32 33 34 35 999
还可以使用insert，使用这个方法可以指定把列插入到第几列，其他的列顺延。
1. df6.insert(0, 'QQ', ['999','999','999','999','999','999'])
2. print(df6)
3. # QQ A B C D E F
4. # a 999 0 1 2 3 4 5
5. # b 999 6 7 8 9 10 11
6. # c 999 12 13 14 15 16 17
7. # d 999 18 19 20 21 22 23
8. # e 999 24 25 26 27 28 29
9. # f 999 30 31 32 33 34 35
3.5 合并
使用join可以将两个DataFrame合并，但只根据行列名合并，并且以作用的那个DataFrame的为基准。
1. # 也就是以df6为基准。
2. df7 = pd.DataFrame(['my', 'name', 'is', 'a', 'b', 'c'], index=list('abcdef'), columns=list('G'))
3. df8 = df6.join(df7)
4. print(df8)
5. # A B C D E F G
6. # a 0 1 2 3 4 5 my
7. # b 6 7 8 9 10 11 name
8. # c 12 13 14 15 16 17 is
9. # d 18 19 20 21 22 23 a
10. # e 24 25 26 27 28 29 b
11. # f 30 31 32 33 34 35 c
但是，join这个方法还有how这个参数可以设置，合并两个DataFrame的交集或并集。参数为’inner’表示交集，'outer’表示并集。
1. df7 = pd.DataFrame(['2', '6', '7', '19', '44', '77'], index=list('abekld'), columns=list('G'))
2. df8=df6.join(df7,how='inner')
3. df9=df6.join(df7,how='outer')
4. print(df8)
5. # A B C D E F G
6. # a 0 1 2 3 4 5 2
7. # b 6 7 8 9 10 11 6
8. # d 18 19 20 21 22 23 77
9. # e 24 25 26 27 28 29 7
10. print(df9)
11. # A B C D E F G
12. # a 0.0 1.0 2.0 3.0 4.0 5.0 2
13. # b 6.0 7.0 8.0 9.0 10.0 11.0 6
14. # c 12.0 13.0 14.0 15.0 16.0 17.0 NaN
15. # d 18.0 19.0 20.0 21.0 22.0 23.0 77
16. # e 24.0 25.0 26.0 27.0 28.0 29.0 7
17. # f 30.0 31.0 32.0 33.0 34.0 35.0 NaN
18. # k NaN NaN NaN NaN NaN NaN 19
19. # l NaN NaN NaN NaN NaN NaN 44
如果要合并多个Dataframe，可以用list把几个Dataframe装起来，然后使用concat转化为一个新的Dataframe。
1. df10 = pd.DataFrame([1, 2, 3, 4, 5, 6],
2. index=list('ABCDEF'), columns=['a'])
3. df11 = pd.DataFrame([10, 20, 30, 40, 50, 60],
4. index=list('ABCDEF'), columns=['b'])
5. df12 = pd.DataFrame([100, 200, 300, 400, 500, 600],
6. index=list('ABCDEF'), columns=['c'])
7. list1 = [df10.T, df11.T, df12.T]
8. df13 = pd.concat(list1)
9. print(df13)
10. # A B C D E F
11. # a 1 2 3 4 5 6
12. # b 10 20 30 40 50 60
13. # c 100 200 300 400 500 600
3.6 去重
1. df.drop_duplicates(subset=None,
2. keep='first',
3. inplace=False
4. )
参数：
• subset：指定是哪些列重复。
• keep：去重后留下第几行，{‘first’, ‘last’, False}, default ‘first’｝，如果是False，则去除全部重复的行。
• inplace：是否作用于原来的df。
1. df14 = pd.DataFrame(data=[[1, 2, 3],
2. [1, 2, 4],
3. [1, 2, 4],
4. [1, 2, 3],
5. [1, 2, 5],
6. [1, 2, 5]],
7. index=list('ABCDEF'),
8. columns=['a', 'b', 'c'])
9. print(df14)
10. # a b c
11. # A 1 2 3
12. # B 1 2 4
13. # C 1 2 4
14. # D 1 2 3
15. # E 1 2 5
16. # F 1 2 5
去除重复行,保留重复行中最后一行
1. df14.drop_duplicates(keep='last')
2. # a b c
3. # C 1 2 4
4. # D 1 2 3
5. # F 1 2 5
去除’c’列中有重复的值所在的行
1. print(df14.drop_duplicates(subset=('c',)))
2. # a b c
3. # A 1 2 3
4. # B 1 2 4
5. # E 1 2 5本文章为转载内容，我们尊重原作者对文章享有的著作权。如有内容错误或侵权问题，欢迎原作者联系我们进行内容更正或删除文章。
