python合并数据分析 python 数据合并函数merge( )

概述

数据分析中经常会遇到数据合并的基本问题：1. 数据或表格的上下连接；2. 数据或表格的左右连接。根据上述问题，本文总结了python中的表格合并函数的基本用法和使用效果：

1. merge : 主要用于表格的左右连接
2. concat : 既能用于表格的上下连接，也能用于表格的左右连接，主要取决于参数axis的设定
3. append: 只能用于表格的上下连接

数据准备和说明

示例代码：

# 1.建立数据表
import numpy as np
import pandas as pd

df1 = pd.DataFrame({"id": ["01", "02", "03", "04"], 
                    "name": ["Alice", "Bruce", "Cook", "Daisy"], 
                    "school": ["AA", "BB", "CC", "AA"], 
                    "score": [85, 90, 75, 80]})
df2 = pd.DataFrame({"id": ["01", "20"], 
                    "name": ["Alice", "Jason"], 
                    "school":["AA", "CC"], 
                    "score": [85, 88]})
#df1
df2

df1和df2 表格的数据呈现如下图，特别注意这2个表格的第1行的数据是相同的。

1. merge()

1. 1 简介

pd.merge(left, right, how: str = ‘inner’,on=None, left_on=None, right_on=None,
 left_index: bool = False, right_index: bool = False, sort: bool = False,
 suffixes=(’_x’, ‘_y’), copy: bool = True, indicator: bool = False,
 validate=None,) -> ‘DataFrame’

1. 2 关键参数的使用及实践

merge(): 主要使用于表格的左右连接(横向合并)

1. 参数: left, right
   left: 表示连接中放在左边的表格；
   right: 表示连接中放在右边的表格

df = pd.merge(left=df1, right=df2) 
df

表格连接的结果是返回了两个表格的“交集”，即两个表格中都存在的相同记录！这是因为merge的参数how,它的默认值为"inner"!

2. 参数 how: 连接的方式，有4中选择：“left”, “right”, “inner”, “outer”, 默认值=”inner"
   “inner”: 返回两个表格的交集
   “outer”：返回两个表格的并集

# 2.1 设置how="inner"
df = pd.merge(left=df1, right=df2, how="inner")
df

由于how的默认值是"inner", 因此连接的结果与上面的一样！

# 2.2 设置how="outer"
df = pd.merge(left=df1, right=df2, how="outer")
df

表格连接的结果：将两个表格中所有的数据，相同的数据只显示1次。相当于两个表格合并后去重。

# 2.3 设置how="left" -- 按照左边的表格进行数据合并
df = pd.merge(left=df1, right=df2, how="left")
df

# 2.4 设置how="right" -- 按照右边的表格进行数据合并
df = pd.merge(left=df1, right=df2, how="right")
df

3. 参数 on: 以哪个特征作为连接点

# 3.1 设置on=["id"]
df = pd.merge(left=df1, right=df2, on=["id"], how="outer")
df

# 3.2 设置on=["school"]
df = pd.merge(left=df1, right=df2, on=["school"], how="outer")
df

4. 参数 indicator : 指示器，为布尔值，默认为False
   如果indicator设置为True，则向输出数据帧添加一个名为“\u merge”的列，显示根据要求，每行数据在2个表格中的合并情况。

# 4.1 设置indicator=True
df = pd.merge(left=df1, right=df2, on=["school"], how="outer", indicator=True)
df

5. 参数 sort: 排序，根据连接点进行排序，默认值为False

# 5.1 设置sort使用默认值 False 
df = pd.merge(left=df1, right=df2, on=["score"], how="outer")
df

# 5.2 设置sort = True 
df = pd.merge(left=df1, right=df2, on=["score"], how="outer", sort=True)
df

2. concat()

2. 1 简介

pd.concat(objs: Union[Iterable[ForwardRef(‘NDFrame’)], Mapping[Union[Hashable, NoneType], ForwardRef(‘NDFrame’)]],
 axis=0, join=‘outer’, ignore_index: bool = False, keys=None, levels=None,
 names=None, verify_integrity: bool = False, sort: bool = False, copy: bool = True,
 ) -> Union[ForwardRef(‘DataFrame’), ForwardRef(‘Series’)]

2. 2 关键参数的使用及实践

1. 数据的上下连接：参数axis=0

df = pd.concat([df1, df2], axis=0)
df

df1和df2是直接进行上下连接 – 常用于数据（记录）的汇总合并

2. 数据的左右连接：参数 axis=1
   参数 join的默认值=“outer”, 因此下列2行代码的结果是一样的。

df = pd.concat([df1, df2], axis=1)
# df = pd.concat([df1, df2], axis=1, join="outer")
df

小结：

对比结果，pd.concat() 适用于数据表(DataFrame)的上下连接，而对于表格的左右连接，pd.merge() 会更好一些。

3. append()

函数append(): 只能使用于表格的上下连接，表格的顺序取决于那一个表格放在前面。

# 在表格df1后面连接表格df2:
df = df1.append(df2)
df

# 在表格df2后面连接表格df1
df = df2.append(df1)
df

4. 结束语

1. merge(): 适用表格的左右连接，并且用法比较灵活便捷。
2. concat(): 虽然可以用于表格的上下连接和左右连接，通常会更适用于上下连接，左右连接的效果比不上merge()函数。
3. append(): 只能用于表格数据的上下连接，表格的先后次序取决于语句中哪个表格放在前面。