sql server的key lookup还能再优化吗

导入数据、数据概览

导入所需要的库

进群：960410445 即可获取书十套PDF！

import pandas as pdimport numpy as npimport requestsfrom bs4 import BeautifulSoupimport re%matplotlib inline

• Panads库 处理我们的数据
• numpy库 执行数值的操作和转换
• requests库 来从网站获取HTML数据
• Python(re) 的正则表达式来更改在处理数据时可能出现的某些字符串
• %matplotlib inline 在Jupyter notebook做图时使用的, 如果不适用这句 魔法命令 图形就会另外打开一个窗口, 使用这句命令 就会让作图出现在 jupyter notebook的浏览器中

爬取数据

r = requests.get('https://en.wikipedia.org/wiki/List_of_countries_by_GDP_(nominal)_per_capita')gdptable = r.textsoup = BeautifulSoup(gdptable, 'lxml')table = soup.find('table', attrs = {"class" :"wikitable sortable"})theads=[]for tx in table.findAll('th'): theads.append(tx.text)data =[]for rows in table.findAll('tr'): row={} i=0 for cell in rows.findAll('td'): row[theads[i]]=re.sub('xa0', '',cell.text) i+=1 if len(row)!=0: data.append(row)print(data)

输出的结果

key-value列表

国家排名、国家的名称、人均GDP(以美元表示)

字典转换为dataframe

gdp = pd.DataFrame(data)

查看前5行

gdp.head()

替换列名

重命名列

#只修改其中一列gdp = gdp.rename(columns = {'US$':'money'})#修改多个列名gdp.columns = ['Country','Rank','money']gdp.head()

删除列

del gdp['Rank']

转换数据类型

#删除逗号和换行符gdp['money'] = gdp['money'].apply(lambda x: re.sub(',','',x)) gdp['money'] = gdp['money'].apply(lambda x: re.sub('','',x)) #将money转换为数值型gdp['money'] = gdp['money'].apply(pd.to_numeric)gdp.head(3)

计算均值

#计算均值gdp['money'].mean()

选择数据

#1、人均GDP大于5wgdp5w = gdp[gdp['money'] > 50000] #2、提取以‘S’开头的国家gdps = gdp[gdp['Country'].str.startswith('S')]len(gdps)#得到一共有25个国家#3、选择以S开头的国家且人均GDP大于5w的国家gdps5w = gdp[(gdp['money'] > 50000) & (gdp['Country'].str.startswith('S'))]#4、现在选择人均GDP大于5w或者以S开头的国家gdps_or_gdp5w = gdp[(gdp.money > 50000) | (gdp.Country.str.startswith('S'))]

求和

#计算人均GDP超过5万的总和gdp5w.money.sum()

直方图

#直方图gdp5w.money.hist()

连接数据

countrycsv = pd.read_csv("D:dataPythonDataCountry.csv")df = pd.merge(gdp,countrycsv,how = 'inner',left_on = 'Country',right_on = 'TableName')countrycsv.head()

groupby分组

#将国家和人均GDP按其所在地区进行分组gdpregion = df.groupby(['Region']).mean()gdpregion

因为groupby操作创建的是一个可被操作的临时对象，不会创建永久接口来构建聚合结果，因此我们使用pivot_table透视表进行分组

pivot_table透视表

gdppivot = df.pivot_table(index = ['Region'], margins = True, aggfunc = np.mean)gdppivot

删除不需要的列

gdppivot.drop({'LatestIndustrialData','LatestTradeData','LatestWaterWithdrawalData'},axis = 1, inplace = True)gdppivot

拓展部分：pandas.merge

原文链接：

https://mp.weixin.qq.com/s?__biz=MzIzMzQ3MDQ1Mw==&mid=2247484131&idx=1&sn=638f242383d8b7a75d5556f4777eaf44&chksm=e8846279dff3eb6f4b7ec772252f7c2a1dfe8ea3c2a50320d2a5d1183384186e208819f212f9&mpshare=1&scene=23&srcid=0112Uz99mMmUG2tksj1Zo6bc#rd

参数列表

merge函数的参数

连接方法

pd.merge()方法

创建两个DataFrame

inner(内连接)：连接两边都有的值

outer(外连接)：左连接和右连接的并集，左侧DataFrame取全部数据，右侧DataFrame匹配左侧DataFrame并用NaN填充缺失值。

默认下是inner连接,即inner 代表交集；outer 代表并集；left 和 right 分别为取一边。

#创建DataFramedf1 = pd.DataFrame({'key':list('bbaca'),'data1':range(5)})df1df2 = pd.DataFrame({'key':['a','b','d'],'data2':range(3)})df2

#内连接pd.merge(df1,df2)#缺省时参数how是内连接，并按照相同的字段key进行合并，推荐使用下面这种方式#pd.merge(df1,df2,on = 'key')

#外连接pd.merge(df1,df2,how = 'outer')

#左连接pd.merge(df1,df2,how = 'left')

#右连接pd.merge(df1,df2,how = 'right')

pd.merge()索引连接

#索引#df1使用data1当做连接关键字，df2使用索引当做连接关键字pd.merge(df1,df2,left_on = 'data1',right_index = True)

上面可以发现两个DataFrame中都有key列，merge合并之后，pandas会字段在后面加上(_x,_y)。我们可以使用suffixes进行设置。

pd.merge(df1,df2,left_on = 'data1',right_index = True,suffixes = ('_df1','_df2'))

suffixes=(‘_x’,’_y’) 指的是当左右对象中存在除连接键外的同名列时，结果的区分方式，可以各加一个小尾巴。