利用Python在高德爬取公交线路的所有站点 高德地图爬虫应用

作者：国服帅座 经济学在读硕士

有了高德地图的导航，我们能踏遍祖国的绿水青山。其实，高德本身也是一座金山银山，蕴藏着丰富的数据资源。至于国服帅座，愿为一枚小小的数据搬运工。

在先前的众多文章中，小编曾多次尝试爬取高德地图各种数据。所用方法千篇一律，无非是用requests模块请求高德地图API，返回JSON字符串，然后使用json模块将其转化为Python的字典格式，最后根据字典的键来取值。若要使用高德地图API，先前注册密钥是必不可少的一环。

在本文中，小编尝试使用Selenium模拟浏览器登录高德地图，然后爬取距离数据。

from selenium import webdriver
import time
driver = webdriver.Chrome()      # 已将chromedriver放入环境变量
driver.get('https://www.amap.com/dir')     # 打开高德页面

如您所见，页面出现了两个输入框，分别是输入起点与终点的位置，还有一个名为“开车去”的按钮，用于在输入起始点之后点击确认。在高德页面按快捷键“Shift+Ctrl+I”，找到两个输入框和确认按钮所在的位置，显示如下。

# <input type="text" class="dir_ipt" id="dir_from_ipt" dirtype="from" placeholder="请输入起点" value="" autocomplete="off">
# <input type="text" class="dir_ipt" id="dir_to_ipt" dirtype="to" placeholder="请输入终点" value="" autocomplete="off">
# <a href="javascript:void(0)" class="dir_submit">开车去</a>

分别在搜索框内输入起点和终点，此处以浦口区与启东市为例，然后点击“开车去”按钮。

driver.find_element_by_css_selector('#dir_from_ipt').send_keys('江苏省南京市浦口区')  # 输入起点，以浦口区为例
driver.find_element_by_css_selector('#dir_to_ipt').send_keys('江苏省南通市启东市')    # 输入终点，以启东市为例
driver.find_element_by_css_selector('.dir_submit').click()    # 点击确认

图中显示，两地距离为342.5公里。下面，攫取该数据。

time.sleep(2)
driver.find_element_by_xpath('//*[@id="plantitle_0"]/p/span[2]').text
time.sleep(2)
driver.quit()  # 退出浏览器