https://github.com/lxd7788/Train 代码地址
准备
安装postgreSQL数据库,和可视化工具pgadmin3,或者其他数据库
实现功能,抓取12306全部的站点,并实现通过站点查询出所有经过次站点的车次,通过车次查出次列车经过的城市
分析
分析12306,找合适的接口,最符合要求的是查询车次的这张页面,但是有验证码,无形增加了难度
经过分析,合适的页面是车票预订的页面,查询两个站点直接的车次,用火狐自带的f12工具,点击查询清晰的看到只有一条get请求
再看响应的内容,json,根据经验这是我们想要东西
通过这条链接,我们可以得到两站点之间的车次信息,我们只需要车次的名称就好了,通过字符串或者正则都可以,正则不太熟,我用的是字符串
分析怎么才能把全国的站点和车次都抓取到,并且实现彼此查询的功能?
站点和城市多对多关系,理应建立三张表,用中间表关联.最后放弃了三表的想法,使用一张表联合主键实现
只要获取到全国的城市站点,通过for循环两两测试,不就可以得到全部的火车车次了,并且两列都是主键,同时还解决了两个城市之间车次重复的问题,
1 CREATE TABLE public.t_city
2 (
3 city_name character varying(64) NOT NULL,
4 train_num character varying(64) NOT NULL,
5 CONSTRAINT t_city_pkey PRIMARY KEY (city_name, train_num)
6 )
下一步要找到全国的火车站点
从页面的一条js中,找到一条连接 https://kyfw.12306.cn/otn/resources/js/framework/station_name.js?station_version=1.9049
一条json数据
接下来,开始写程序,解析数据
数据库链接(换了台电脑改成了mysql数据库
public class DbUtil {
private static final String DBDRIVER = "com.mysql.jdbc.Driver";
private static final String url = "jdbc:mysql://127.0.0.1:3306/lianxi";
private static final String USER = "root";
private static final String PASSWORD = "123";
public Connection getConn() throws ClassNotFoundException, SQLException {
Class.forName(DBDRIVER);
Connection conn = DriverManager.getConnection(url, USER, PASSWORD);
return conn;
}
public void closeConn(Connection conn) throws SQLException {
if (conn != null) {
conn.close();
}
}
public static void main(String args[]) {
DbUtil dbUtil = new DbUtil();
Connection conn=null;
try {
conn = dbUtil.getConn();
System.out.println(conn + "数据库连接成功");
} catch (ClassNotFoundException | SQLException e) {
e.printStackTrace();
System.out.println("失败");
}finally {
try {
dbUtil.closeConn(conn);
} catch (SQLException e) {
// TODO Auto-generated catch block
e.printStackTrace();
}
}
}
}
数据库用sqlyog直接建好表
创建一个CityMd类
public class CityMd {
private String cityName;
private String trainName
、、、、、、
创建方法,实现数据库数据添加
public class DbChange {
public int add(Connection conn,CityMd cityMd) {
String sql="insert into t_city values(?,?,null)";
int n=0;
try {
PreparedStatement p=conn.prepareStatement(sql);
p.setString(1, cityMd.getCityName());
p.setString(2, cityMd.getTrainName());
n=p.executeUpdate();
p.close();
} catch (SQLException e) {
// TODO Auto-generated catch block
//e.printStackTrace();
}finally {
try {
conn.close();
} catch (SQLException e) {
// TODO Auto-generated catch block
e.printStackTrace();
}
}
return n;
}
}
抓取全部的站点,返回一个二维数组,通过之前的url,发现参数有出发地和目的地,并且是字母编号的形式,所以把城市和编号同时抓取下来
分析json数据,每个成熟以@分隔,其次又以|分隔,所以可以用字符串分隔,正则很方便,不过熟悉没用
public class CityUtil {
public String[][] getCity() throws Exception{
String cityurl="https://kyfw.12306.cn/otn/resources/js/framework/station_name.js?station_version=1.9048";
HttpGet httpget=new HttpGet(cityurl);
CloseableHttpClient httPclient=HttpClients.createDefault();
CloseableHttpResponse Response=httPclient.execute(httpget);
HttpEntity entity=Response.getEntity();
String result=EntityUtils.toString(entity,"utf-8");
//System.out.println("请求结果"+result);
int l1=result.indexOf("'");
int l2=result.length();
String city=result.substring(l1+1, l2);
String[] c=city.split("@");
//导入二维数组
int l=c.length-1;
String[][] str=new String[l][2];
for(int i=1;i<c.length;i++) {
String[] cc=c[i].split("[|]");
//System.out.println(cc[1]+" "+cc[2]);
str[i-1][0]=cc[1];
str[i-1][1]=cc[2];
}
return str;
}
}
这样就得到了一个全部站点的数组
接下来写两地间车次的方法,两地之间肯定会有很多火车,所以返回数组
public class GetUtil {
public String[] getList(String url) {
CloseableHttpClient httPclient=HttpClients.createDefault();
HttpGet httpgett=new HttpGet(url);
CloseableHttpResponse Response;
String result1=null;
try {
Response = httPclient.execute(httpgett);
HttpEntity entity=Response.getEntity();
result1=EntityUtils.toString(entity,"utf-8");
//System.out.println("请求结果"+result1);
} catch (ClientProtocolException e) {
// TODO Auto-generated catch block
e.printStackTrace();
} catch (IOException e) {
// TODO Auto-generated catch block
e.printStackTrace();
}
JSONObject jSONObject =JSONObject.fromObject(result1);
Object listObject=jSONObject.get("data");
jSONObject=JSONObject.fromObject(listObject);
JSONArray json=jSONObject.getJSONArray("result");
//存放火车列次的数组
String[] strs=new String[json.size()];
for (int i = 0; i < json.size(); i++) {
String str=json.getString(i);
String[] arr=str.split("[|]");
strs[i]=arr[3];
}
return strs;
}
}
剩下的就是,整合起来,开始测试
get请求的url参数有四个,第一个是时间,第二个是出发点,第三个是目的地,最后一个成人票这个不是关键直接写死
时间也写死,但是有一个问题就是,每天的车次肯定会有差异,这样只看一看的车次数据肯定不精准。想一个办法就是,跑完数据之后,换个时间再抓一次,反正重复的自己会跳过去、、、、、、、
一定注意要加时间间隔,开始跑没有加,没一会12306就给限制请求了
GetUtil getUtil=new GetUtil(); //两地之间的车次
DbUtil dbUtil=new DbUtil(); //获取conn
Zhuanhua zh=new Zhuanhua(); //集合转数组
String trainurl="https://kyfw.12306.cn/otn/leftTicket/queryO?";
String train_date="leftTicketDTO.train_date=2018-03-20";
String from_station=null;
String to_station=null;
String newurl=null;
//获取conn
//Connection conn=dbUtil.getConn();
DbChange db=new DbChange();
//获取全部城市和它代号
CityUtil cu=new CityUtil();
String[][] str=cu.getCity();
//循环所有情况
int count=0;
Connection conn=null;
for(int i=10; i<str.length; i++) {
Thread.sleep(1000);
for(int j=0; j<str.length; j++) {
Random r = new Random();
int nnn=r.nextInt(6);
Thread.sleep(nnn*2000);
//拼接链接请求链接
from_station=str[i][1];
to_station=str[j][1];
//排除出发和目的是一个
if(from_station.equals(to_station)) {
continue;
}
newurl=trainurl+train_date+"&leftTicketDTO.from_station="
+from_station+"&leftTicketDTO.to_station="+to_station+"&purpose_codes=ADULT";
//调用方法,获取两地之间的火车数组
String[] ss=getUtil.getList(newurl);
for(int k=0;k<ss.length;k++) {
CityMd cityMd=new CityMd(str[i][0],ss[k]);
conn=dbUtil.getConn();
int nn=db.add(conn, cityMd);
System.out.println("运行第"+k+"次出发地:"+str[i][0]+"==>目的地:"+str[j][0]);
count+=nn;
}
}
} System.out.println("共计导入数据"+count);
最终数据库实现