​
xxxxxxxxxx
 
1
package com.wudianyi.wb.scshop.action.admin;
2
​
3
import java.io.BufferedReader;
4
import java.io.IOException;
5
import java.io.InputStream;
6
import java.io.InputStreamReader;
7
import java.net.MalformedURLException;
8
import java.net.URL;
9
​
10
import org.jsoup.Jsoup;
11
import org.jsoup.nodes.Document;
12
import org.jsoup.nodes.Element;
13
import org.jsoup.select.Elements;
14
​
15
​
16
/**
17
* @author Mongo
18
*/
19
public class Reptile {
20
  public static void main(String[] args) {
21
      String url1="";          //传入你所要爬取的页面地址
22
      InputStream is=null;     //创建输入流用于读取流
23
      BufferedReader br=null;  //包装流,加快读取速度
24
      StringBuffer html=new StringBuffer(); //用来保存读取页面的数据.
25
      String  temp=""; //创建临时字符串用于保存每一次读的一行数据，然后html调用append方法写入temp;
26
      try {
27
          URL url2 = new URL(url1); //获取URL;
28
          is = url2.openStream();   //打开流，准备开始读取数据;
29
          br= new BufferedReader(new InputStreamReader(is)); //将流包装成字符流，调用br.readLine()可以提高读取效率，每次读取一行;
30
          while ((temp = br.readLine()) != null) {//读取数据,调用br.readLine()方法每次读取一行数据,并赋值给temp,如果没数据则值==null,跳出循环;
31
          html.append(temp); //将temp的值追加给html,这里注意的时String跟StringBuffere的区别前者不是可变的后者是可变的;
32
          }
33
//          System.out.println(html); //打印出爬取页面的全部代码;
34
          if(is!=null)        //接下来是关闭流,防止资源的浪费;
35
          {
36
              is.close();
37
              is=null;
38
          }
39
          Document doc = Jsoup.parse(html.toString());  //通过Jsoup解析页面,生成一个document对象;
40
          Elements elements = doc.getElementsByClass("day");//通过class的名字得到（前端选择器，不是类！）,一个数组对象Elements里面有我们想要的数据,至于这个div的值呢你打开浏览器按下F12就知道了;
41
42
          System.out.println("==开始==");
43
          for (Element element : elements) {
44
              System.out.println(element.text()); //打印出每一个节点的信息;你可以选择性的保留你想要的数据,一般都是获取个固定的索引;
45
              System.out.println("-----------------------------");
46
          }
47
          System.out.println("==结束==");
48
      } catch (MalformedURLException e) {
49
          // TODO Auto-generated catch block
50
          e.printStackTrace();
51
      } catch (IOException e) {
52
          // TODO Auto-generated catch block
53
          e.printStackTrace();
54
      }
55
      System.out.println("走完了");
56
  }
57
}
​