Spring Boot集成WebMagic爬取京东商品信息

Spring Boot集成WebMagic爬取京东商品信息

爬取分析

爬取https://search.jd.com/上的商品信息。只爬取笔记本电脑相关的商品信息。

商品列表

访问页面并搜索笔记本电脑，得到商品列表。

商品列表由id=J_goodsList的div包裹，每个商品对应一个li标签，li标签中clas=p-name的元素包含了商品详情页地址

点击分页，得到请求地址：https://search.jd.com/Search?keyword=%E7%AC%94%E8%AE%B0%E6%9C%AC%E7%94%B5%E8%84%91&wq=%E7%AC%94%E8%AE%B0%E6%9C%AC%E7%94%B5%E8%84%91&pvid=19a729aac00f4decbacb5de334b3be4e&page=3&s=56&click=0。分页规则：分页是以奇数分页，如：page=1、page=3、page=5

商品详情页

进入商品详情页分析需要的数据。例如：商品sku、商品标题、商品图片、商品价格、商品详情地址、商品店铺等

在class=preview对应div下的img元素的data-origin属性获取图片地址。

标题的获取

规格的获取，通过该规格对应的sku，通过接口请求获取商品价格

执行流程

graph LR
A[解析商品列表页] ----> B[获取商品详情页]
B ----> C(解析页面获取数据)

搭建基础环境

添加依赖

        <!--SpringMVC-->
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-web</artifactId>
        </dependency>
        <!--SpringData Jpa-->
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-data-jpa</artifactId>
        </dependency>
        <!--MySQL连接包-->
        <dependency>
            <groupId>mysql</groupId>
            <artifactId>mysql-connector-java</artifactId>
            <version>5.1.49</version>
        </dependency>
        <!--WebMagic核心包-->
        <dependency>
            <groupId>us.codecraft</groupId>
            <artifactId>webmagic-core</artifactId>
            <version>0.7.5</version>
        </dependency>
        <dependency>
            <groupId>us.codecraft</groupId>
            <artifactId>webmagic-extension</artifactId>
            <version>0.7.5</version>
        </dependency>
        <!--WebMagic对布隆过滤器的支持-->
        <dependency>
            <groupId>com.google.guava</groupId>
            <artifactId>guava</artifactId>
            <version>31.1-jre</version>
        </dependency>
        <!--lombok-->
        <dependency>
            <groupId>org.projectlombok</groupId>
            <artifactId>lombok</artifactId>
            <optional>true</optional>
        </dependency>
        <!--工具包-->
        <dependency>
            <groupId>org.apache.commons</groupId>
            <artifactId>commons-lang3</artifactId>
        </dependency>

POJO

@Entity
@Table(name = "item")
@Data
public class Item {
    @Id
    @GeneratedValue(strategy = GenerationType.IDENTITY)
    private Long id;
    //商品标题
    private String title;
    //商品价格
    private Double price;
    //商品图片
    private String pic;
    //商品详情地址
    private String url;
    //规格
    private String standard;
    //店铺;
    private String shop;
    //创建时间
    private Date created;
}

Dao

public interface ItemDao extends JpaRepository<Item,Long> {
}

Service

public interface ItemService {
    void save(Item item);
}


@Service
public class ItemServiceImpl implements ItemService {

    @Autowired
    private ItemDao itemDao;

    @Override
    @Transactional
    public void save(Item item) {
        this.itemDao.save(item);
    }
}

开启定时任务

在启动类开启定时任务开关，通过启动项目自动执行爬虫任务。

@SpringBootApplication
@EnableScheduling
public class Application {
    public static void main(String[] args) {
        SpringApplication.run(Application.class, args);
    }
}

HttpUtils

@Component
public class HttpUtils {

    private PoolingHttpClientConnectionManager cm;

    public HttpUtils() {
        this.cm = new PoolingHttpClientConnectionManager();
        //设置最大连接数
        this.cm.setMaxTotal(100);
        //设置每个主机的最大连接数
        this.cm.setDefaultMaxPerRoute(10);
    }

    /**
     * 根据请求地址下载页面数据
     *
     * @param url
     * @return 页面数据
     */
    public String doGetHtml(String url) {
        //获取HttpClient对象
        CloseableHttpClient httpClient = HttpClients.custom().setConnectionManager(this.cm).build();
        //创建httpGet请求对象，设置url地址
        HttpGet httpGet = new HttpGet(url);
        httpGet.setHeader("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.0.0 Safari/537.36");
        //设置请求信息
        httpGet.setConfig(this.getConfig());
        CloseableHttpResponse response = null;
        try {
            //使用HttpClient发起请求，获取响应
            response = httpClient.execute(httpGet);
            //解析响应，返回结果
            if (response.getStatusLine().getStatusCode() == 200) {
                //判断响应体Entity是否不为空，如果不为空就可以使用EntityUtils
                if (response.getEntity() != null) {
                    String content = EntityUtils.toString(response.getEntity(), "utf8");
                    return content;
                }
            }
        } catch (IOException e) {
            e.printStackTrace();
        } finally {
            //关闭response
            if (response != null) {
                try {
                    response.close();
                } catch (IOException e) {
                    e.printStackTrace();
                }
            }
        }
        //返回空串
        return "";
    }

    /**
     * 设置请求信息
     *
     * @return
     */
    private RequestConfig getConfig() {
        RequestConfig config = RequestConfig.custom()
                //创建连接的最长时间
                .setConnectTimeout(1000)
                // 获取连接的最长时间
                .setConnectionRequestTimeout(500)
                //数据传输的最长时间
                .setSocketTimeout(10000)
                .build();

        return config;
    }
}

自定义Pipeline保存结果

@Component
public class MyDataPipeline implements Pipeline {

    @Autowired
    private ItemService itemService;


    @Override
    public void process(ResultItems resultItems, Task task) {
        //获取封装好的商品详情对象
        Item itemInfo = resultItems.get("itemInfo");
        if (itemInfo != null) {
            this.itemService.save(itemInfo);
        }
    }
}

爬虫逻辑实现

@Component
public class JobProcessor implements PageProcessor {

    @Autowired
    private MyDataPipeline myDataPipeline;

    @Autowired
    private HttpUtils httpUtils;

    private  int currentPage=1;
    private String url ="https://search.jd.com/Search?keyword=%E7%AC%94%E8%AE%B0%E6%9C%AC%E7%94%B5%E8%84%91&wq=%E7%AC%94%E8%AE%B0%E6%9C%AC%E7%94%B5%E8%84%91&pvid=19a729aac00f4decbacb5de334b3be4e&s=56&click=0&page=";

    @Override
    public void process(Page page) {
        // 解析页面，获取商品信息详情的url地址
        Selectable css = page.getHtml().css("div#J_goodsList");
        List<Selectable> list = page.getHtml().css("div#J_goodsList li").nodes();
        if (list.size() == 0) {
            // 表示商品详情页,解析页面，获取商品详情信息，保存数据
            this.saveJobInfo(page);
        } else {
            // 表示商品列表页,解析出详情页的url地址，放到任务队列中
            for (Selectable selectable : list) {
                String url = selectable.css("div.p-name").links().toString();
                // 把获取到的url地址放到任务队列中
                page.addTargetRequest(url);
            }

            // 获取下一页的url
            currentPage=currentPage+2;
            // 把url放到任务队列中
            page.addTargetRequest(url+currentPage);
        }
    }

    //解析页面，获取商品详情信息，保存数据
    private void saveJobInfo(Page page) {
        // 创建商品详情对象
        Item item = new Item();
        // 解析页面
        Html html = page.getHtml();

        // 设置详情页地址
        String url = page.getUrl().toString();
        item.setUrl(url);

        // 商品图片地址
        String src = "https://"+html.css("div.preview img", "data-origin").toString();
        item.setPic(src);

        // 获取名称
        item.setTitle(html.css("div.sku-name","text").toString());

        // 获取当前选择的sku
        String sku = html.css("div#choose-attr-2 div.selected", "data-sku").toString();
        // 规格
        String standard = html.css("div#choose-attr-2 div.selected", "data-value").toString();
        item.setStandard(standard);

        // 商品价格,先获取sku,通过接口获取价格
        String jsonPrice = httpUtils.doGetHtml("https://" + "p.3.cn/prices/mgets?skuIds=J_" + sku);
        JSONObject priceObject = (JSONObject)JSONArray.parseArray(jsonPrice).get(0);
        item.setPrice(priceObject.getDouble("p"));


        // 店铺名称
        String text = html.css("div.popbox-inner a", "text").toString();
//        String text2 =  Jsoup.parse(html.css("div.popbox-inner a").toString()).text();
        item.setShop(text);
        item.setCreated(new Date());

        // 一个SPU商品里面包含多个SKU商品，每个SKU商品都有自己的价格，所以需要获取每个SKU商品的价格
        List<Selectable> nodes = html.css("div#choose-attr-2 div.item").nodes();
        for (Selectable node : nodes) {
            String nodeSku = node.css("div.item","data-sku").toString();
            // 排除上述处理的sku对应商品
            if (sku.equals(nodeSku)){
                continue;
            }
            page.addTargetRequest("https://item.jd.com/"+nodeSku+".html");
        }


        page.putField("itemInfo",item);
    }


    private Site site = Site.me()
            .setCharset("UTF-8")//设置编码
            .setTimeOut(10 * 1000)//设置超时时间
            .setRetrySleepTime(3000)//设置重试的间隔时间
            .setRetryTimes(3)//设置重试的次数
            .addHeader("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.0.0 Safari/537.36")//设置请求头
            ;
    @Override
    public Site getSite() {
        return site;
    }


    /**
     * 定时执行
     *
     * initialDelay：启动项目延迟执行
     * fixedDelay：每隔5s执行一次
     */
    @Scheduled(initialDelay = 2000, fixedDelay = 5000)
    public void process() {
        Spider.create(new JobProcessor())
                // 初始访问url地址
                .addUrl(url+currentPage)
                // 使用布隆过滤器
                .setScheduler(new QueueScheduler().setDuplicateRemover(new BloomFilterDuplicateRemover(100000)))
                .thread(6)
                .addPipeline(this.myDataPipeline)
                .run();
    }
}

执行测试

启动项目，执行查看结果。