wx63560c7d74933的博客_从头开始学Java数据采集

从头开始学Java数据采集

第一章网络爬虫概述与原理1.1 网络爬虫简介1.2 网络爬虫分类1.

环境搭建

网络数据

网络抓包

原创 2022-11-03 19:11:30 115 阅读

1.1 网络爬虫简介

随着互联网的迅速发展，网络数据资源个URL对应的网页内容(如HTML和JSON等)，根据用户要求解析网

数据

搜索引擎

网络数据

原创 2022-10-25 01:22:57 127 阅读

2.5 HTTP状态码

HTTP状态码是由3位数字组成，描述了客户端向服务器请求过程中发生的情况。状态码的

服务器

客户端

状态码

原创 2022-10-25 01:22:51 38 阅读

2.3 HTTP报文

报文是指以一定格式组织起来的数据，分为请求报文和响应

请求报文

响应报文

状态码

原创 2022-10-25 01:22:47 86 阅读

2.4 HTTP请求方法

在客户端向服务器端发送请求时，需要确定使用的请求方法。请求方法表于GET请求，只不过返回的响应

服务器

客户端

请求数据

原创 2022-10-25 00:54:44 51 阅读

2.1 HTTP简介

用户在Web浏览器(下文统称为客户端)请求某个URL时，该请求。text/html

ip协议

xml

客户端

原创 2022-10-25 00:54:28 63 阅读

1.4 网络爬虫采集策略

网络爬虫的采集策略一般分为四种:深度优先策略、广度优先策略、非完全PageR

html

超链接

搜索

原创 2022-10-25 00:54:22 229 阅读

1.2 网络爬虫分类

网络爬虫按照系统结构和实现技术，大致可分为4类，即通用网络爬虫、聚焦网络爬虫、增量网络爬虫和深层次网tch框架的读者，可参考书籍Web Crawli

数据采集

数据

时间戳

原创 2022-10-25 00:54:05 85 阅读

1.3 网络爬虫流程

普通网络爬虫的流程大致包含URL队列模块、页面内容获取模块、页数据，如响应成功则执行解

数据

网页内容

数据存储

原创 2022-10-25 00:54:01 189 阅读

3.2.8 HttpClient文件下载

下载HTML、图片、PDF和压缩等文件一种方法是，使用HttpEntity类将响应实体转换成字节数据，再利用输出流的方

java

html

输出流

初始化

原创 2022-10-25 00:53:56 183 阅读

2.7 网络抓包

1.简介抓包是指对网络传输中发送与接收的数据包进行拦截、重发、编辑

网络抓包

数据

登录页面

原创 2022-10-25 00:23:06 81 阅读

3.1.2 Jsoup请求URL

org.jsoup.Jsoup类可以用来处理连接操作。在org.jsoup.Jsoup类中提供了connect(Stri这里使用get()方法执

html

状态码

数据类型

原创 2022-10-25 00:23:03 118 阅读

3.1.5 Jsoup超时设置

在网络异常的情况下，可能会发生连接超时，进而导致程序僵

html

连接超时

状态码

原创 2022-10-25 00:22:48 640 阅读

3.1.4 Jsoup提交请求参数

网页提交表单数据，涉及到一系列请求参数。GET请求的参数，是通过URL传递的，通常以“?key1=value1&key2=value2”的形式进行传递。 POST请求的参数，通常是

html

获取数据

post请求

原创 2022-10-25 00:22:44 326 阅读

3.1.8 Jsoup大文件内容获取

在采集数据时，经常会遇到一些较大的文件，如包含大量文本信息的HTML文件、大小超过10M的图片、PDF和ZIP等文件。在默认情况下，Jsoup最大只能获取1M的文件。因此，直接使用Jsoup请求包含大量文本信息的HTML文件，将导致获取的内容不全；请求大小超过1M的图片和ZIP等文件，将导致

spring

文件大小

html

原创 2022-10-25 00:22:41 205 阅读

3.1.7 Jsoup响应转输出流

使用Jsoup下载图片、PDF和压缩等文件时，需要将响应转换为输出流。转换为输出流的目的是增强写文件的能力，即以字节为单位写入指定文件。以图片下载为例，程序3-12使用bodyStream()方法将响应转换为输出流，并以缓冲流的方式写入指定文件 class JsoupC

输出流

缓冲流

保存图片

原创 2022-10-25 00:22:40 104 阅读

3.1.6 Jsoup代理服务器

在一般情况下，使用浏览器可从而防止网络爬虫被服务器封锁。另外，普通网络爬虫使用固定的IP地址请求时，

代理服务器

ip地址

状态码

原创 2022-10-25 00:22:37 131 阅读

3.2.4 HttpClient设置头信息

在网络爬虫中，经常需要设置一些头信息。设置头信息的作用是伪装网络爬虫

html

xml

chrome

原创 2022-10-25 00:22:23 161 阅读

3.2.2 HttpClient请求URL

1.创建HttpClient实例HttpClient的重要功能是执行HTTP请求方法，获取响应资源。在执行

实例化

状态码

初始化

原创 2022-10-25 00:22:22 83 阅读

3.2.5 HttpClient提交请求参数

网页提交表单数据，涉及到一系列请求参数。GET请求的参数，是通过URL传递的，通103。

post请求

请求参数

表单

原创 2022-10-25 00:22:19 57 阅读

3.2.1 HttpClient环境搭建

HttpClient是Apache Jakarta Common下的子项目，用来提供高效的、功能丰富的、支

java

apache

xml文件

原创 2022-10-25 00:22:18 77 阅读

3.2.9 HttpClient请求重试

使用HttpClient请求URL时，有时候会出现请求异常的情况。针对一些非致命的异常，可以通过请求重试解决。HttpClient提供了

幂等

自定义

线程中断

原创 2022-10-25 00:22:16 590 阅读

3.2.3 HttpClient实体工具类

在程序3-14中，使用了HttpClient中的EntityUtils类。EntityUtils类的作用是操作响应实体。例如，数据类型为 Charset def

html

系统资源

数据类型

原创 2022-10-25 00:22:13 66 阅读

3.2.10 HttpClient多线程执行请求

4.5版本的HttpClient中的连接池管理器PoolingHttpClientConnectionManager类实现了HTTP连接池管理，其管理连

html

连接池

多线程

原创 2022-10-25 00:22:13 253 阅读

3.2.7 HttpClient代理服务器的使用

在3.2.6节中，已经介绍了RequestConfig类来进行超时时间的设置，本节将直接使用该类来配置代理服务器进行访问，程序3-1

实例化

代理服务器

原创 2022-10-25 00:22:09 81 阅读

3.2.6 HttpClient超时设置

使用HttpClient可配置三种超时时间:RequestTimeOut(获取链接超时时间) 、connectTimeOut(建立链接超时时间)、SocketTim

初始化

内部类

get请求

原创 2022-10-25 00:22:05 64 阅读

6.2 Selenium定位元素

在使用Selenium时，往往需要先通过定位器找到响应的元素，然后再进行其他操kw" name="wd"

搜索

百度

css选择器

原创 2022-10-25 00:11:41 94 阅读

6.6 Selenium操作弹出对话框

html

javascript

警告框

原创 2022-10-25 00:11:35 81 阅读

4.1 Jsoup解析

在上一章介绍了如何使用Jsoup获取网页资源，本节将重点介绍Jsoup的解析功能。文本节点(Text

html

css选择器

spring

原创 2022-10-25 00:04:57 211 阅读

4.3 XML解析

Jsoup既可以解析HTML，也可以用于解析XML。在本节中，将使用Jsoup解析

xml

解析xml

解析html

原创 2022-10-25 00:04:52 54 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

wx63560c7d74933的博客