网络爬虫不仅仅可以爬取网站的网页，图片，甚至可以实现抢票功能，网上抢购，机票查询等。这几天看了点基础，记录下来。 网页的关系可以看做是一张很大的图，图的遍历可以分为深度优先和广度优先。网络爬虫采取的广度优先，概括的说来如下: 2个数组，一个记录已访问的网页(Al)，一个记录未访问的网页(Un)。假设网页A为爬取的起始点
转载
2024-02-29 12:48:23
27阅读
package WebSpider;
import java.io.BufferedReader;import java.io.IOException;import java.io.InputStreamReader;import java.net.MalformedURLException;import java.net.URL;import java.nio.charset.Charset;i
原创
2021-08-26 15:12:35
462阅读
简单的说，爬虫的意思就是根据url访问请求，然后对返回的数据进行提取，获取对自己有用的信息。然后我们可以将这些有用的信息保存到数据库或者保存到文件中。如果我们手工一个一个访问提取非常慢，所以我们需要编写程序去获取有用的信息，这也就是爬虫的作用。 一、概念: 网络爬虫，也叫网络蜘蛛(Web Spide
原创
2021-07-14 16:07:06
232阅读
from pyquery import PyQuery as pq import urllib.request import pymysql import uuid conn = pymysql.connect(host='127.0.0.1', user="root", passwd="12345 ...
转载
2021-09-05 23:50:00
179阅读
2评论
#Python学习（五） ##简单爬虫今天我们来介绍一个利用Python进行爬虫的小项目，在起点中文网爬取免费小说并保存到文件中。在这之前我们需要安装两个库： requests BeautifulSoup 具体安装方式就不再详细说明了，不懂的请参考我之前那篇使用pip安装库的文章。首先我们需要获取网页HTML：try:
r = requests.get(url,timeout=30
转载
2023-08-15 12:46:47
100阅读
今天在群里有人讨论到了网络爬虫原理，在此，我就写了一个简单的网络爬虫，由于时间仓促，存在很多不规范，望大家担待，但基本原理，代码中已经体现了。愿大家学习开心。
import java.io.BufferedInputStream;
import java.io.IOException;
import java.io.InputStream;
import java.net.HttpCook
原创
2013-01-29 16:30:01
1667阅读
## Java简单爬虫代码示例
在网络世界中，爬虫是一种自动获取网络信息的程序，可以用于获取网页上的数据以及进行信息检索。爬虫技术在各个领域都有着广泛的应用，比如搜索引擎、数据采集以及网络监控等。在Java中，我们可以利用一些库来编写简单的爬虫程序。
### 爬虫程序示例
下面是一个简单的Java爬虫程序示例，使用Jsoup库来解析网页内容并获取其中的链接信息：
```java
impor
原创
2024-04-15 04:33:39
79阅读
啥是jsoup？jsoup我就不巴拉巴拉了，具体介绍百度或者去官网查看。jsoup怎么用？jsoup和jquery的操作相似，下面简单使用一下。使用jsoup大概也就以下几个步骤：获取整个html文档使用选择器获取需要爬的数据节点集合循环遍历使用选择器获取相应数据实例这是项目结构也就普通的一个测试项目，需要导入jsoup-x.xx.x.jar包，然后建一个实体类。我们就拿这个叽歪笑话来说。每一个笑
原创
2018-12-13 11:44:59
866阅读
一.前期准备： 1.需要软件：pycharm,xpath helper,python3.6,chrome浏览器。 第一步，百度下载以上软件。附上链接：pycharm的https://www.jetbrains.com/pycharm/ 点击首页download ,下载免费使用的community
转载
2024-05-27 14:04:34
66阅读
1、预期获取的资源的url2、下载url的html源文件(文本形式)3、从已下载的html源文件里获取标签或内容（bs4函数（python3）） soup=BeautifulSoup #创建对象 body=soup.body #html基本框架形式、格式 data_main=body.find() #利用浏览器的审查元素&nb
原创
2017-08-23 21:21:50
1587阅读
#!/usr/bin/python3#!-*-coding:utf-8-*-#导入库#import requestsfrom bs4 import BeautifulSoup#模拟浏览器访问#headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTM
原创
2018-05-17 09:52:15
670阅读
点赞
本博客主要用来记录一下学习过程中所使用的代码： 我们以豆瓣电影网为例子，来爬取上面的数据： 链接：豆瓣电影 import requests url="https://movie.douban.com/" resp=requests.get(url) resp.encoding="utf-8" #pr ...
转载
2021-08-04 13:17:00
168阅读
爬取链家二手房源信息import requests
import re
from bs4 import BeautifulSoup
import csv
url = ['https://cq.lianjia.com/ershoufang/']
for i in range
原创
2018-09-26 16:24:40
10000+阅读
模块的安装：pipintall模块名称requests：是一个常用的用于http请求的模块，它使用python语言编写，可以方便的对网页进行爬取，是学习python爬虫的较好的http请求模块。BeautifulSoup：是编写python爬虫常用库之一，主要用来解析html标签importjosn:是一种轻量级的数据交换格式，易于人阅读和编写。xwlt:这是一个开发人员用来生成与微软Excel版
原创
2019-06-15 09:28:29
797阅读
执行Python程序执行入门编程代码“Hello，World！”，用Python输出“Hello，World！”#！/usr/bin/env/pythonprent（"Hello,World！"）#!/usr/bin/python是告诉操作系统执行这个脚本的时候，调用/usr/bin下的python解释器。这种用法是为了防止操作系统用户没有将python装在默认的/usr/bi
原创
2019-06-15 09:42:03
603阅读
回复“1024”获取持续更新Python系列资料RequestsRequests 继承了urllib的所有特性。Requests支持HTTP连接保持和连接池，支持使用cookie保持会话，支持文件上传，支持自动确定响应内容的编码，支持国际化的 URL 和 POST 数据自动编码。requests 的底层实现其实就是 urllib，Requests的文档非常完备，中文文档也相当不错。Requests
原创
2021-02-27 14:51:48
208阅读
爬取 BILIBILI 专栏图片的程序利用 go 语言，获取哔哩哔哩专栏的图片，lsp再也不用手动一个个下载了。。。。用到的都是 go 语言自带的包，放心食用完整代码package main
import (
"fmt"
"io/ioutil"
"net/http"
"os"
"regexp"
"strings"
)
// 定义根路径
var rootPath = "./imgs"
转载
2021-03-16 20:31:23
723阅读
2评论
一、常识 二、示例
原创
2021-07-15 13:54:14
158阅读
1. 什么是爬虫？ 网络爬虫也叫网络蜘蛛，如果把互联网比喻成一个蜘蛛网，那么蜘蛛就是在网上爬来爬去的蜘蛛，
原创
2022-04-22 09:45:59
159阅读
文章目录方法一、tokio + reqwest + futures方法二、async-std + surf + futures
原创
2022-08-26 10:14:08
928阅读
