这篇博客我们将用java来实现基本的爬虫数据抓取操作，基本思路就是通过java访问url,然后拿到返回的html文档，并用jsoup解析。 首先我们来看下需要抓取的页面，以我自己的csdn博客列表页面为例。我们将每篇博客的链接地址，文章标题以及摘要抓取出来。下面是代码实现：public class WhxCsdnCrawler {
public static void main(Str
转载
2023-05-31 08:34:49
45阅读
# Python 爬虫取得网页总页数
## 介绍
在爬虫开发中，我们经常需要获取网页的总页数，以便确定需要采集的页面范围。本文将教会你如何使用 Python 爬虫来取得网页的总页数。我们将使用 requests 库发送 HTTP 请求获取网页内容，并使用 BeautifulSoup 库解析 HTML。
## 整体流程
下面是完成任务的整体流程，我们将按照以下步骤进行操作：
```mermai
原创
2023-12-02 14:11:25
674阅读
在爬虫中，数据解析方法有很多种，比如正则表达式、bs4、Xpath、pyquery等，这个专栏所涉及到的爬虫主要以Xpath为主。Xpath解析：最常用且最便捷高效的一种解析方式，通用性强。1. Xpath解析原理（1）实例化一个etree对象，且需要将被解析的页面源码数据加载到该对象中；（2）调用etree对象中的Xpath方法结合Xpath表达式实现标签的定位和内容的获取。2. 环境的安装pi
转载
2023-07-12 21:28:55
31阅读
这个问题曾经也困扰了我好久，不过以后都没有用过也都忘记了，不过今天在做项目 的时候又遇到了，花费了很久的时间都没有成功。也试了它的很多属性，例如:varStatus、last、${status.count}。不过都不是我 想要的结果。后来用了fn标签才解决的此问题（取得集合数量）。在使用fn标签时需...
转载
2014-11-12 09:45:00
279阅读
2评论
通过Resquest或urllib2抓取下来的网页后，一般有三种方式进行数据提取：正则表达式、beautifulsoup和lxml，留下点学习心得，后面慢慢看。正则表达式参考文档： 正则表达式30分钟入门教程看完文档后理解正则表达式的基本概念就行，然后知道贪婪匹配和懒惰匹配的区别。实际运用过程中用的最多的就两种（ .*?) 和 (d+) 分别用来匹配任意字符和数字,？表示懒惰匹配。 &n
转载
2024-01-18 16:21:50
63阅读
我们需要让爬虫从每个网页中抽取一些数据，然后实现某些事情，这种做法被称为抓取。分析网页 查看网页源代码，使用Firebug Lite扩展，Firebug是Joe Hewitt开发的一套与Firefox集成在一起的功能强大的web开发工具，可以实时编辑、调试和监测任何页面的CSS、HTML和JavaScript。在这里用于网页源代码的查看。 安装Firebug Lite，下载Firebug Lite
转载
2023-11-09 22:55:17
75阅读
学习java这么久，见到过项目中的神人在键盘上运指如飞的编程速度，当时就被震撼了。当编程越来越成体力活，我们还能有自己的思想，还能修炼为Java系统级别的程序员嘛？学习与修炼以下知识与技能，帮你早日达成愿望。 一、努力成为某个行业或者领域骨干 &
转载
2023-09-21 12:19:10
41阅读
一、获奖感想这次能获得小黄衫，可以说是对我自己这半学期以来努力学习的一种肯定，也是激励我继续努力的动力。首先，我要感谢给予我们耳目一新的学习方式的娄老师。我曾在我期望的师生关系中提到，我的高中班主任曾锻炼过我们的自学能力，在上娄老师的课之前，我也曾自诩自己的自学能力还不错，但是真正学习Java这门课程，我才知道，自己所谓的自学也只不过是看书，死记硬背罢了。这就不得不提娄老师所提倡的“做中学”学习方
转载
2023-09-28 08:27:59
42阅读
#!/usr/bin/env python
#coding=utf-8
'''
@这个脚本会显示除urls列表中定义的网页的header，\
在请求时，会随机使用已经定义好的my_headers列表中的User-Agent
并且在最后使用cha
原创
2015-09-08 11:44:09
604阅读
#!/usr/bin/env python
#coding=utf-8
'''
@ 这个脚本会将指定网页中的壁纸图片下载到本地
'''
import urllib
import re
def get_html_info(url):
&n
原创
2015-09-08 12:12:58
308阅读
# 网页部分爬取项目方案
## 1. 项目背景
现如今，互联网上的信息量庞大，人们需要从网页中获取特定的信息来进行数据分析、挖掘或者其他用途。而网页的信息通常是以HTML文档的形式展现的，其中最常见的元素就是``标签。因此，通过编写一个Python爬虫来爬取网页的``部分是一项非常有实用价值的项目。
## 2. 项目目标
本项目的目标是编写一个Python爬虫，通过指定URL和``标签的类
原创
2023-07-21 13:08:33
897阅读
# Java取得Timestamp
在Java编程中，时间戳（timestamp）是一个十分常用的概念。时间戳表示从某个固定时间点开始到现在的时间间隔，通常以毫秒为单位。在Java中，我们可以使用`java.sql.Timestamp`类来表示时间戳，并且可以通过不同的方式获取当前时间戳。
本文将介绍如何在Java中获取时间戳，并提供一些代码示例来帮助读者理解。
## 使用System类获取
原创
2023-12-22 08:51:11
70阅读
## 如何在Java中获取方法名
### 简介
在Java中，要获取当前方法的方法名，可以使用反射机制来实现。反射是Java提供的一种强大的机制，可以在运行时获取类的信息，并且可以动态地调用类的方法、构造函数和属性等。通过利用反射，我们可以轻松地获取方法的名称。
### 流程图
```mermaid
flowchart TD
A[定义一个方法] --> B[获取当前方法的名称]
原创
2023-12-02 11:13:47
47阅读
# 如何实现 Java 取得 CPUID
## 简介
本文将教会你如何使用 Java 语言实现获取 CPUID 的功能。CPUID 是用于获取 CPU 信息的指令，通过获取 CPUID 可以获取到 CPU 的型号、支持的指令集等信息。在 Java 中，我们可以使用 JNI（Java Native Interface）调用底层 C 语言来实现获取 CPUID 的功能。
## 实现步骤
下面通过表
原创
2024-01-11 04:22:22
137阅读
# Java取得URL
在Java中，我们经常需要通过URL来获取网络资源。URL代表统一资源定位符，是一个标准的互联网地址。通过URL可以打开一个连接，并读取、写入或下载网络资源。本文将介绍在Java中如何取得URL，并提供一些代码示例来演示。
## 什么是URL
URL是一个标准的互联网地址，用于定位网络上的资源。它由多个部分组成，包括协议、主机名、端口号、路径等。下面是一个URL的示例
原创
2023-08-26 03:39:45
140阅读
Java中=是赋值运算，而==判断值是否相等，===是判断的是值及类型是否完全相等，而===只在JavaScript中有比如a=b 就是把b的值赋予给a; a==b 就是判断a等于b1.下面是判断==运算符比较的两个值是否相等的判断条件:1.如果两个值具有相同的类型，那么就检测它们的等同性。如果这两个值完全相同，它们就相等。如果它们不完全相同，则它们不相等。2.如果两个值的类型不同，它们仍然可能
转载
2018-06-23 21:19:35
91阅读
# Java替换Word教程
## 目录
1. [介绍](#1-介绍)
2. [流程图](#2-流程图)
3. [步骤及代码](#3-步骤及代码)
4. [总结](#4-总结)
## 1. 介绍
在本教程中，我将向你介绍如何使用Java实现替换Word文档的操作。首先，我们需要了解整个操作的流程，然后逐步指导你进行代码编写。
## 2. 流程图
下面是整个操作的流程图，用来帮助你理解整
原创
2023-09-04 04:51:19
108阅读
# 如何使用Java取得年份
## 引言
在Java开发中，经常需要获取日期和时间信息。其中，取得日期的年份是一个常见的操作。本文将介绍如何使用Java的Date类来取得年份信息。
## 1. 流程概述
以下是取得年份的整个过程的概要。具体的步骤将在后续章节中详细介绍。
| 步骤 | 描述 |
| --- | --- |
| 1 | 创建一个Date对象 |
| 2 | 创建一个Calend
原创
2024-01-12 06:18:09
41阅读
# Java取得线程名称
在Java中，每个线程都有一个唯一的名称，可以通过一些方法来获取线程名称。线程名称对于调试和跟踪多线程应用程序非常重要。本文将介绍如何在Java中取得线程名称，并提供代码示例说明。
## 取得当前线程的名称
要获取当前线程的名称，可以使用Thread类的静态方法`currentThread()`。该方法返回当前正在执行的线程对象，可以通过调用`getName()`方
原创
2023-07-23 02:55:22
62阅读
# 如何在Java中获取启动目录
在Java开发中，了解程序的启动目录对于文件的读取、写入以及配置的管理是非常重要的一环。本文将讨论如何在Java中获取启动目录，并提供代码示例帮助您更好地理解这一概念。
## 启动目录的概念
在Java中，启动目录通常指的是执行Java程序时的工作目录。这个目录是Java程序运行时相对于`java`命令行所处的文件系统位置。你可以通过多种方式获取这个目录，以
原创
2024-08-09 09:07:14
8阅读
