前言：在我搭建好Jellyfin软件后，因为只能播放本地视频，就想能不能播放网络上的电影，可以每天自动下载并更新，这样就不用我手工下载好，再上传到NAS中播放。或许有更好的方法，那就是直接用电影播放源，那就有个问题了，没有那个视频网愿意给播放源，所以还是自己慢慢下载后再播放吧。个人对于python语言也是小白，在网络上寻找大神的脚本稍加修改得到的。如果需要搭建jellyfin，请看我之前的博客-家
转载
2023-12-19 19:55:43
175阅读
# 使用Python爬虫获取超链接
在互联网上，超链接是将网页连接起来的重要元素。爬虫是一种自动化程序，可以从网页中提取信息并保存到本地。在本文中，我们将使用Python编写一个爬虫程序，来获取网页上的超链接。
## 流程图
```mermaid
flowchart TD
A[开始] --> B[发送HTTP请求]
B --> C[获取响应]
C --> D[解析HT
原创
2023-08-27 07:52:43
369阅读
from time import sleep import faker import requests from lxml import etree fake = faker.Faker() base_url = "http://angelimg.spbeen.com" def get_next_l
转载
2020-03-13 12:25:00
273阅读
最近在写一个网络爬虫的代码，提供命令行来下载文件或者是打印根域名下指定节点及深度的子节点。用的是urllib2库，算是比较简单，但是功能并没有很强大。说重点吧，在实际爬网页的过程中，一般的过程是一次调用下面的三个函数： 所得到链接的内容就是保存在html中，然后便可以进行解析了。
但是在实际的爬虫中，我们所遇到的url不只是有html文件的，还有那些下载文件的链接，而对于这些链接对于爬取
转载
2024-07-19 11:45:49
24阅读
一.HTTP基本原理1.URL和URIURL是URI的子集，URI还包括URN，在互联网中，我们一般的网页链接可以被称为URL或者URI，大多数人称为URL。2.超文本我们平常在网站浏览的网页就是超文本解析而成的，这些源代码是一系列的HTML代码，如img：显示图片，p：指定显示段落等。HTML可以被称为超文本。3.http和httpsHTTP，Hypertext Transfer Protoco
转载
2024-02-22 14:44:21
59阅读
什么是爬虫? 我们可以把互联网比作一张大网,而爬虫(即网络爬虫)便是在网上爬行的蜘蛛。把网的节点比作一个个网页,爬虫爬到这就相当于访问了该页面,获取了其信息。可以把节点间的连线比作网页与网页之间的链接关系,这样蜘蛛通过一个节点后,可以顺着节点连线继续爬行到达下一个节点,即通过一个网页继续获取后续的网页,这样整个网的节点便可以被蜘蛛全部爬行到,网站的数据就可以被抓取下来了。代码： 1 fr
转载
2023-07-03 04:39:30
388阅读
# Python爬虫获取a链接的href
## 简介
Python爬虫是指使用Python编写程序来自动获取互联网上的数据。在实际应用中，经常需要从网页中提取链接信息，特别是从``标签中获取`href`属性值。本篇文章将教会你如何使用Python爬虫获取a链接的href。
## 整件事情的流程
我们将分为以下步骤来实现这个功能：
1. 发起HTTP请求，获取网页内容
2. 解析网页内容，提
原创
2023-08-24 09:57:30
911阅读
BeautifulSoup 遍历文档树参考：https://beautifulsoup.readthedocs.io/zh_CN/v4.4.0/#id18用以下例子进行说明:html_doc = """
<html><head><title>The Dormouse's story</title></head>
<body&
hashgard区块链浏览器数据抓取 在对hashgard区块链浏览器数据抓取的目的主要是要获取三类数据，分别是主网token兑换的数据、主网各钱包中的gard余额、以及主网兑换时奖励发放数据。这三种数据抓取的区别在于只请求一次url和循环多次请求url。由于单线程是阻塞式请求，只有在上一次网络请求处理完毕之后才会发起下一次新的网络请求。
def get_record(url):
转载
2024-09-23 14:44:51
53阅读
python的一大特点就是语法简洁，代码量少，除了内置函数和模块赋予的强大功能外，其丰富的语法糖也是减少代码量的关键，本文针对list这一数据结构，汇总了常见的操作技巧1. 遍历列表遍历指的是循环处理列表中的每一个元素，最基本的遍历方法就是for in循环了，用法如下a = [1, 2, 3, 4, 5]
for i in a:
print(i)另外，针对两种特殊的遍历场景，python还
转载
2024-03-05 12:31:05
0阅读
2.1 HTTP基本原理2.1.1 URI 和URLURI：统一资源标志符 URL：统一资源定位符 URN：统一资源名称。只命名资源，不定位资源。URN用的少。 基本所有URI都是URL。2.1.2 超文本网页是由超文本解析而成，网页源代码就是一系列HTML代码，里面包含了一系列的标签，浏览器解析标签，就形成了我们平时看到的网页，而网页的源代码也可以称为HTML。2.1.3 HTTP 和 HTTP
转载
2024-08-19 21:15:16
31阅读
# 教你如何实现Python爬虫获取下拉框选中的值
## 介绍
作为一名经验丰富的开发者，我将帮助你学习如何使用Python爬虫获取下拉框选中的值。这是一个常见的需求，在实际开发中也非常有用。
## 整体流程
下面是整个流程的步骤表格：
| 步骤 | 描述 |
| ---- | ---- |
| 步骤一 | 导入必要的库 |
| 步骤二 | 发送HTTP请求获取网页内容 |
| 步骤三 |
原创
2024-06-20 03:59:55
109阅读
# 使用Python爬虫获取下拉框中的值
随着网络技术的发展，Web爬虫已经成为数据获取的重要工具之一。在数据科学和人工智能的领域，通过爬虫收集数据已成为一个普遍的做法。然而，通过爬虫抓取动态内容，例如下拉框中的值，通常会比抓取静态内容复杂得多。在这篇文章中，我们将探讨如何使用Python爬虫获取下拉框中的值，并提供具体的代码示例。
## 1. 什么是下拉框？
下拉框（Drop-down l
在FY-Python2301项目下创建一个名为day06的文件夹，在day06下创建一个名为01-列表的代码文件。容器型数据类型列表（下标、切片、for循环、列表的一系列方法：append、insert、clear、del、pop、remove、reverse、sort、sorted、extend、max、min、sum、count、index等）1、什么是列表？ 1）回顾：需要有很多数据保存，前
转载
2024-06-11 13:39:15
51阅读
4.3 获取请求参数from flask import request 就是 Flask 中表示当前请求的 request 对象，request对象中保存了一次HTTP请求的一切信息。前三个比较常用：在python2中在非英文字符前加字母’u’可以解决编码错误问题U’中国’ % sa # 接口 api
# 127.0.0.
转载
2023-12-28 20:19:46
103阅读
# Python爬虫如何获取JavaScript的链接
## 引言
在进行网页爬取时，很多网页都使用JavaScript来动态加载内容，这给爬虫带来了一定的挑战。本文将介绍如何使用Python爬虫获取JavaScript的链接，并解决一个实际问题。
## 实际问题
假设我们需要从一个网站上爬取最新的电影信息，包括电影名称、导演、演员等。该网站使用JavaScript动态加载电影列表，因此无法直
原创
2023-11-02 05:52:29
272阅读
# Java爬虫获取下载歌曲免费代码
在互联网时代，我们可以通过各种渠道获取到我们喜欢的音乐。然而，付费音乐平台的流行也给用户带来了一定的经济负担。为了解决这个问题，我们可以使用Java编写一个简单的爬虫程序，以获取并下载免费的歌曲。
## 什么是爬虫
爬虫是一种通过自动化程序从网页上获取信息的技术。它通常用于搜索引擎的抓取、数据分析和个人兴趣等领域。在我们的例子中，我们将使用Java编写一
原创
2023-12-10 07:10:55
123阅读
# Python获取下标for in实现方法
## 1. 整体流程
在Python中，我们可以使用`enumerate()`函数来获取`for in`循环中元素的下标。下面是整个过程的流程图：
```mermaid
pie
title Python获取下标for in流程
"开始" : 1
"使用enumerate()" : 2
"获取下标和值" : 3
"结
原创
2024-06-15 04:37:56
47阅读
本笔记是学习崔庆才老师的网络爬虫课程的总结一、HTTP基础原理1. URI、URL、URNURI： Uniform Resource Identifier，即统一资源标志符 URL：Universal Resource Locator，即统一资源定位符 URN：Universal Resource Name，即统一资源名称 三者的关系就是URI=URL+URN，现在一般的URI和URL等价。对于h
转载
2024-03-04 23:01:21
88阅读
Q4：Python爬取的网页代码会有缺失的现象吗？这个要看网页的数据是不是异步加载的，如果是异步加载的，就会有缺失现象，如果不是的话，就不会有缺失现象，下面我简单介绍一下非异步加载的数据和异步加载的数据这两种情况，实验环境win7+python3.6+pycharm5.0，主要介绍如下：非异步加载的数据：这里的数据一般都是直接嵌套在网页源码中的，和HTML源码一起返回给浏览器，可以直接在网页源码中
转载
2023-09-26 20:32:55
63阅读
