网络爬虫(Web crawler)，就是通过网址获得网络中的数据、然后根据目标解析数据、存储目标信息。这个过程可以自动化程序实现，行为类似一个蜘蛛。蜘蛛在互联网上爬行，一个一个网页就是蜘蛛网。这样蜘蛛可以通过一个网页爬行到另外一个网页。网络爬虫也是获取数据的一个途径。对于大数据行业，数据的价值不言而喻，在这个信息爆炸的年代，互联网上有太多的信息数据，对于中小微公司，合理利用爬虫爬取有价值的数据，是
在豆瓣图书爬取书籍信息为例（爬取下面划红线的信息）1.先创建一个mySpider项目（如何创建项目上面已经说过了）2.打开mySpider目录下的items.pyItem 定义结构化数据字段，用来保存爬取到的数据（因为要爬取的是两行信息，下面定义两个变量来存取字符串）# -*- coding: utf-8 -*-
# Define here the models for your scraped
转载
2024-06-08 23:16:27
75阅读
1、网络爬虫技术的演进与优化2000 年 - 2010 年：基于 urllib 的静态页面抓取：这一时期，Python 爬虫主要使用urllib库来发送 HTTP 请求，获取网页内容，然后通过正则表达式对网页内容进行解析和数据提取。这种方式比较基础，适用于结构简单的静态网页，对于复杂网页的处理能力有限。2010 年 - 2013 年：Scrapy 框架出现：2010 年左右，Scrapy 框架的出
一、前言近些年来，网络上的爬虫越来越多，很多网站都针对爬虫进行了限制，封禁了一些不规则的请求。为了实现正常的网络爬虫任务，爬虫常用代理IP来隐藏自己的真实IP，避免被服务器封禁。本文将介绍如何使用Python爬虫来获取代理IP，以及如何在爬虫中使用代理IP。二、获取代理IP获取代理IP有两种方式：免费代理IP网站和收费代理IP服务。免费代理IP网站通常提供一些免费的代理IP，但是这些代理IP质量很
原创
2023-09-07 15:12:18
161阅读
import webbrowser as web import time import os i = 0 MAXNUM = 1 while i <= MAXNUM: web.open_new_tab('要刷的网络地址') os.system('taskkill /F /IM 浏览器文件名称(chro
转载
2017-07-09 14:30:00
59阅读
python常用用法书写习惯和用法1. 打印含有变量的语句坏习惯好习惯2. 判断条件3. 文件读写坏习惯好习惯4. 较多位数数字写法（下划线）易混淆的运算符^和**5. debug 程序的方式坏习惯好习惯6. 可变类型参数坏习惯好习惯扩展7. 字典遍历与推导式8.借助元组解包9. 统计程序运行时间10. 检查类型的方式 书写习惯和用法1. 打印含有变量的语句坏习惯def case 1(name,
转载
2023-09-28 14:20:59
50阅读
前言Python是一种高级编程语言，因其易读性、简洁性和灵活性而备受开发者青睐。Python已成为许多开发人员的首选语言之一，并在各行各业中得到广泛应用。Python具有广泛的应用范围Python在各行各业中都有应用，如数据科学、机器学习、人工智能、Web开发、网络安全、游戏开发等。Python拥有大量的第三方库和框架，可以帮助开发人员快速完成各种任务。例如，NumPy、Pandas、Matplo
转载
2023-11-15 17:23:56
27阅读
Python语言目前是IT行业内最为流行的编程语言之一，同时Python也是全场景编程语言之一，目前在Web开发、大数据开发、人工智能开发和嵌入式开发领域均有应用，所以Python是当今程序员的重要开发工具。 Python语言之所以能够得到广泛的应用，一定离不开Python语言的诸多优点，这其中就包括语法简单、扩展方便、资源整合能力强等等，但是这些优点其他语言也有，之所以Python目前
转载
2023-11-10 11:21:19
68阅读
使用 decimal 进行高精度计算Python 内置了 decimal 模块，主要解决日常精度，默认提供了 28 个小数位进行数学计算。decimal 中 Decimal 类解决了 IEEE 754 浮点数产生的精度问题，并且可以进行更为准确舍入行为。所以我们在涉及重要场合比如货币金额计算情况，非常合适。当然我们也可以进行把小数转化为整数计算，只是会更麻烦一些，不够灵活应对。不要返回 None遇
转载
2023-08-10 08:22:29
75阅读
urllib四个模块urrlib.requesturrlib.errorurrlib.parseurrlib.robotparser获取网页源代码在这里插入代码片post请求在这里插入代码片超时测试在这里插入代码片响应1.响应类型2.状态码3.响应头在这里插入代码片Hander代理(在前面已经介绍)在这里插入代码片cookies（）在这里插入代码片...
原创
2021-06-16 17:24:57
150阅读
ffprobe 也是FFMPEG源码编译后生成的一个可执行程序。ffprobe 是一个非常强大的多媒体分析工具,可以从媒体文件或者媒体流中获得你想要了解的媒体信息,比如音频的参数、视频的参数、媒体容器的参数信息等。 例如它可以帮助分析某个媒体容器中的音频是什么编码格式、视频是什么编码格式,同时还可以得到媒体文件中媒体的总时长、复合码率等信息。如果在输入中指定了 url，ffprobe 将尝试打开并
在现代办公环境中，Python已经成为了许多开发和自动化任务中的重要工具。尤其是在与WPS（WPS Office）文档进行交互的时候，通过Python来完成自动化操作，已经变得越来越流行。然而，许多开发者在这个过程中可能会遇到各种各样的问题。在本文中，我们将探讨如何有效地运用Python来操作WPS，从问题产生到解决的整个过程。
### 问题背景
在使用Python与WPS进行文档处理时，有开
请注意，这个脚本假设您已经在系统中设置了 Java 服务，并且已经创建了相应的 systemd 配置文件。如果您的环境有所不同，您可能需
原创
2023-04-15 06:40:18
95阅读
在 Python 众多原生特性中，描述符可能是最少被自定义的特性之一，但它在底层实现的方法和属性却无时不刻被使用着，它优雅的实现方式体现出 Python 简洁之美。
定义一个描述符是一个有“绑定行为”的对象属性(object attribute)，它的访问控制会被描述器协议方法重写。任何定义了 __get__, __set__ 或者 __delete__ 任一方法的类称为描述符类，
在使用 Python 进行脚本编写时，遇到了“运用 pause” 的问题。这一问题在涉及到用户输入或程序暂停操作时显得尤为棘手。以下是我整理的针对该问题的解决方案及经验分享。
### 问题背景
在某个项目中，我需要在运行 Python 脚本时使用 `pause` 功能，以便于用户能在程序执行的一些重要时刻进行交互或阅读输出信息。此功能对提高用户体验至关重要。然而，我发现此功能并不如预期般顺畅，
正则表达式万能**.?**别的我就就不说了，就用万能.?打字太麻烦了，刚好录了一个屏幕 正则表达式
原创
2022-06-09 08:06:42
44阅读
在使用Python多年以后，我偶然发现了一些我们过去不知道的功能和特性。一些可以说是非常有用，但却没有充分利用。考虑到这一点，我编辑了一些你应该了解的Python功能特色。带任意数量参数的函数你可能已经知道了Python允许你定义可选参数。但还有一个方法，可以定义函数任意数量的参数。首先，看下面是一个只定义可选参数的例子现在，让我们看看怎么定义一个可以接受任意参数的函数。我们利用元组来实现。使用G
转载
2024-01-14 19:55:19
12阅读
1. 输入，输出#!/usr/bin/python
# -*- coding:utf-8 -*-
v = input(">>>")
import getpass
v = getpass.getpass('>>>')
print(v) 2. 条件语句 if 条件: 成功走这里 else:
转载
2023-07-04 19:22:01
93阅读
在当今的企业环境中，使用 Python 根据部门进行数据分析已成为常态。我们需要确保数据的完整性和安全性。这篇博文将详细介绍在一个组织中如何设计和实现有效的备份策略、恢复流程、灾难场景处理、工具链集成、日志分析和预防措施。
### 备份策略
为了保证企业数据的安全，我们首先需要制定清晰的备份策略。以下是一个思维导图，展示了备份策略的各个方面，包括备份频率、存储方式、备份数据的分类等。
```
1、决策树长啥样？决策树其实就是一个多层的if then结构，如下图所示(这里就不画了，引用百度图片)2、决策树中的节点如何确定？a、熵的具体含义熵代表着信息的混乱情况，熵越小，代表信息越纯，相应事件的发生概率越大，反之，熵越大，代表信息越混乱，相应事件的发生概率越小，具体公式如下所示：b、什么是条件熵条件熵是指在x的随机条件下对于y的不确定性表述，其计算公式如下所示：c、信息增益信息增益=熵-条
