虽然不是专业的爬虫工程师，但作为一个Pythoner，一直对爬虫情有独钟。Python有很多爬虫框架，比如Scrapy、PySpider等。我不是一个特别喜欢用轮子的人，所以根据有限的爬虫知识，结合其他框架架构，自己造了一个用起来特别顺手的轮子：PSpider，也加深了自己对爬虫框架、多线程、多进程等概念的理解。PSpider框架的Github地址：xianhu/PSpider · GitHub，
python小练习(猜拳游戏)# a=str(input('请输入要查询的名字'))
# print(a)
# 爬虫的时候会用到
# print('www','baidu','com',sep='.')
# 猜拳游戏
import random
while True:
a = int(input('请输入你的拳头手势:剪刀-0，石头-1，布-2:'))
print('你的手势是%d
转载
2024-07-15 15:54:07
35阅读
# 如何处理 Python 爬虫中的 null 值
在进行 Python 爬虫的过程中，我们经常会遇到网页上的某些信息可能是空值（null）。处理这些 null 值是非常重要的，因为如果不加以处理，在处理数据时可能会出现错误或不完整的结果。在本文中，我将介绍如何在 Python 爬虫中处理 null 值，并给出具体的示例代码。
## 问题背景
在爬取网页数据时，经常会遇到一些字段的数值为空，
原创
2024-04-17 04:03:34
1387阅读
Python判断字符串是否为空和null方法实例判断python中的一个字符串是否为空，可以使用如下方法1、使用字符串长度判断len(s) ==0 则字符串为空#!/user/local/python/bin/python
# coding=utf-8
test1 = ''
if len(test1) == 0:
print '字符串TEST1为空串'
else:
print '字符串TE
转载
2023-05-30 20:49:38
133阅读
目录关于文件的读写方面先放一下，接下来介绍数据清洗方面的知识。有时候数据对于特定的任务来说格式并不正确，需要转化为更加适合的数据形式。这里介绍数据清洗的有关基础知识，本篇博客先介绍如何处理缺失值。一：处理缺失值缺失数据在很多数据分析应用中都出现过，对于数值型数据，pandas使用浮点值nan来表示缺失值。可以用isnull()对一直数组逐元素进行操作，返回布尔型判断结果，返回缺失值，而notnul
转载
2024-01-24 23:41:52
37阅读
缺失值的处理由于各种原因，我们使用的数据集或多或少地存在着缺失值。如果直接删除缺失值，会丢失其他有价值的数据，以下是处理缺失值的几种方法。1. 直接删除 当缺失值的个数只占整体很小一部分的时候，可直接删除缺失值。但是如果缺失值占比上升，这种缺失值处理方法误差就很大了。 在采用删除法处理缺失
转载
2023-08-30 09:16:47
139阅读
# 实现"python is not null"教程
## 1. 整体流程
首先我们需要了解在Python中如何判断一个变量是否为`None`，然后学习如何使用这种判断方式来实现"Python is not null"的功能。
下面是整个过程的步骤表格：
| 步骤 | 操作 |
| ---- | ---- |
| 1. | 判断变量是否为None |
| 2. | 使用判断结果实现"Pyt
原创
2024-03-22 03:46:46
122阅读
### 标题：Python中判断对象是否为空的方法
Python是一种高级编程语言，它提供了丰富的函数和方法用于进行各种操作。在Python中，我们经常需要判断一个对象是否为空。本文将介绍Python中判断对象是否为空的方法，并提供相应的代码示例。
在Python中，我们通常使用`if`语句来进行条件判断。当我们想要判断一个对象是否为空时，可以使用以下几种方法。
#### 1. 使用`if`
原创
2023-08-01 05:15:30
132阅读
IndentationError: unexpected indentPython 中强制缩进，， IndentationError: unexpected indent 缩进错误这类错误非常常见，一般都是由于tab在不同的平台上占用长度不同导致，有些事程序员自己直接使用空格或其他来顶替tab。解决办法非常简单，在所在平台上使用标准的tab进行缩进，就OK了。UnicodeDecodeError:
转载
2024-08-31 18:51:26
26阅读
经常混淆。空值一般表示数据未知、不适用或将在以后添加数据。缺失值指数据集中某个或某些属性的值是不完整的。在python中有这些空值缺失值表示：['nan', '', 'None', None, np.nan]一般空值使用None表示，缺失值使用NaN表示。注意： python中没有null，但是有和其意义相近的None。pd.isnull不仅可以检测np.nan也可以检测None。注意：pd.is
转载
2023-08-17 17:02:00
302阅读
创建虚拟环境安装TensorFlowpython是向上兼容，Python 3.x 不向下兼容。更下一级的子版本，在非生产环境，譬如学习阶段，并不会有太大的区别。类似的，以 Python 3.8 为例子，如，Python 3.8.1 和 Python 3.8.2 或 Python 3.8.3 在学习阶段，基本没感知。但是如果要细究，还是存在一些差异，比如随着python版本的更新，一些库没有同时更新
转载
2023-10-12 21:46:13
83阅读
在知乎上遇到一个问题，说：计算机中的「null」怎么读？null正确的发音是/n^l/，有点类似四声‘纳儿’，在计算机中null是一种类型，代表空字符，没有与任何一个值绑定并且存储空间也没有存储值。Python中其实没有null这个词，取而代之的是None对象，即特殊类型NoneType，代表空、没有。None不能理解为0，因为0是有意义的，而None是一个特殊的空值。>>> N
转载
2023-07-05 16:45:23
114阅读
在一个没有接口文档的自动化测试中，只能通过抓包及查日志查看发送的信息，其中有一个接口发送的信息如下： enable_snapshot": true, "new_size": null, 自已为是null就是个字符串，直接将请求拼接成下面格式： enable_snapshot": true, "new_size": “null”, 发现发送错误，好吧，我们换换，既然是为null，就是为空吧
转载
2023-06-27 22:45:01
172阅读
爬虫简介网络爬虫（Web crawler），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本，它们被广泛用于互联网搜索引擎或其他类似网站，可以自动采集所有其能够访问到的页面内容，以获取或更新这些网站的内容和检索方式。从功能上来讲，爬虫一般分为数据采集，处理，储存三个部分。传统爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入
转载
2023-08-30 07:56:51
122阅读
1.1爬虫的定义网络爬虫是一种按照一定的规则自动的抓取网络信息的程序或者脚本。简单的来说，网络爬虫就是根据一定的算法实现编程开发，主要通过URL实现数据的抓取和发掘。 随着大数据时代的发展，数据规模越来越庞大、数据类型繁多，但是数据价值普遍比较低，为了从庞大的数据体系中获取有价值的数据，从而延伸了网络爬虫、数据分析等多个职位。近几年，网络爬虫的需求更是井喷式的爆发，在招聘的供求市场上往往是供不应求
转载
2023-08-22 21:54:22
87阅读
文章更新于：2020-02-18注：python 爬虫当然要安装 python，如何安装参见：python 的安装使用和基本语法一、什么是网络爬虫网络爬虫就是用代码模拟人类去访问网站以获取我们想要信息。由于代码模拟的速度和效率很高，所以可以批量和动态获取我们想要的信息。比如抢票软件就是一直用代码访问12306网站获取余票信息，一有余票立马使用代码进行模拟购买。二、网络爬虫的分类通用网络爬虫。又称全
转载
2024-01-25 15:34:46
135阅读
requests+selenium+scrapypython爬虫1、爬虫爬虫：通过编写程序，模拟浏览器上网，然后让去互联网上抓取数据的过程通用爬虫：抓取的是一整张页面数据聚焦爬虫：抓取的是页面中特定的局部内容增量式爬虫：只会抓取网站中最新更新出来的数据反爬机制：门户网站可以通过制定相应的策略或者技术手段，防止爬虫程序进行网站数据的爬取反反爬策略：破解门户网站中具备的反爬机制robot.txt协议：
转载
2023-11-18 20:18:00
5阅读
一、爬虫技术概述爬虫，即网络爬虫，是通过递归访问网络资源，抓取信息的技术。 互联网中也有大量的有价值的信息数据，手动下载效率非常低下，爬虫就是自动化爬取下载这些有价值的信息的技术。 互联网中的页面往往不是独立存在的，而是通过超链接连接成了一个网络，爬虫程序就像一只蜘蛛一样，通过访问超链接在这张网络中移动 ，并下载需要的信息，理论上可以将爬取到整个互联网的绝大部分数据。 爬虫技术最开始来源于
转载
2023-07-30 12:49:00
338阅读
点赞
简单了解一下Python爬虫的基本概念和工作原理。 文章目录简单了解一下Python爬虫的基本概念和工作原理。前言Python爬虫是一种自动化抓取互联网信息的程序。它通过网络请求模拟用户操作，将获取到的网页数据解析并提取所需要的信息。爬虫可以帮助我们高效地获取海量数据，并进行相应的分析和处理。1、发送请求2、解析网页3、数据处理总结 前言Python爬虫是一种自动化抓取互联网信息的程序。它通过网络
转载
2023-07-19 13:53:41
210阅读
# 实现 Python 的 if not null
## 流程概述
在 Python 中，判断一个变量是否为空通常使用 `if` 语句结合 `is` 或 `==` 运算符来实现。判断一个变量是否为 `None` 类型即可判断它是否为空。
以下是实现 "Python if not null" 的步骤：
| 步骤 | 描述 |
| --- | --- |
| 步骤 1 | 检查变量是否为 `N
原创
2023-08-03 10:33:56
252阅读
