JavaScript动态渲染的页面不只Ajax一种。比如中国青年网（详见http://news.youth.cn/gn/）,它的分页部分是由JavaScript生成的，并非原始HTML代码，这其中并不包含Ajax请求。比如ECharts的官方实例（详见http://echarts.baidu.com/demo.html#bar-negative），其图形都是经过JavaScript计算之后生成的。
最近整理一个爬虫系列方面的文章，不管大家的基础如何，我从头开始整一个爬虫系列方面的文章，让大家循序渐进的学习爬虫，小白也没有学习障碍.
爬虫篇 | 动态爬取QQ说说并生成词云，分析朋友状况
爬虫篇 | 200 行代码实现一个滑动验证码
爬虫篇 | 学习Selenium并使用Selenium模拟登录知乎
爬虫篇 | Python使用正则来爬取豆瓣图书数据
爬虫篇
转载
2023-11-29 10:20:33
43阅读
2.14情人节，对单身狗来说就是折磨的日子，本着对自己的身心健康着想，我一天没出门，默默的爬取心目中的女神的微博记录。。。。。。。当然，女神不够，男的来凑，OK。开始正题。准备：python，request（请求url），re（正则）， time（时间）， tqdm(漂亮的动态加载)，wordcloud（词云），jieba（分词）， mayplotlib（画图展示），PIL(图像读取)，numpy
前言最近时间也是比较多，出于某些原因，对几个视频网站的弹幕进行了抓取。今天也是把手头的事情做完了，想着写一篇文章，也算对是一篇小小的总结。(要是有什么不对的地方，还请斧正)正文弹幕数据的格式根据网站视频种类的方式可能有所不同，这里大致分为两类：一种是存储在xml,json文件中的，此类比较容易。第二种是直播平台类的弹幕，由于弹幕具有实时性，存储在文件中不能满足其实时性，继而采用其他的方式，那具体是
转载
2023-08-31 17:08:35
1550阅读
发发发发
原创
2019-03-05 21:09:07
321阅读
本文目录：一、爬虫的目的二、python爬虫的过程和步骤1.发送请求和网页响应2.解析网页内容3.保存数据三、在此过程中可能遇到的问题及解答此文章适合爬虫小白(超新手)，保姆级教学。此文同样发布在简书，我在简书的作者名：还在此处一、爬虫的目的Python爬虫的目的是更快捷地搜索查看网上的数据，并把数据保存下来进行分析。二、python爬虫的过程和步骤Python爬虫的过程：①向网站发送请求requ
转载
2023-12-28 23:42:08
54阅读
OK，上一章我们已经配置好爬虫所需的环境，现在就可以大展身手了！ 第二章的思维导图
一、获取图片网址首先打开pythonIDLE输入：from selenium import webdriver
driver = webdriver.Chrome()#用selenium库打开谷歌浏览器
#或driver = webdriver.Chrome(executable_path=r
转载
2024-01-17 21:44:53
79阅读
jsonp 是为了解决跨域问题而诞生出的解决方案。在现代浏览器中，除了src等特殊标签可以允许跨域，其他时候都不允许跨域访问。为了解决这个问题，jsonp诞生了。其原理主要是 向服务端传递一个一个callback 方法，以及其他请求参数。服务端接受到请求之后，收集对应参数所需要的数据，并加上之前传过来的callback 方法名 ，包装成一个内容为 js文件的响应。客户端再对这个伪js方
转载
2023-10-11 20:51:51
84阅读
用Python爬取知乎妹子图片这次呢，笔者给大家分享的是爬取知乎的妹子图，嗯，你懂的。 话不多说，直接看战果。 嗯，还是很不错的，值得我们去爬取。下面说一下整个过程的实现。页面分析本次爬取的是知乎话题下所有回答的所有图片，如下 我们可以看到这个话题有811个回答，所以呢，爬取的图片也是很多的，共爬取了1996张图片。我们知道我们要爬取的是图片，然后
转载
2024-10-12 20:08:51
16阅读
说明：本学习笔记主要参考：Python3网络爬虫开发实战一书 常用的抓包软件有WireShark、Charles、Fildder、mitmproxy、AnyProxy等。原理：通过设置代理的方式将手机处于抓包软件的监听之下，获取APP运行的过程中发生的所有请求及响应，如果请求的URL及参数有规律，用程序模拟爬取即可。如果没有，可以利用mitmdump对接Python脚本直接处理Respo
转载
2023-08-30 10:56:55
213阅读
前言本学期开始接触python，python是一种面向对象的、解释型的、通用的、开源的脚本编程语言，我觉得python最大的优点就是简单易用，学习起来比较上手，对代码格式的要求没有那么严格，这种风格使得我在编写代码时比较舒适。爬虫作为python的最为吸引我兴趣的一个方面，在学习之后可以帮助我们方便地获取更多的数据源，从而进行更深层次更有效的数据分析，获得更多的价值。爬取小说思路首先我们肯定是对小
转载
2024-02-05 20:17:56
30阅读
反反复复
原创
2019-08-07 23:01:57
451阅读
点赞
1评论
# Python 发 UDP 数据包的基本教程
在网络编程中，UDP（用户数据报协议）是一种简单且高效的通信协议。与TCP相比，UDP是无连接的，这意味着它不会在数据发送之前建立连接，也不会在接收后确认数据的到达，因此适合需要快速传输的应用场景，如视频流、实时游戏等。这篇文章将介绍如何使用Python实现UDP数据包的发送和接收，并展示相关的流程和状态图。
## 1. UDP的工作原理
UD
原创
2024-08-30 07:25:26
92阅读
## Python发QQ
### 引言
Python作为一种高级编程语言，具有简洁、易读、易学的特点，深受开发者的喜爱。在这篇文章中，我将教你如何使用Python来实现发送QQ消息的功能。
### 整体流程
首先，让我们来看一下实现发送QQ消息的整体流程。
```mermaid
flowchart TD
subgraph 准备工作
B1[安装Python] --> B2
原创
2023-10-19 15:47:56
79阅读
# 使用Python发送AT命令的指南
AT命令（Attention Command）是一种用于控制调制解调器和其他设备的命令集合。在本指南中，我们将学习如何使用Python发送AT命令。此过程包括设置环境、编写代码并实际发送AT命令。
## 流程概述
在开始之前，让我们先概述一下整个流程，以便更好地理解我们需要完成的步骤。
| 步骤 | 任务
PythonSpider项目Python爬虫是用Python编程语言实现的网络爬虫，主要用于网络数据的抓取和处理，相比于其他语言，Python是一门非常适合开发网络爬虫的编程语言，大量内置包，可以轻松实现网络爬虫功能。Python爬虫可以做的事情很多，如搜索引擎、采集数据、广告过滤等，Python爬虫还可以用于数据分析，在数据的抓取方面可以作用巨大！此次项目我们所需软件： PyCharm 下载地址
转载
2023-09-15 19:21:41
85阅读
并行 : 并行是指两者同时执行，比如赛跑，两个人都在不停的往前跑；(资源够用，比如三个线程，四核的CPU )并发 : 并发是指资源有限的情况下，两者交替轮流使用资源，比如一段路(单核CPU资源)同时只能过一个人，A走一段后，让给B，B用完继续给A ，交替使用，目的是提高效率。区别:并行是从微观上，也就是在一个精确的时间片刻，有不同的程序在执行，这就要求必须有多个处理器。并发是从
# Python发糖实现指南
## 简介
作为一名经验丰富的开发者，我将教会你如何实现"Python发糖"这个功能。这将帮助你了解Python中的一些基本概念和语法，并提供了一个实际的示例项目。
## 整体流程
下面是整个项目的高级流程图：
```mermaid
journey
title Python发糖实现指南流程
section 定义目标
入门
原创
2023-08-20 09:12:42
19阅读
# Python 发送 Socket 数据
在网络通信中，Socket 是一种用于实现网络通信的编程接口。它提供了一种机制，使得不同设备上的进程能够相互通信。Python 语言提供了一个内置的 socket 模块，可以方便地使用 Socket 实现网络通信。
## Socket 概述
Socket 是一种抽象层，它隐藏了底层的网络细节，使得网络通信变得简单。通过 Socket，我们可以在不同
原创
2024-01-01 08:29:22
42阅读
# Python发邮件到Outlook的实现步骤
## 简介
在Python中，我们可以利用第三方库来实现向Outlook发送邮件的功能。在本文中，我将向你介绍如何使用Python的smtplib库和email库来实现这一功能。首先，让我们来看一下整个实现过程的流程图：
```mermaid
flowchart TD
subgraph 准备工作
1[导入必要的库] --
原创
2024-01-13 09:01:24
98阅读
