一、工具：requests BeautifulSoup tqdm 用来显示采集进度 url: https://ncov.dxy.cn/ncovh5/view/pneumonia二、网页分析：在最近一日各国疫情数据中，各国数据以字典形式存在于列表当中，每个字典中包含该国家的历史疫情数据URL。整体思路： 1、加载最近一日各国疫情数据 2、遍历上述列表，获取每个国家历史疫情URL 3、调用爬取函数爬取
转载
2024-05-15 07:52:46
53阅读
在这篇博文中，我将详细记录如何使用 Python 爬取小鹅通的全过程。我们将涵盖协议背景、抓包方法、报文结构、交互过程、字段解析以及多协议对比。
## 协议背景
小鹅通是一个以在线教育为主的平台，允许教育机构和老师进行内容发布和课程管理。在这个过程中，我们需要通过抓取 HTTP 请求以便获取所需数据。为了更好理解这个过程，以下是小鹅通相关的协议关系图：
```mermaid
erDiagra
# Python爬取小鹅通教程
在信息化时代，数据的获取与分析愈发重要。Python作为一种通用的编程语言，其强大的爬虫库使得网络数据的抓取变得简单。在本教程中，我们将学习如何使用Python爬取小鹅通平台的公开数据。
## 小鹅通简介
小鹅通是一款在线教育平台，提供课程创建与管理、用户管理等功能。通过爬虫，我们可以获取课程信息、用户评论等数据，以便进行后续的分析和处理。
## 环境准备
# 爬取速卖通网站数据的 Python 程序
[速卖通]( 是一个知名的跨境电商平台，提供了海量的商品供应，并且全球范围内都有很多用户。对于一些需要大量商品信息的业务，例如市场调研、竞争对手分析等，我们通常需要从速卖通网站爬取商品数据。本文将介绍如何使用 Python 编程语言爬取速卖通网站的商品数据。
## 准备工作
在开始之前，我们需要安装一些 Python 库来帮助我们进行网络数据的爬
原创
2024-02-02 10:53:09
546阅读
在这篇博文中，我想分享如何使用 Python 爬取学习通教师后台的过程。这个项目的挑战在于如何使用合适的工具和技术，来提取有用的信息并优化爬取效率。让我们从背景描述开始。
### 背景描述
在2023年，我发现学习通的教师后台是一个信息丰富的平台，能够帮助教师更好地管理课程和学生。为了有效利用这些数据，我决定运用 Python 爬虫技术，来爬取教师后台的相关信息。以下是我在项目中经历的几个关键
在数据采集阶段，很多时候需要我们自己去爬取数据。这里给大家安利几个常用的基本方法和技术。一、HTTP协议详细解读大家参见：https://kamranahmed.info/blog/2016/08/13/http-in-depth/HTTP2主要特点二进制而不是文本多工-通过单个连接的多个异步HTTP请求使用HPACK的报头压缩服务器推送-单个请求有多个响应请求优先级安全二、Requesthttp
转载
2023-08-22 15:57:28
267阅读
数组是同一种数据类型元素的集合。数组在内存中都是连续存放的。 在Go语言中，数组从声明时就确定，使用时可以修改数组成员，但是数组大小不可变化。 基本语法： // 定义一个长度为3元素类型为int的数组a var a [3]int 数组定义： var 数组变量名 [数组长度]T 比如：var a [5 ...
转载
2021-10-15 09:49:00
95阅读
2评论
Go语言中提供的映射关系容器为map，其内部使用散列表（hash）实现。 map 是一种无序的键值对的集合。map 最重要的一点是通过 key 来快速检索数据，key 类似于索引，指向数据的值 map 是一种集合，所以可以像迭代数组和切片那样迭代它。不过，map 是无序的，无法决定它的返回顺序，这是 ...
转载
2021-10-18 10:37:00
104阅读
2评论
因为数组的长度是固定的并且数组长度属于类型的一部分，所以数组有很多的局限性。 func arraySum(x [3]int) int{ sum := 0 for _, v := range x{ sum = sum + v } return sum } 这个求和函数只能接受[3]int类型，其他的都 ...
转载
2021-10-18 10:27:00
86阅读
2评论
指针的概念 指针是存储另一个变量的内存地址的变量。 变量是一种使用方便的占位符，用于引用计算机内存地址。 一个指针变量可以指向任何一个值的内存地址。 在上面的图中，变量b的值为156，存储在内存地址0x1040a124。变量a持有b的地址，现在a被认为指向b。 区别于C/C++中的指针，Go语言中的 ...
转载
2021-10-20 10:03:00
119阅读
2评论
## 上传医院接口 整合服务网关 ### 网关介绍 API网关出现的原因是微服务架构的出现，不同的微服务一般会有不同的网络地址，而外部客户端可能需要调用多个服务的接口才能完成一个业务需求，如果让客户端直接与各个微服务通信，会有以下的问题： （1）客户端会多次请求不同的微服务，增加了客户端的复杂性。 ...
转载
2021-07-02 23:36:00
430阅读
2评论
这里写目录标题1、项目介绍2、技术点3、业务流程4、项目架构5、项目源码（包含sql）6、启动步骤7、项目模块说明8、项目功能总结9、效果图后台管理端前端展示端数据库 1、项目介绍尚医通即为网上预约挂号系统，网上预约挂号是近年来开展的一项便民就医服务，旨在缓解看病难、挂号难的就医难题，许多患者为看一次病要跑很多次医院，最终还不一定能保证看得上医生。网上预约挂号全面提供的预约挂号业务从根本上解决了
技术点学习： 数据字典: 何为数据字典？数据字典就是管理系统常用的分类数据或者一些固定数据，例如：省市区三级联动数据、民族数据、行业数据、学历数据等，由于该系统大量使用这种数据，所以我们要做一个数据管理方便管理系统数据，一般系统基本都会做数据管理。 EasyExcel介绍 Java解析、生成Exce ...
转载
2021-07-02 23:19:00
639阅读
2评论
环境开发环境window 7 x64python3.7 (Anacona 3)vscode 编辑器 使用的python包有requests 用于模拟http请求bs4 用来解析html文档re 正则表达式pycryptodome 用于AES解密代码实现这个代码主要实现了使用python爬取m3u8格式的加密文件，代码很简单 爬取m3u8文件也可以使用m3u8包,感兴趣的话可以试试，本代码使用的re
转载
2024-01-11 06:34:29
746阅读
点赞
1评论
什么是反射 官方关于反射定义： Reflection in computing is the ability of a program to examine its own structure, particularly through types; it’s a form of metaprogr ...
转载
2021-10-27 13:17:00
283阅读
2评论
函数是组织好的、可重复使用的、用于执行指定任务的代码块。 Go语言中支持函数、匿名函数和闭包，并且函数在Go语言中属于“一等公民”。 函数定义 Go语言中定义函数使用func关键字，具体格式如下： func 函数名(参数)(返回值){ 函数体 } 其中： 函数声明：关键字func 函数名：由字母、数 ...
转载
2021-10-18 10:49:00
96阅读
2评论
接口（interface）定义了一个对象的行为规范，只定义规范不实现，由具体的对象来实现规范的细节。 接口类型 在Go语言中接口（interface）是一种类型，一种抽象的类型。 interface是一组函数或方法的集合，是duck-type programming的一种体现。接口做的事情就像是定义 ...
转载
2021-10-23 09:42:00
120阅读
2评论
方法和接收者 Go语言中的方法（Method）是一种作用于特定类型变量的函数。这种特定类型变量叫做接收者（Receiver）。接收者的概念就类似于其他语言中的this或者 self。 Go 语言中同时有函数和方法。一个方法就是一个包含了接受者的函数，接受者可以是命名类型或者结构体类型的一个值或者是一 ...
转载
2021-10-22 10:05:00
98阅读
2评论
我们已经学习 urllib、re、BeautifulSoup 这三个库的用法。但只是停留在理论层面上，还需实践来检验学习成果。因此，本文主要讲解如何利用我们刚才的几个库去实战。1 确定爬取目标任何网站皆可爬取，就看你要不要爬取而已。本次选取的爬取目标是当当网，爬取内容是 以 Python 为关键字搜索出来的页面中所有书籍的信息。具体如下图所示：点击查看大图本次爬取结果有三项：图书的封面图片图书的书
转载
2023-09-06 06:53:01
184阅读
通过python爬取SCDN论坛的标题，返回请求网址使用requests请求网址 lxml中etree请求数据 time延时 openpyxl保存再excel中网站共有100页数据，5000个论坛。我们可以输入爬取的页数：运行代码：将数据储存在excel中：源代码如下：在这里插入代码片
# _*_ coding:utf _*_
# 人员：21292
#
转载
2023-07-01 00:19:47
247阅读
