Python爬取便民查询网的飞机场信息
思路：查看网页源码可以看出，289个页面按钮的的URL的规律很明显可以将这些URL写入一个test.txt文件。对于每一页面根据HTML可以看出，找到table标签下的table标签，该table标签下的所有a标签就是机场详细信息的链接进入机场的详细信息页面，查看源码，发现规律也很强，在table的table下的tbody有机场的详细信息。tr下的两个td
转载
2023-09-03 00:49:21
97阅读
# Python处理js提取流程
## 流程图
```mermaid
flowchart TD
A[准备工作] --> B[爬取网页源码]
B --> C[提取js代码]
C --> D[执行js代码]
D --> E[提取需要的数据]
```
## 步骤
| 步骤 | 操作 |
| ---- | ---- |
| 1 | 准备工作 |
| 2 | 爬取网页
原创
2024-06-06 06:04:57
67阅读
所有代码均是在虚拟机的环境下写的，如果如果直接粘贴代码在win的环境下运行有可能会出bug（虚拟机是 linux 系统）1. 数据类型 结构化数据json，xml，处理方式：直接转化为python类型非结构化数据HTML， 处理方式：正则表达式，xpath2. json模块json.loads() json字符串类型转换成python
json.dumps() python转换成json字
转载
2023-12-24 22:51:20
81阅读
应用场景：工作中，常常需要从单元格数据中截取一部分进行统计、计算，或者从不同系统导出的数据中提取中文、数字和英文等，如何快速提取需要的数据呢？介绍4种常用方法。第一种方法，用文本截取函数三剑客（LEFT/RIGH/MID函数）和文本长度度量函数（LEN /LENB）来提取1、LEFT函数和RIGHT函数参数：LEFT (①要截取的文本或字符串,②要截取的字符个数)RIGHT (①要截取的文本或字符
转载
2024-01-12 10:50:38
181阅读
为便捷配置信息提取规则, 调研 json 格式的数据提取方案.jsonselectcss selector 实现$ pip install jsonselect
>>> import jsonselect as j
>>>
>>> data = {'name':'zz', 'books':[{'name':'x','price':1}, {
转载
2024-10-11 04:36:31
45阅读
1 正则表达式1.1概念世界上信息非常多，而我们关注的信息有限。假如我们希望只提取出关注的数据，此时可以通过一些表达式进行提取，正则表达式就是其中一种进行数据筛选的表达式。正则表达式(Regular Expression)是一种文本模式，包括普通字符（例如，a 到 z之间的字母）和特殊字符（称为"元字符"）。正则表达式通常被用来匹配、检索、替换和分割那些符合某个模式(规则)的文本Python 自1
转载
2024-07-30 13:06:19
46阅读
# 使用 Python 提取 JavaScript 函数体的实用指南
在现代 Web 开发中，JavaScript 成为首页面交互和动态效果的核心。而在一些项目中，我们可能需要从一个包含 JavaScript 代码的文件中提取特定的函数体。本文将使用 Python 来实现这一任务。接下来，我将为你详细介绍整个流程，以及每一步所需的具体代码。
## 整体流程
在开始之前，让我们先概述一下整个提
数据提取是分析师日常工作中经常遇到的需求。如某个用户的贷款金额，某个月或季度的利息总收入，某个特定时间段的贷款金额和笔数，大于5000元的贷款数量等等。本篇文章介绍如何通过python按特定的维度或条件对数据进行提取，完成数据提取需求。 准备工作首先是准备工作，导入需要使用的库，读取并创建数据表取名为loandata。import numpy as np
import pandas as
转载
2023-06-05 16:43:08
112阅读
常用的表格数据存储文件格式——CSV，Microsoft Excel，GoogleExcelPython通常称为粘合语言。这个名称归因于人们逐渐开发出的大量接口库和特征，也得益于广泛的使用和良好的开源社区。这些接口库和特征能直接访问不同的文件格式，还可以访问数据源如数据库、网页和各种API。本文的学习内容：从谷歌表格中提取数据从CSV文件中提取数据从Excel文件中提取数据本文适用于以下读者：Py
转载
2024-07-08 14:01:13
34阅读
多列数据的读入以及处理这次我们用到的数据是煤炭5500周价格的最高价和最低价。左侧为价格的数据表格，右侧为日期。一、导入数据这里我们就直接跳过讲解，如有不懂的，详见上一篇博客。见代码。import matplotlib.pyplot as plt
import re
plt.rcParams["font.sans-serif"] = ["SimHei"] # 设置字体
plt.rcParams["
转载
2023-10-25 20:35:19
41阅读
调用python脚本实现Excel截图,导出图片关键字: 多线程(threading),python,excel,截图,图片导出,COMObject,ImageGrab,WIN32前提:因公司接到一个需求,需要把客户提供的excel文档里面的图表导出来以图片形式保存以及展示实现思路:python 导出excel原生图表 (柱形图,折线图,饼图) 根据公司优化要求,导致在研究开发的时候有两个版本,都
转载
2023-10-09 21:25:03
61阅读
# 页面解析、数据提取
- 结构化数据：先有结构，再谈数据
- JSON文件
- JSON Path
- 转换成Python类型进行操作(json类)
- XML文件
- 转换成Python类型(xmltodict)
- xpath
- c
转载
2024-08-23 18:31:03
59阅读
1. 项目背景在python 即时网络爬虫项目启动说明中我们讨论一个数字：程序员浪费在调测内容提取规则上的时间，从而我们发起了这个项目，把程序员从繁琐的调测规则中解放出来，投入到更高端的数据处理工作中。 2. 解决方案为了解决这个问题，我们把影响通用性和工作效率的提取器隔离出来，描述了如下的数据处理流程图：图中“可插拔提取器”必须很强的模块化，那么关键的接口有：标准化的输入：
转载
2024-08-23 16:43:56
44阅读
参与：一鸣从 PDF 表格中获取数据是一项痛苦的工作。不久前，一位开发者提供了一个名为 Camelot 的工具，使用三行代码就能从 PDF 文件中提取表格数据。 PDF 文件是一种非常常用的文件格式，通常用于正式的电子版文件。
它能够很好的将不同的排版格式固定下来，形成版面清晰且美观的展示效果。
然而，对于想要从 PDF 中提取信息的人们来说，PDF 是个噩梦，尤其是表格。
转载
2024-06-20 10:11:58
43阅读
如果您仍在使用 HTML <table> 在您的网页上显示数据，那么这篇文章及其示例将会很有用。我之前发表过一篇文章，解释了如何使用 JavaScript 将 JSON 数据动态转换为 HTML 表格。现在，我在这里分享一个简单的脚本，展示如何使用 JavaScript 从 HTML 表中读取数据。 首先，我将创建一个带有标题和几行的小表格。数据是硬编码的。
标记
<
转载
2023-09-01 15:39:26
370阅读
一、分析网页 以经典的爬取豆瓣电影 Top250 信息为例。每条电影信息在 ol class 为 grid_view 下的 li 标签里，获取到所有 li 标签的内容，然后遍历，就可以从中提取出每一条电影的信息。翻页查看url变化规律：第1页：https://movie.douban.com/top250?start=0&filter= 第2页：https://movie.douban.c
转载
2024-08-23 15:13:23
74阅读
# 使用Python正则表达式提取JavaScript中的内容
在现代网页中，JavaScript (JS) 扮演着至关重要的角色。许多网站将JS嵌入到HTML中，执行各种动态操作。有时候，我们可能需要从JS代码中提取特定的信息，例如变量值、函数定义或其他数据。本文将介绍如何使用Python的正则表达式库 `re` 来完成这一任务，并提供示例代码。
## 了解正则表达式
正则表达式是一种强大
原创
2024-08-01 06:02:16
123阅读
# 用 Python 提取 JavaScript 嵌套函数体
在 Web 开发中，JavaScript 是一种常用的脚本语言。它支持定义嵌套函数，这使得代码逻辑更加清晰且易于模块化。然而，有时我们需要提取这些嵌套函数体以进行分析或重构。这篇文章将介绍如何使用 Python 提取 JavaScript 嵌套函数体，并附带代码示例。
## 了解 JavaScript 嵌套函数
在 JavaScr
# Python 提取数据不提取表头
在数据分析和处理的过程中，Python以其简洁的语法和强大的库得到了广泛的应用。今天，我们将探讨如何用Python提取数据而不提取表头。这种需求常见于数据清洗时，特别是在处理CSV文件和Excel文件时。
## 1. 数据提取的基本流程
在开始之前，让我们了解一下数据提取的一般流程：
1. **读取数据文件**：首先，我们需要从数据源（如CSV、Exc
原创
2024-09-08 06:53:57
95阅读
目录python爬虫简单js逆向案例一、找到包含所需数据的ajax数据包二、通过浏览器工具进行关键字定位三、分析相关js文件，找出具体实现方式1、getApiKey()函数2、encryptApiKey()函数3、encryptTime()函数4、comb()函数5、查找不一致的原因6、将上述js代码改写成python代码python爬虫简单js逆向案例由于学习任务需要用爬虫获取数据，学习了pyt
转载
2023-10-30 23:59:55
86阅读
