最近在看崇天老师的MOOC Python网络爬虫与信息提取课程，先开个头首先必须安装requests 库方法很简单 pip install requests即可以上是requests 库中的7个主要方法import requestsurl='http://www.baidu.com'
r=requests.get(url)
print(r.status_code)
r.encoding='utf-
转载
2024-08-23 20:42:30
26阅读
在数据分析领域，最热门的莫过于Python和R语言。其中，数据分析库pandas是Python最经典的库之一。它使用一个二维的DataFrame来表示表格式的数据，相比较于Numpy，Pandas可以存储混合的数据结构，同时使用NaN来表示缺失的数据，而不用像Numpy一样要手工处理缺失的数据，并且Pandas使用轴标签来表示行和列。一般来说，用pandas处理小于100兆的数据，性能不是问题。但
转载
2023-10-04 10:00:45
39阅读
1、一切数据库操作最好使用内网连接，2、使用批量操作接口操作数据库，而不是多线程频繁操作单条数据3、如果python进程的cpu使用率达到100%了，需要开启多进程。java单个进程cpu使用率在32核处理器上可以达到3000%以上，python单个进程职高只能100%，要想加速必须修改代码使用多进程。如图，java单个进程cpu使用率可以远超100%，python单进程cpu最高只能100%&n
转载
2023-07-02 18:44:42
16阅读
有同学在课上提出python编的程序运行比较慢！首先，我要说，这是真的，这为同学对python还是有一定了解的。python程序确实要比c,c++等程序要慢！大约慢2到10倍！！第二，我们说一下为什么python程序要比C 、C++程序要慢。在解释这个问题前我们要了解，计算机是比较笨的，它并不认识你编写的程序，为了让计算机认识我们的程序，所以就产生了两种方法。一种是C、C++这种，它通过编译软件把
转载
2023-06-29 15:32:44
157阅读
最近需要频繁读写 excel 文件，想通过程序对 excel 文件进行自动化处理，发现使用 python 的 openpyxl 库进行 excel 文件读写实在太方便了，结构清晰，操作简单。本文对 openpyxl 的使用进行总结，主要包含以下内容：用python处理excel文件有多轻松？工作从未如此简单openpyxl 是一个对 xlsx/xlsm/xltx/xltm 格式的 2010 exc
转载
2024-08-14 21:25:50
113阅读
所有代码均是在虚拟机的环境下写的，如果如果直接粘贴代码在win的环境下运行有可能会出bug（虚拟机是 linux 系统）1. 数据类型 结构化数据json，xml，处理方式：直接转化为python类型非结构化数据HTML， 处理方式：正则表达式，xpath2. json模块json.loads() json字符串类型转换成python
json.dumps() python转换成json字
转载
2023-12-24 22:51:20
81阅读
、 本人无编程经验，出于对学术的研究（哈哈，就是为了装个逼而已，其实基本的 VBA 都够了），了解到 R 好像用于数据分析和作图不错，就想学一下，结果网上有人说学 R 有人说学 Python，我打算去了解一下 Python，结果好像看到一个新世界了， Python 在他们口中好像无所不能，编写一些自动化程序啊，黑别人网站啊，做游戏外挂之类的好像真的很牛逼，那么，Python 真的那么神奇吗？我也算
应用场景：工作中，常常需要从单元格数据中截取一部分进行统计、计算，或者从不同系统导出的数据中提取中文、数字和英文等，如何快速提取需要的数据呢？介绍4种常用方法。第一种方法，用文本截取函数三剑客（LEFT/RIGH/MID函数）和文本长度度量函数（LEN /LENB）来提取1、LEFT函数和RIGHT函数参数：LEFT (①要截取的文本或字符串,②要截取的字符个数)RIGHT (①要截取的文本或字符
转载
2024-01-12 10:50:38
181阅读
1 正则表达式1.1概念世界上信息非常多，而我们关注的信息有限。假如我们希望只提取出关注的数据，此时可以通过一些表达式进行提取，正则表达式就是其中一种进行数据筛选的表达式。正则表达式(Regular Expression)是一种文本模式，包括普通字符（例如，a 到 z之间的字母）和特殊字符（称为"元字符"）。正则表达式通常被用来匹配、检索、替换和分割那些符合某个模式(规则)的文本Python 自1
转载
2024-07-30 13:06:19
46阅读
常用的表格数据存储文件格式——CSV，Microsoft Excel，GoogleExcelPython通常称为粘合语言。这个名称归因于人们逐渐开发出的大量接口库和特征，也得益于广泛的使用和良好的开源社区。这些接口库和特征能直接访问不同的文件格式，还可以访问数据源如数据库、网页和各种API。本文的学习内容：从谷歌表格中提取数据从CSV文件中提取数据从Excel文件中提取数据本文适用于以下读者：Py
转载
2024-07-08 14:01:13
34阅读
数据提取是分析师日常工作中经常遇到的需求。如某个用户的贷款金额，某个月或季度的利息总收入，某个特定时间段的贷款金额和笔数，大于5000元的贷款数量等等。本篇文章介绍如何通过python按特定的维度或条件对数据进行提取，完成数据提取需求。 准备工作首先是准备工作，导入需要使用的库，读取并创建数据表取名为loandata。import numpy as np
import pandas as
转载
2023-06-05 16:43:08
112阅读
调用python脚本实现Excel截图,导出图片关键字: 多线程(threading),python,excel,截图,图片导出,COMObject,ImageGrab,WIN32前提:因公司接到一个需求,需要把客户提供的excel文档里面的图表导出来以图片形式保存以及展示实现思路:python 导出excel原生图表 (柱形图,折线图,饼图) 根据公司优化要求,导致在研究开发的时候有两个版本,都
转载
2023-10-09 21:25:03
61阅读
多列数据的读入以及处理这次我们用到的数据是煤炭5500周价格的最高价和最低价。左侧为价格的数据表格，右侧为日期。一、导入数据这里我们就直接跳过讲解，如有不懂的，详见上一篇博客。见代码。import matplotlib.pyplot as plt
import re
plt.rcParams["font.sans-serif"] = ["SimHei"] # 设置字体
plt.rcParams["
转载
2023-10-25 20:35:19
41阅读
注：不会写，水一篇先1、输入输出python输出使用print（），内容加在括号里就可以，例如：print("hello world")水一波字数........python 提供了一个 input()，可以让用户输入字符串，并存放到一个变量里。如下所示：name = input()
print('Hi',name)2、注释自己写的代码当然自己才能看的懂，其他人看的话，得让人家看的懂你写的啥意思吧
转载
2023-08-11 07:22:18
52阅读
没什么事情做，学学data processing基本介绍主要包括：1.科学计算模块：numpy 和 pandas2.数据可视化;matplotlib3.网页爬虫：pandas基于numpy，采用矩阵运算，比python自带的列表和字典速度快。安装就不多说了，pip3或者conda1.基本信息DataProcessing的data指的是structure data。比如：tabular，matric
转载
2023-10-03 15:36:54
57阅读
# 从数据库提取数据的流程及代码示例
作为一名经验丰富的开发者，我将帮助你学习如何使用Python从数据库提取数据，并且解答你关于流量消耗的疑问。让我们一起来看看整个过程吧。
## 流程步骤
以下是从数据库提取数据的一般流程：
```mermaid
journey
title 数据库提取数据流程
section 准备工作
开始
获取数据库连接
原创
2024-04-28 05:14:28
68阅读
一、分析网页 以经典的爬取豆瓣电影 Top250 信息为例。每条电影信息在 ol class 为 grid_view 下的 li 标签里，获取到所有 li 标签的内容，然后遍历，就可以从中提取出每一条电影的信息。翻页查看url变化规律：第1页：https://movie.douban.com/top250?start=0&filter= 第2页：https://movie.douban.c
转载
2024-08-23 15:13:23
74阅读
# 页面解析、数据提取
- 结构化数据：先有结构，再谈数据
- JSON文件
- JSON Path
- 转换成Python类型进行操作(json类)
- XML文件
- 转换成Python类型(xmltodict)
- xpath
- c
转载
2024-08-23 18:31:03
59阅读
1. 项目背景在python 即时网络爬虫项目启动说明中我们讨论一个数字：程序员浪费在调测内容提取规则上的时间，从而我们发起了这个项目，把程序员从繁琐的调测规则中解放出来，投入到更高端的数据处理工作中。 2. 解决方案为了解决这个问题，我们把影响通用性和工作效率的提取器隔离出来，描述了如下的数据处理流程图：图中“可插拔提取器”必须很强的模块化，那么关键的接口有：标准化的输入：
转载
2024-08-23 16:43:56
44阅读
参与：一鸣从 PDF 表格中获取数据是一项痛苦的工作。不久前，一位开发者提供了一个名为 Camelot 的工具，使用三行代码就能从 PDF 文件中提取表格数据。 PDF 文件是一种非常常用的文件格式，通常用于正式的电子版文件。
它能够很好的将不同的排版格式固定下来，形成版面清晰且美观的展示效果。
然而，对于想要从 PDF 中提取信息的人们来说，PDF 是个噩梦，尤其是表格。
转载
2024-06-20 10:11:58
43阅读
