import re # 正则表达式，进行文字匹配
from bs4 import BeautifulSoup # 网页解析，获取数据
import urllib.request, urllib.error # 制定URL，获取网页数据
import xlwt # 进行excel操作
findplace1 = re.compile(
r'<a href="/zufang/.*"
转载
2023-10-15 22:35:57
68阅读
# Python Rootpath 详解
在Python编程中，经常会遇到需要获取项目根路径的需求，比如读取配置文件、引入模块等。本文将为大家介绍如何在Python中获取项目的根路径，并通过代码示例来演示实现方法。
## 为什么需要获取项目根路径？
在实际开发中，我们通常会将项目文件组织在不同的文件夹中，比如将源代码文件放在一个文件夹中，将配置文件放在另一个文件夹中。当我们需要在代码中引用其
原创
2024-04-17 04:29:46
123阅读
引言：在Python中，列表（List）是一种非常常用的数据结构。它可以存储多个元素，并且可以根据需要进行增删改查操作。本文将带你详细了解Python列表的基本操作和常用技巧，帮助你更好地理解和应用列表。1. 创建列表：在Python中，可以使用方括号[]来创建一个列表，并在其中添加元素。例如：fruits = ["apple", "banana", "orange"]2. 访问元素：列表中的元素
数据提取是分析师日常工作中经常遇到的需求。如某个用户的贷款金额，某个月或季度的利息总收入，某个特定时间段的贷款金额和笔数，大于5000元的贷款数量等等。本篇文章介绍如何通过python按特定的维度或条件对数据进行提取，完成数据提取需求。 准备工作首先是准备工作，导入需要使用的库，读取并创建数据表取名为loandata。import numpy as np
import pandas as
转载
2023-06-05 16:43:08
112阅读
1 正则表达式1.1概念世界上信息非常多，而我们关注的信息有限。假如我们希望只提取出关注的数据，此时可以通过一些表达式进行提取，正则表达式就是其中一种进行数据筛选的表达式。正则表达式(Regular Expression)是一种文本模式，包括普通字符（例如，a 到 z之间的字母）和特殊字符（称为"元字符"）。正则表达式通常被用来匹配、检索、替换和分割那些符合某个模式(规则)的文本Python 自1
转载
2024-07-30 13:06:19
46阅读
简要 利用python实现把一个工作表中的某些列，和其中单独的一列，提取成为一个个新表。 如图（处理前）蓝色部分是需要保留的列，红色是需要一项一项分出来作为单独表格的列。 其中，第一行的名字是用的回车作为分隔，所以在提取名字时需要去除\n。 整体思路就是先保留前六列，然后加上后面的每一列，每加一列的同事加一个单独的sheets，最后获取第一行每一列的名字，将sheets进行命名。 如图（处理后）分
转载
2023-08-30 07:38:02
324阅读
# Python提取按逗号提取
在日常的数据处理中，我们经常会遇到需要从一个字符串中提取出特定的内容的情况。而当这些内容之间是用逗号分隔的时候，我们可以使用Python来轻松实现按逗号提取的功能。本文将介绍如何使用Python提取按逗号分隔的字符串，并提供相应的代码示例。
## 什么是按逗号提取？
按逗号提取是指从一个字符串中把按逗号分隔的内容提取出来。例如，对于以下字符串：
```pyt
原创
2023-08-14 17:54:23
509阅读
Goose 是一个 文章内容提取器 ，可以从任意资讯文章类的网页中提取 文章主体 ，并提取 标题、标签、摘要、图片、视频 等信息，且 支持中文 网页。它最初是由 http://Gravity.com 用 Java 编写的。python-goose 是用 Python 重写的版本。有了这个库，你从网上爬下来的网页可以直接获取正文内容，无需再用 bs4 或正则表达式一个个去处理文本。正文提取库goos
转载
2024-08-13 09:22:24
51阅读
正文提取：平时打开一个网页，除了文章的正文内容，通常会有一大堆的导航，广告和其他方面的信息。本博客的目的，在于说明如何从一个网页中提取出文章的正文内容，而过渡掉其他无关的的信息。本方法是基于文本密度的方法，最初的想法来源于哈工大的，本文基于此进行一些小修改。约定：本文基于网页的不同行来进行统计，因此，假设网页内容是没有经过压缩的，就是网页有正常的换行的。有些新闻网页，可能新闻的文本内容比较短，但其
转载
2023-08-06 22:41:15
106阅读
目的：以可视化界面的形式抓取链家二手房信息，以table形式呈现流程：1.PyQt5.desinger设计界面2.初步抓取链家省份-城市信息3.在2基础上，详细抓取二手房信息（包括房价，房源信息，关注度，以及相对应的链接）4.将抓取结果显示在table中效果图： 一、PyQt5.desinger设计界面包括多个label、pushButton控件和一个tablewidget控件、两个下拉
转载
2023-10-24 18:21:15
8阅读
所有代码均是在虚拟机的环境下写的，如果如果直接粘贴代码在win的环境下运行有可能会出bug（虚拟机是 linux 系统）1. 数据类型 结构化数据json，xml，处理方式：直接转化为python类型非结构化数据HTML， 处理方式：正则表达式，xpath2. json模块json.loads() json字符串类型转换成python
json.dumps() python转换成json字
转载
2023-12-24 22:51:20
81阅读
我只想从巨大的文本文件中提取名词或名词组。
下面的python代码工作正常，但是只提取最后一行的名词。
转载
2023-05-19 21:22:27
350阅读
Python词频分析一、前言在日常工作或者生活中，有时候会遇到词频分析的场景。如果是要进行词频分析，那么首先需要对句子进行分词，将句子中的单词进行切割并按照词性进行归类。
在Python中有个第三方库叫jieba(结巴)，可以对文章或者语句进行分词。不得不佩服这个库的作者，真是个取名鬼才：)二、分词2.1 安装库jieba库github地址
jieba库官方给出了3中安装库的方式，分别如下：全自动
转载
2023-07-28 20:59:48
106阅读
一、分析网页 以经典的爬取豆瓣电影 Top250 信息为例。每条电影信息在 ol class 为 grid_view 下的 li 标签里，获取到所有 li 标签的内容，然后遍历，就可以从中提取出每一条电影的信息。翻页查看url变化规律：第1页：https://movie.douban.com/top250?start=0&filter= 第2页：https://movie.douban.c
转载
2024-08-23 15:13:23
74阅读
前言在我们获取了网页的信息后，往往需要对原始信息进行提取，得到我们想要的数据。对信息的提取方式主要有以下几种：正则表达式、XPath、BeautifulSoup。本篇博客主要总结这三种方式的基本语法，以及举一些例子来说明如何使用这些方法。正则表达式什么是正则表达式？正则表达式是使用某种预定义的模式去匹配一类具有共同特征的字符串，主要用于处理字符串，可以快速、准确地完成复杂的查找、替换等要求。在Py
转载
2023-06-19 14:28:07
138阅读
一、函数返回值拆包如果一个函数通过return返回了一个元组、列表、集合，可以通过拆包的方式将返回值进行拆分到每个变量中，这就是返回值拆包 通过函数返回值拆包，可以快速的将具体的数据用变量进行存储，这样对数据的处理会更加方便def funch(a1,a2,a3):
a1=a3+a2
a2=a1+a3
a3=a1+a2
return[ a1,a2,a3 ]
a,b,
转载
2023-09-02 10:07:13
65阅读
import urllib.request
from bs4 import BeautifulSoupdef get_link(page): # 寻找链接的href
linkData = []
for page in page.find_all('td'):
links = page.select("a")
for each in links:
转载
2023-06-26 10:13:58
307阅读
调用python脚本实现Excel截图,导出图片关键字: 多线程(threading),python,excel,截图,图片导出,COMObject,ImageGrab,WIN32前提:因公司接到一个需求,需要把客户提供的excel文档里面的图表导出来以图片形式保存以及展示实现思路:python 导出excel原生图表 (柱形图,折线图,饼图) 根据公司优化要求,导致在研究开发的时候有两个版本,都
转载
2023-10-09 21:25:03
61阅读
多列数据的读入以及处理这次我们用到的数据是煤炭5500周价格的最高价和最低价。左侧为价格的数据表格，右侧为日期。一、导入数据这里我们就直接跳过讲解，如有不懂的，详见上一篇博客。见代码。import matplotlib.pyplot as plt
import re
plt.rcParams["font.sans-serif"] = ["SimHei"] # 设置字体
plt.rcParams["
转载
2023-10-25 20:35:19
41阅读
图片信息现在越来越广泛的存在于我们的日常生活中，获取图片内的文字信息也渐渐的成为当今生活中的需求，在学习完Python的基础知识后，本小白以此语言为工具，使用百度提供的图像识别接口来实现简单的图片文字提取（承蒙各位大佬关照）；学习URL：https://ai.baidu.com/docs#/OCR-Python-SDK/top第一步：安装使用python sdk；（如果以安装pip：执行pip i
转载
2023-10-17 21:44:51
113阅读
