相信很多金融类的从业者和学者都比较偏好于爬取金融类数据，比如博主我✧(≖ ◡ ≖✿)在完成了简单的环境配置后，博主我安耐不住鸡冻的心情，打算先爬个基金数据以解手痒，顺便通过这个案例简单了解一下其中涉及到的一些爬虫原理 环境tools1、Chrome及其developer tools2、python3.73、PyCharm python3.7中使用的库1、requests2、re
转载
2023-10-11 10:01:26
219阅读
1. Python爬虫基础1.1 第一个爬虫程序通过搜索charset查看网页编码，常用编码有utf-8、jbkfrom urllib.request import urlopen
url = "http://www.baidu.com"
resp = urlopen(url)
# read获取的是字节码，然后解码
content = resp.read().decode('utf-8')
pr
转载
2023-05-31 15:53:07
107阅读
Python做网络爬虫需要学习额外基本知识：
1.HTML。基金所需的数据都通过HTML网页的形式返回，数据和HTML tag通过一定的规范组成渲染后的形成网页。了解HTML是为了有效地剥离数据。
2.Python的正则表达
转载
2023-09-13 21:04:50
127阅读
目前三季度已经过去了一个月，大部分基金都已经公布了三季度持仓数据，今天我们就用 Python 分析以下今年三个季度基金的调仓情况。1 获取数据第一步，我们要获取目前发行的所有基金及其持有的股票。可以写一个爬虫去基金网站爬数据，但太麻烦，这里其实是有捷径的。有些朋友可能听说过量化投资，这些做量化投资的平台都会提供金融数据，我们只要安装相应的 Python 包就可以获取股票、基金、债券相关的
转载
2023-12-29 19:18:44
29阅读
相信很多人都喜欢打篮球， 并且对自己喜欢的球星的比赛数据都很关注，于是我就想着去爬取篮球网站的数据。但是相对来说爬取一个数据也没啥挑战性，于是我又赶着学习了xlsxwriter模块，将爬取的的数据放入表格并制作折线图。第一步 robots协议对于学习爬虫的小白来说一定要注意robots协议，也称为爬虫协议，机器人协议等，一般网站都会通过该协议告诉搜索引擎哪些页面可以爬取或不可以爬取。 首先我们在要
转载
2023-08-20 21:08:04
53阅读
如何用 Python 抓取小红书数据
在进行数据分析和挖掘时，获取目标网站的数据是第一步。小红书作为一个受欢迎的社交电商平台，拥有大量用户生成的内容，抓取这些数据能为市场分析和消费者行为研究提供有价值的洞见。
### 问题背景
在进行小红书数据抓取时，我们遇到了一些技术挑战。这些现象主要表现为：
- 确定抓取目标： 需要抓取的页面后，你需要明确获取哪些数据，包括笔记内容、用户信息和标签等。
前言HTML文档是互联网上的主要文档类型，但还存在如TXT、WORD、Excel、PDF、csv等多种类型的文档。网络爬虫不仅需要能够抓取HTML中的敏感信息，也需要有抓取其他类型文档的能力。下面简要记录一些个人已知的基于python3的抓取方法，以备查阅。抓取TXT文档在python3下，常用方法是使用urllib.request.urlopen方法直接获取。之后利用正则表达式等方式进行敏感词检
转载
2023-08-21 11:45:46
207阅读
# 如何用Python抓取股票概念数据
在股票投资中，了解股票的概念是非常重要的。股票概念是指一组相关的股票，它们具有相似的行业属性或者主题特征。通过了解股票概念，我们可以更好地理解股票的走势和投资机会。本文将介绍如何使用Python抓取股票概念数据，并提供相应的代码示例。
## 问题描述
我们需要获取股票概念数据，包括股票代码、股票名称和所属概念。以及如何将这些数据存储到本地或者数据库中，
原创
2023-11-28 11:42:04
381阅读
年关将至，钱袋子往哪走？有人买了定期存款，3年，年利率：3.987。按存50w计算#0.0385 50万，3年息：6万，月息：1666.72元#0.039785 50万，3年息：6.21万，月息：1724.53元#0.04125 50万，3年息：6.45万，月息：1790.62元还有推荐买基金，进入支付宝页面，随机选了一个基金看看，那么：从未买过基金的我，应该买它吗？带着疑问，开始准备爬基金的数据
转载
2024-01-26 19:48:23
102阅读
一. 爬虫简介：批量抓取网页有效信息，与人工相比，爬虫能够在短时间内抓取所需要大量的信息，进而进行数据分析。二. 爬虫过程：要抓取一个单一的网页，我们要有一个网页的地址，然后把网页下载成html的格式，（这个python2的urllib2有方法可以实现）html这个对象其实就是一个字符串，然后进行字符串处理，进而抓取这个字符串有用的信息，比如特定的文本信息，图片地址用来下载图片等。然后保存有用信息
转载
2023-08-30 07:08:46
114阅读
在这篇博文中，我将详细记录如何利用 Python 的 `range` 函数来抓取多页数据的过程，逐步解析背景、错误现象、根因、解决方案、验证测试以及预防优化等方面。
用户场景还原
在一次数据分析项目中，我需要从一个包含多页数据的网页上抓取信息，主要任务是在每一页中提取指定的数据内容。为了自动化这个过程，我决定使用 Python 编写抓取脚本，利用 `range` 函数来遍历各个页面。
- *
# 如何用Python抓取网页上的数据
在当今信息爆炸的时代，我们经常需要从网页上抓取数据以供分析或使用。Python作为一种强大的编程语言，提供了多种库来帮助我们实现网页数据抓取。本文将介绍如何使用Python进行网页数据抓取，并以一个具体的问题为例，展示抓取过程。
## 环境准备
在开始之前，我们需要安装一些必要的库。我们将使用`requests`库来发送HTTP请求，使用`Beauti
原创
2024-07-26 09:09:22
118阅读
在百度学术中，当我们查找论文原文时，需要知道该论文的DOI（Digital Object Identifier），通过它可以方便、可靠地链接到论文全文。但是，如果我们所需查找的同主题论文数目繁多，这时候我们再手动操作，难免机械重复、劳心劳力。于是乎，我们可以通过Python来帮助我们实现论文的自动化查找。主要思路是：爬取DOI→构建sci-hub下载链接→下载到指定文件夹Python源代码如下：【
转载
2023-08-15 08:13:44
182阅读
在需要过去一些网页上的信息的时候，使用 Python 写爬虫来爬取十分方便。1. 使用 urllib.request 获取网页urllib 是 Python 內建的 HTTP 库, 使用 urllib 可以只需要很简单的步骤就能高效采集数据; 配合 Beautiful 等 HTML 解析库, 可以编写出用于采集网络数据的大型爬虫;注: 示例代码使用Python3编写; urllib 是 Pytho
转载
2023-10-09 16:42:00
89阅读
一、说点东西老早就想搞个基金监控机器人了，方便自己查看自己关注基金的各种指数涨跌情况，及时进行止损或者止盈，从今天开始，我们先建楼基，手把手带大家实现一个基金查询机器人，目前主要可以查询基金指定日期段数据和查看基金净值走势图，后面慢慢新增功能。二、开始动手动脑2.1 环境准备Linux、Mac、Windows 都可以python 3.7及以上相关第三方包：pandas（数据处理）、requests
转载
2023-10-16 22:09:12
12阅读
# 使用Python抓取基金价格的详细指南
在现代金融领域，抓取基金价格是一项非常有用的技能。本教程将教你如何使用Python完成这一任务。我们将遵循一个简单的步骤流程，并逐步解析代码以帮助你更好地理解每个环节。
## 整体流程
以下是抓取基金价格的整体步骤：
| 步骤 | 描述 |
|------|------------
# 如何用Python抓取公司年报
抓取公司年报是金融分析师和投资者常用的一项技能。年报通常由上市公司发布，包含了公司经营的全面数据，投资者可以利用这些数据进行市场分析、财务评估和投资决策。本文将介绍如何使用Python抓取公司的年报，并提供一个实际的示例。
## 1. 目标与准备
我们的目标是从某个上市公司的官方网站获取最新的年报数据。为此，我们将使用Python中的`requests`库
优美的音乐可以让人的心情放松愉悦，喜欢听音乐的小伙伴经常苦恼无法获取热门音乐追赶时尚潮流。下面几行简单的代码轻松爬取你想要的音乐，大家可以一起试试看！
原创
2023-01-11 09:31:17
1084阅读
点赞
python爬虫成长之路（一）抓取证券之星的股票数据其中编译匹配模式findall方法使用这个匹配模式来匹配所需的信息并以列表的形式返回。正则表达式的语法非常多。下面我只列出使用的符号的含义。匹配除换行字符“\n”*以外的任何字符?匹配前一个字符0次还是无限次?内容正则表达式的语法相当多。也许只有一个正则表达式可以提取我想要提取的内容。在提取股票主体部分的代码时，发现有人使用xpath表达式来提取
转载
2023-08-06 20:25:55
11阅读
小伙伴们大家好~Excel和python作为当前两款比较火的数据分析处理工具，两者之间有很多共性也有很大的区别。今天一起来看下在抓取网页数据这块，两者有什么异同点。 上图中是中国证券监督管理委员会中沪市IPO公司的相关信息，我们需要提取其中的表格数据，分别利用Excel与python。ExcelExcel提供两种获取网页数据的方法，第一种是 数据—自网站功能，第二种是Power Que
转载
2023-08-09 20:47:27
234阅读
