最近做了一个基金数据分析工具，用于自动获取当天所有基金净值、增长率、实时估值、历史净值等明细数据，并进行数据分析，计划分多期展开来分享，覆盖Python的爬虫、数据库等相关知识点。首先从数据获取开始，本次案例数据来源为天天基金网所有基金数据，并固化至数据库和excel文件。环境准备pip install requests #爬虫接口库pip install sqlalchemy #my
转载
2023-10-09 17:30:46
43阅读
## 使用 Python 获取 Wind 基金信息的完整指南
在金融数据分析领域，Python 是一个强大的工具。对于刚入行的小白来说，通过调用 Wind 数据库 API 获取基金数据是个很好的项目练手。下面的文章将带你从基础开始，逐步实现这一目标。
### 流程概述
在开始编写代码之前，我们需要理清思路。整个流程可以分为以下几个步骤：
| 步骤 | 操作
原创
2024-10-19 07:31:43
481阅读
之前写了一篇保存到Excel版的，但毕竟随着数据量的增大，Excel不是长久之计，所以研究了一下SQLite数据库，SQLite有个好处，不用另外安装程序，Python自带，而且是单文件，方便拷贝转移。和保存到Excel的主要区别是，可以先将爬取到的数据保存在Python的二维列表中，然后一次性写入SQLite数据库，Python的二维列表的数据容量非常巨大，就是从内存安全性来说，不是很严谨。以下
转载
2023-12-21 05:51:27
117阅读
# 使用Python下载基金公告的指南
在数据分析和金融行业，自动化下载数据是一项非常重要的技能。本文将教你如何使用Python从Wind数据终端下载基金公告。我们将一步步地进行讲解，并在每一步中提供必要的代码及其注释。
## 整体流程
为了更清晰地表达整个过程，以下是实现“Python Wind下载基金公告”的主要步骤：
| 步骤 | 描述
一、前言前几天有个粉丝找我获取基金信息，这里拿出来分享一下，感兴趣的小伙伴们，也可以积极尝试。二、数据获取这里我们的目标网站是某基金官网，需要抓取的数据如下图所示。可以看到上图中基金代码那一列，有不同的数字，随机点击一个，可以进入到基金详情页，链接也非常有规律，以基金代码作为标志的。其实这个网站倒是不难，数据什么的，都没有加密，网页上的信息，在源码中都可以直接看到。这样就降低了抓取难度了。通过浏览
转载
2023-08-06 15:12:51
195阅读
1：首先，开始分析天天基金网的一些数据。经过抓包分析，可知： ./fundcode_search.js包含所有基金的数据，同时，该地址具有反爬机制，多次访问将会失败的情况。2：同时，经过分析可知某只基金的相关信息地址为:fundgz.1234567.com.cn/js/ + 基金代码 + .js3：分析完天天基金网的数据后，搭建IP代理池，用于反爬作用。# 返回一个可用代理，格式为ip:
转载
2023-07-03 18:48:24
727阅读
在简单完成了基金净值爬取以后，我们对中间的过程可能产生了很多疑惑，即使完成了目标，也仅仅是知其然而不知其所以然，而为了以后爬虫任务的顺利进行，对爬虫过程中所涉及的原理进行掌握是十分有必要的。本文将会针对之前爬虫过程中所涉及到的几个爬虫原理进行简单的阐述。 url究竟是什么？它的构成有什么规律可循？ URL和URI 在访问任何一个网页时，我们都需要一个网页链接（如百度:
转载
2023-09-13 16:07:22
239阅读
一、初步想法EDB数据库，即经济数据库。Wind官方对它的介绍是： 经济数据库(EDB)整合了海量的宏观和行业数据，并配合强大的指标计算和图形功能，是目前很多经济学家、宏观分析师、策略分析师、行业研究员等必备的宏观和行业分析工具。EDB汇集了国内外权威数据发布机构的第一手数据资源，包括国民经济核算、国际收
大家知道，近几年，不少同学都是经由基金进入到股市中的。至于和基金到底谁更好，这个仁者见仁智者见智，恐怕一时半会儿也说不清楚。2021年，阳哥曾经分享过“用 Python 来追踪和更新基金的收益情况”的内容，由于部分接口更新，当时的部分代码会有些bug，本次更新下内容。本次内容涉及到的Python库主要是 pandas 和 tushare 。最终实现的效果如下： 上面表格中的信息，主要涉及四个
转载
2023-09-28 17:10:00
27阅读
一、提出问题经过前两期文章的分析，我们基本理清了思路——通过爬虫软件获取天天基金网、好买基金网的公募基金数据，最终找到以下问题的答案。找出3年中最具投资价值的基金找出3年中风控最好的基金公司二、数据获取2.1爬虫软件八爪鱼介绍本次使用的爬虫软件名字叫八爪鱼采集器，下载地址http://www.bazhuayu.com/。不需要任何爬虫知识和基础，只要给它设定好路径后便可以自动爬取数据
转载
2023-10-11 20:25:39
23阅读
# 使用 Python 从 Wind 取行情的完整指南
在金融行业中，尤其是量化交易和数据分析领域，获取市场行情数据是非常重要的。Wind 是一个提供金融数据和信息服务的平台，很多开发者会使用 Python 来从 Wind 数据接口提取行情数据。在这篇文章中，我将带您了解如何使用 Python 连接 Wind 数据库，获取行情数据。
## 基本流程
下面是从 Wind 获取行情数据的基本流程
原创
2024-08-25 03:55:53
185阅读
## 如何使用 Python 爬取基金数据
在数据分析和金融研究中，爬取基金数据是一项重要技能。本文将带你逐步实现 Python 爬取基金数据的流程。首先，我们将明确整个过程的步骤，然后逐步实现每一个步骤的代码。
### 爬虫流程
| 步骤 | 说明 |
| ----
原创
2024-09-27 07:23:04
232阅读
基金是一种很好的理财方式，利用pyhton根据以往的跌幅情况进行基金选择，是一种很可靠的选择方式。本文以债券基金（稳定且风险较低）的爬虫和策略选择为例子，实现基金的选择。1、数据库准备1.1、ubuntu下的mysql安装以Ubuntu为例，首先安装mysql数据库。 首先执行下面三条命令：sudo apt-get install mysql-server
sudo apt install mys
转载
2024-06-21 17:33:50
414阅读
前言：一、选题的背景 近年来，越来越多的年轻人在寻找工作这个方面呢的事情上会出现各种问题，而好的工作非常难找，差的工作很多年轻人也不想做，所以我选择做一份数据分析一下招聘网站上各个工作的情况。二、项目目标分析 本项目是对猎聘网的数据进行爬取分析,主要分析的目标是招聘信息，学历要求等； 分析在猎聘网中寻找的工作招聘信息，薪资以及其他福利待遇，以及对求职者的学历要求要多高进行分析。三、网络爬虫设
转载
2024-07-31 14:05:33
152阅读
python爬虫，用scrapy爬取天天基金学了一段时间的爬虫，准备做个爬虫练习巩固一下，于是选择了天天基金进行数据爬取，中间遇到的问题和解决方法也都记录如下。 附上代码地址：https://github.com/Marmot01/python-scrapy-爬取思路一.分析网站首选来到天天基金首页http://fund.eastmoney.com/jzzzl.html，分析要爬取的内容。 在首页
转载
2023-12-28 22:56:08
549阅读
点赞
# 如何用Python从Wind取数
## 1. 简介
在本文中，我将教会你如何用Python从Wind取数。Wind是一个专业的金融数据服务商，提供了大量的金融数据供开发者使用。如果你想要获取这些数据并用Python进行分析，那么这篇文章就是为你准备的。
## 2. 流程图
```mermaid
flowchart TD
A(开始)
B(设置Wind API接口)
C
原创
2024-03-06 04:45:11
129阅读
一、选题背景为什么要选择此选题？要达到的数据分析的预期目标是什么？随着互联网进入大数据时代，人们获取咨询的方法越来越多，而财经信息又与人们的生活息息相关，所以关于财经的信息就有为重要，为了能更快更好的了解市场基金的走向，我选择了这个课题，主要为了更方便了解有关基金的动态。二、主题式网络爬虫设计方案1.主题式网络爬虫名称：天天基金网爬虫分析2.主题式网络爬虫爬取的内容与数据特征分析：通过访问天天基金
转载
2023-07-29 21:46:12
143阅读
Windows中安装安装前必备环境包pip安装库的另外姿势 使用豆瓣源安装第三方库 用-i指定--->pip3 install -i https://pypi.doubanio.com/simple/ 包名 【该种方法适用所有包安装】 两
功能：通过程序实现从基金列表页，获取指定页数内所有基金的近一周收益率以及每支基金的详情页链接。再进入每支基金的详情页获取其余的基金信息，将所有获取到的基金详细信息按近6月收益率倒序排列写入一个Excel表格。思路：通过实例化Tiantian_spider类的对象，初始化一个PhantomJS浏览器对象使用浏览器对象访问天天基金近六月排行的页面，获取该页面的源码从源码从获取每支基金所在的行（可以指定
转载
2024-09-10 12:28:48
118阅读
有时候我们在用requests抓取页面的时候，得到的结果可能和浏览器中看到的不一样：浏览器中可以看到正常显示的页面数据，但是使用requests得到的结果并没有。这是因为requests获取的都是原始的HTML文档，而浏览器中的页面则是经过JavaScript处理数据后生成的结果，这些数据来源多种，可能是通过Ajax加载的，可能是包含在HTML文档中的，也可能是经过JavaScript和特定算法计
转载
2024-08-01 21:11:33
143阅读
