⬆️ 点击图片，与专业的解决方案架构师聊一聊在金融量化交易场景中，每天都会产生大量的交易记录和交易信息需要存储，同时对数据也有较高要求的查询需求，整体需求概括起来就是历史数据的存储、实时数据的接收以及数据的监控和分析。对于这类有典型时序特征的数据，很多企业在业务初期选择了团队熟悉的 HBase、MySQL、MongoDB 等数据库。但是随着业务的快速发展，这些数据库已经无法满足大体量数据的写入、存
转载
2024-05-20 19:33:46
160阅读
数据观察沪、深证券交易所自1990年成立以来，已伴随经济发展将近30年了。在这将近30年里，沪、深股市起起落落、跌跌撞撞顽强走出了一条支撑企业、经济发展的股市成长道路。然而最近随着外部经济环境不断趋紧，国内经济也存在下行压力，沪深股市已经持续低迷相当长一段时间。为进一步了解沪深股市目前现状，这里使用python来爬取同花顺网上所有沪深上市公司基本信息以及当前市值信
转载
2023-10-16 16:24:58
1179阅读
本文介绍,如何用python抓取股票数据,展示在终端上.作为程序员,如果你一整天打开同花顺,雪球,富途这些app,容易让领导看到,但有时你就想看一看,怎么办呢?现有不少api可以使用的.比如新浪,腾讯,雪球,网易都有.经过对比,这里用腾讯的,因为其它只有代码,没有名字,看起来不方便.先来一段效果展示:iterm2上绿色没显示出来,所以换手率这里还是黑色的.vs code上正常.tencent_ur
转载
2024-02-05 17:08:38
73阅读
在这个信息化时代，数据库是企业用来存储数据的不二选择。而现在的数据库购买也有多种选择，微软的sql server，甲骨文的oracle等，那正版数据库软件需要多少钱呢?针对中小企业，微软的sql server是最好的选择，价格合理，需要用的功能都有，购买sql server是按照版本、CPU数、用户数来进行授权的。价格几千到几万不等，具体价格要联系经销商。比如sql server 2008标准版自
转载
2023-06-01 20:28:14
204阅读
前言学习python有一小段时间了,爬虫也看了一些,所以想拿个简单点的练一下手,而且最近碰上自如比较火,这里就用自如来练手把上面那个是自如北京的搜索页面,按照我的理解,所有的房源和一些基本信息应该都可以从这个页面得来(自如宅是自如自己的广告,不是我们需要的),这些都是页面看到的信息,还有一个信息我们其实也可以拿下来,用于以后如果有需要的时候用,就是每一个房源的详细页面链接然后我们看到其实链接都
推荐用Jupyter 不需要导包爬取二手车之家的部分数据
# 爬取二手车网站的数据
from bs4 import BeautifulSoup
# 用于网络请求的库
import urllib.request
import csv
#指定编码
import codecs
# 目标网址
url = 'http://www.che168.com/china/a0_0msdgscncgpi1lto8cs
转载
2024-08-22 13:33:18
947阅读
采集字段：文章标题、发布时间、文章来源、正文内容、网页地址
采集网站【场景描述】采集同花顺基金评论模块数据。【源网站介绍】同花顺全方位提供财经资讯及全球金融市场行情，覆盖股票、基金、期货、外汇、债券、银行、黄金等多种面向个人和企业的服务。【使用工具】前嗅ForeSpider数据采集系统，免费下载:ForeSpider免费版本下载地址【入口网址
转载
2023-09-14 16:39:55
322阅读
看了半天帖子都是都是通过selenium破解js加密的，个人感觉用selenium破解js加密效率太低，而且繁琐，根据目前业务需求就自己研究了一下同花顺的js加密。通过接口测试工具直接请求接口发现获取不到该网站实际的页面数据; 如下图看到了页面有加载了一段js 与 window.location这个方法,可以大概猜出直接打开网站链接，再不带cookie的情况下每次请求都会通过js生成一段密钥，然后
转载
2023-11-29 19:35:43
93阅读
前文的爬虫都建立在静态网页基础之上，首先通过请求网站url获取到网页源代码。之后对源代码进行信息提取进而存储即可，本文则针对动态网页进行数据采集，首先介绍Ajax相关理论，之后实战爬取同花顺动态网页，获取个股相关信息。目录 一、Ajax理论
转载
2023-08-11 17:15:15
1985阅读
点赞
首先放上Card的代码"""This module contains a code example related to
Think Python, 2nd Edition
by Allen Downey
http://thinkpython2.com
Copyright 2015 Allen Downey
License: http://creativecommons.org/licens
# 使用Python爬取同花顺的数据
在现代金融投资中，获取及时的市场数据对投资者的决策过程至关重要。本文将介绍如何使用Python爬取同花顺（iFinD）的股票数据，帮助投资者获取他们所需的市场信息。我们将通过实际代码示例进行演示，并以图表和序列图的形式帮助理解整体流程。
## 一、数据爬取的基础知识
网络爬虫（Web Scraping）是提取互联网上信息的技术。使用Python编写爬虫程
金融市场往往充斥着海量的交易、运行等数据，同花顺iFinD数据接口通过链接iFinD数据库，能够批量获取数据用于分析，在针对资本运作、量化交易的研究中有着广泛的应用。而实际上，通过数据接口获取基础数据只是第一步，同花顺iFinD数据接口中还潜藏着对数据进行批量处理、辅助分析的“神器”——pandas。Python中安装并导入pandas（数据分析工具）在上一篇文章中，我们讨论了如何安装python
转载
2023-08-11 17:14:43
1766阅读
最近试图从财经网站上积累数据，选中了同花顺财经的数据中心的数据。插一句话，个人认为同花顺可能是目前财经领域掌握着最先进的机器学习技巧与人工智能算法的网站了。这个网站，这种智能化的金融问答以及其叙述性的策略回测系统全网恐怕只此一家，确实是让人感到很惊艳。言归正传，掌握了如此技术的同花顺对付几个爬虫可不是收到擒来。然而无论我用什么办法，我都只能获取到前五页的数据。下面我说明一下我的操作历程：首先自然是
转载
2023-12-13 13:20:37
1628阅读
use LWP::UserAgent;use utf8;use DBI; $user="root"; $passwd='xxx'; $dbh=""; $dbh = DBI->connect("dbi:mysql:database=zjzc_vote;host=14.5.5.57;por...
转载
2016-04-01 15:36:00
194阅读
2评论
use LWP::UserAgent;use utf8;use DBI; $user="root"; $passwd='xxx'; $dbh=""; $dbh = DBI->connect("dbi:mysql:database=zjzc_vote;host=14.5.5.57;por...
转载
2016-04-01 15:36:00
139阅读
2评论
use LWP::UserAgent;use utf8;use DBI; $user="root"; $passwd='xxx'; $dbh=""; $dbh = DBI->connect("dbi:m...
转载
2016-04-01 15:36:00
121阅读
2评论
## Python爬取同花顺个股数据的流程
本文将介绍如何使用Python实现爬取同花顺个股数据的整个流程，包括所需的代码和注释。以下是整件事情的流程表格：
| 步骤 | 描述 |
| -- | -- |
| 1 | 获取个股列表 |
| 2 | 爬取个股数据 |
| 3 | 数据清洗和存储 |
### 步骤一：获取个股列表
首先，我们需要获取要爬取的个股列表。这些个股代码可以从同花顺网站
原创
2023-12-06 17:32:54
1409阅读
之前在Python爬虫实战(7)中曾爬取过万方，本篇博客的爬取解析过程和之前几乎完全一样，不同的是数据存储方式，之前是存储到文件中(csv,txt,json,excel等)，这次我们将提取的论文信息存储到MongoDB数据库中。首先我们打开万方首页http://www.wanfangdata.com.cn：在搜索框中输入关键词，选择期刊、学位或会议，点击搜论文，并可得到与关键词相关的期刊、学位或会
转载
2023-09-14 16:29:42
245阅读
经常游弋在互联网爬虫行业的程序员来说，如何快速的实现程序自动化，高效化都是自身技术的一种沉淀的结果，那么使用Python爬虫都会需要那些数据库支持？下文就是有关于我经常使用的库的一些见解。 请求库：1、urllib：urllib库是Python3自带的库（Python2有urllib和urllib2，到了Python3统一为urllib），这个库是爬虫里最简单的库。2、requests：reque
转载
2023-11-17 22:40:10
49阅读
一、写这个爬虫的目的： 学了一段时间的Python、SQL语句，主要想通过这个爬虫熟悉静态网页站点的爬取，以及将爬取数据在数据库中进行操作的过程。二、目标网站分析： 人民日报网站是静态网站，其页面跳转是通过 URL 的改变完成的，即所有数据一开始就是加载好的。我们只需要去 html 中提取相应的数据即可，不涉及到诸如 Ajax 这样的动态加载方法。三、用到的主要第三方库： 通过上述分析，主要用了r
转载
2023-10-23 10:52:24
106阅读
