今天是八月2号，自学python爬虫已经一整个月了。不学不理解，真正学了才发现，python不愧是一门博大精深的高级编程语言，我学到现在也才只见识到它冰山一脚，python应用的范围即便相比于c、c++、java等老牌语言也不逞多让；爬虫只是它庞大功能体系的一种，而我一个月来的学习单论爬虫这一块来说也只能说堪堪入门，距离熟练使用再到掌握还有很遥远的路程。 虽然爬虫的路途依旧遥远，但一个月
转载
2024-06-18 15:32:18
270阅读
# Python爬取雪球
## 介绍
随着互联网的发展，信息获取变得越来越方便。而在金融投资领域，人们对于股票等金融数据的需求也越来越高。作为一个金融投资者，我们希望能够通过爬取数据来进行分析和决策。在本文中，我们将介绍如何使用Python来爬取雪球网站上的股票数据。
## 雪球网
雪球网是一个提供股票、基金等金融数据的网站，用户可以在上面查看股票的实时行情、财务数据、研究报告等信息。作为
原创
2023-08-20 03:44:22
1263阅读
目的由于工作需要，尝试爬取雪球7*24小时信息。需要的数据就是下图红框框起来的部分。运行环境操作系统：windows 10浏览器：ChromePython版本：3.8使用的第三方库：requests、json、time查看数据我们需要知道目标数据是一次性加载全部，还是动态地从某个特定的接口不断的获取数据，所以我们需要先在浏览器上查看一些数据。将页面往下翻一段之后，发现网页内容是动态加载的，往下翻一
转载
2023-09-02 11:30:20
1610阅读
我们先通过百度搜索智联招聘，进入智联招聘官网，一看，傻眼了，需要登录才能查看招聘信息没办法，用账号登录进去，登录后的网页如下：输入职位名称点击搜索，显示如下网页： 把这个URL：https://sou.zhaopin.com/?jl=765&kw=软件测试&kt=3 拷贝下来，退出登录，再在浏览器地址栏输入复制下来的URL 哈哈，居然不用登录，也可
转载
2024-05-17 13:02:42
153阅读
import requestsfrom bs4 import BeautifulSoupimport lxmlheaders = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:61.0) Gecko/20100101 Fir ...
转载
2021-07-15 11:23:00
303阅读
2评论
最近有盆友需要帮忙写个爬虫脚本，爬取雪球网一些上市公司的财务数据。盆友希望可以根据他自己的选择进行自由的抓取，所以简单给一份脚本交给盆友，盆友还需要自己搭建python环境，更需要去熟悉一些参数修改的操作，想来也是太麻烦了。于是，结合之前做过的汇率计算器小工具，我这边决定使用PyQt5给朋友制作一个爬虫小工具，方便他的操作可视化。效果演示：1功能说明可以自由选择证券市场类型：A股、美股和港股可以自
转载
2023-12-11 15:46:32
80阅读
文章目录概要一、爬虫的原理二、分析雪球网的网站三、多页评论爬取五、多只股票爬虫最后 概要这个博客主要实现了雪球网股票评论的爬取，爬取的内容为沪深300股票的评论。一、爬虫的原理这部分就不多提了，一些基础的博客我也整理过爬虫从零开始。python爬虫第N课系列学完前十课就对这篇博客的代码完全清楚明白了，因为用到的技术都是最基本的，没有用到什么scrapy框架或者是多线程爬虫二、分析雪球网的网站网站
转载
2023-10-18 17:29:03
1237阅读
转载
2020-05-05 09:22:00
48阅读
2评论
在这个博文中，我将记录如何使用 Python 抓取雪球网页的过程，涵盖的问题背景、错误现象、根因分析、解决方案、验证测试和预防优化等内容。
## 问题背景
作为一名IT开发者，我在工作中需要频繁从不同的网页上抓取数据以供分析。例如，雪球网作为一个提供财经数据的平台，其网络页面上有许多值得分析的内容。我希望能够通过 Python 自动抓取这些数据，以便进行数据分析和后续处理。为了更好地检索和处理
说明：本学习笔记主要参考：Python3网络爬虫开发实战一书 常用的抓包软件有WireShark、Charles、Fildder、mitmproxy、AnyProxy等。原理：通过设置代理的方式将手机处于抓包软件的监听之下，获取APP运行的过程中发生的所有请求及响应，如果请求的URL及参数有规律，用程序模拟爬取即可。如果没有，可以利用mitmdump对接Python脚本直接处理Respo
转载
2023-08-30 10:56:55
213阅读
在这篇博文中，我将与大家分享如何使用 Python 爬取有关雪球组合的一些数据。我们将从版本对比和迁移指南开始，紧接着介绍如何处理兼容性问题，并提供一些实战案例，最后探讨排错指南和性能优化。整个过程循序渐进，希望能带你从头到尾掌握这个技术栈的应用。
## 版本对比与兼容性分析
### 时间轴（版本演进史）
```mermaid
timeline
title 雪球组合爬虫版本演进史
1.tushare介绍摘自官网介绍：
一：数据丰富
拥有丰富的数据内容，如股票、基金、期货、数字货币等行情数据，公司财务、基金经理等基本面数据。
二：获取简单
SDK开发包支持语言，同时提供HTTP Restful接口，最大程度方便不同人群的使用。
三：落地方便
提供多种数据储存方式，如Oracle、MySQL，MongoDB、HDF5、CSV等，为数据获取提供了
转载
2024-01-26 10:10:45
170阅读
# Python爬取雪球App数据指南
随着金融科技的快速发展，越来越多的人开始关注股市和投资，而雪球App作为一个知名的投资社交平台，其数据和信息尤为重要。今天，我们将探讨如何使用Python爬取雪球App的数据，帮助大家更好地了解和分析市场。
## 一、准备工作
在开始之前，确保你已经安装了以下Python库：
```bash
pip install requests beautifu
原创
2024-10-27 03:48:55
395阅读
雪球网行情中心网址：https://xueqiu.com/hq。目标：市场一览板块、热股榜板块、新股预告板块、关注排行榜板块。
原创
2024-04-16 09:45:14
682阅读
本篇文章不是入门帖，需要对python和爬虫领域有所了解。爬虫又是另外一个领域，涉及的知识点比较多，不仅要熟悉web开发，有时候还涉及机器学习等知识，不过在python里一切变的简单，有许多第三方库来帮助我们实现。使用python编写爬虫首先要选择合适的抓取模块，最简单的功能就是能发送和处理请求， 下面就介绍几个常用的抓取的方式。一、python 自带的urlib2和urlib或者第三方模块req
转载
2023-08-06 13:34:47
252阅读
《猫眼电影实时票房》这个网页是通过动态加载的数据，大约4秒钟就要请求一次服务器，上面的数据每次请求都会产生变化，如果直接用requests请求它的html源代码，并获取不了它的数据。网页地址： https://piaofang.maoyan.com/dashboard?movieId=1211270需要爬取的内容有： 猫眼排名，电影名称,综合票房,票房占比,排片场次,排片占比,场均人次,上座率,上
转载
2023-11-14 10:48:12
257阅读
一、python 数据爬取 1、 认识数据分析思路 图1.1 四层思路 1.1 需求层 1.1.1 描述需求是数据分析的开始，也是你要分析
转载
2023-08-23 15:15:09
142阅读
从获取数据开始第二节说到了爬虫的工作过程，可以分为四步： 分别是：获取数据；解析数据；提取数据；存储数据。 接下来，一步一个脚印往前走。第0步：获取数据我们用一个强大的第三方库来获取数据，它叫requests 在命令提示符中输入：pip install requests即可安装 如果速度慢的话，使用豆瓣镜像：pip install -i https://pypi.doubanio.com/s
转载
2023-08-14 22:58:06
90阅读
学习python网络编程很久啦，终于决定分享一些自己的经验与感悟，并且开始记录自己的学习轨迹。(本文提到的python均喂python3)在学习使用request和urllib构建爬虫一段时间后终于发现了他们的不足：一是爬取速度确实不尽如人意，二是反复的在做一些造轮子工程，效率很低。于是开始学习scrapy框架。开始时，跟着黑马学习scrapy 感觉确实像是遇到了一门新的语言一样洪水猛兽，在经过一
转载
2023-12-18 13:43:05
84阅读
爬取的数据结果是没有错的，但是在保存数据的时候出错了，出现重复数据或者数据少问题。那为什么会造成这种结果呢？其原因是由于Spider的速率比较快，而scapy操作数据库操作比较慢，导致pipeline中的方法调用较慢，这样当一个变量正在处理的时候，一个新的变量过来，之前的变量的值就会被覆盖。就比如pipline的速率是1TPS，而spider的速率是5TPS，那么数据库应该会有5条重复数据。解决方
转载
2023-06-17 21:08:30
632阅读
