马哥原创：用python的tkinter开发YouTube评论爬虫软件，双击打开直接使用！
目录一、背景介绍1.1 软件说明1.2 效果演示二、科普知识2.1 关于视频id2.2 关于评论时间三、爬虫代码3.1 界面模块3.2 爬虫模块3.3 日志模块四、获取源码及软件一、背景介绍你好，我是@马哥python说 ，一名10年程序猿。最近我用python开
原创
2023-10-23 15:37:14
230阅读
马哥原创爬虫：用python的tkinter库开发YouTube评论采集爬虫，并封装成exe界面软件。
原创
2023-08-30 10:21:45
341阅读
点赞
1评论
前言：上一篇文章，采用爬取接口的方法爬取到的文章数量只有十篇，但我们看到的文章却不止十篇，甚至点刷新之后会不断增加，而且之前的文章还存在，这说明虽然接口一次只传十条数据，但页面会将已接收的数据缓存到本地，增加到页面中，大概是这样。 爬取接口的方法比较简单，只要将要传递的参数陈列分析出来，基本都能获取后台返回给前端的数据。不过很多网站的数据是找不到对应接口的，这时候就需要使用其他的方法来爬
动态ip 相信大家肯定都听说过，或者已经使用过。使用动态ip有很多好处，比如保护你的网络免受外部攻击、屏蔽你的IP地址等。那本篇文章就来研究一下这个动态ip，对这方面不了解的小伙伴正好可以一起学习一下。
原创
2022-02-09 16:49:52
159阅读
我们已经学习 urllib、re、BeautifulSoup 这三个库的用法。但只是停留在理论层面上，还需实践来检验学习成果。因此，本文主要讲解如何利用我们刚才的几个库去实战。1 确定爬取目标任何网站皆可爬取，就看你要不要爬取而已。本次选取的爬取目标是当当网，爬取内容是 以 Python 为关键字搜索出来的页面中所有书籍的信息。具体如下图所示：点击查看大图本次爬取结果有三项：图书的封面图片图书的书
转载
2023-09-06 06:53:01
171阅读
1、爬取网页本地一共5个页面，故此循环五次获取页面信息，使用BeautifulSoup获取web页面，使用正则表达式获取页面所需信息，通过查看web标签获取数据位置，在爬取数据。把获取的一个页面的所以数据保存至data数组中。当一个页面数据获取完成，在把数据放至datalist中。返回datalist for i in range(0, 5): # 调用获取页面信息的函数，5次
num
转载
2023-07-22 15:28:48
140阅读
通过python爬取SCDN论坛的标题，返回请求网址使用requests请求网址 lxml中etree请求数据 time延时 openpyxl保存再excel中网站共有100页数据，5000个论坛。我们可以输入爬取的页数：运行代码：将数据储存在excel中：源代码如下：在这里插入代码片
# _*_ coding:utf _*_
# 人员：21292
#
转载
2023-07-01 00:19:47
205阅读
淘宝大家问 java爬虫练习淘宝大家问的爬取分析需求： 由于公司需要做商品的大家问统计，就需要爬取几个店铺商品的大家问问题统计，接下来就看看爬取的步骤。 一个手机移动端的h5页面，后面的itemId根据自己的需要替换即可，请求过后，我们通过分析chrome里面的请求做进一步的解释 1.两个常规的GET请求一下子就找到了请求的接口已经参数，接下来就是对请求参数的分析appKey：淘宝请求appKey
来自 《Python项目案例开发从入门到实战》（清华大学出版社 郑秋生 夏敏捷主编）中爬虫应用——抓取百度图片想要爬取指定网页中的图片主要需要以下三个步骤：（1）指定网站链接，抓取该网站的源代码（如果使用google浏览器就是按下鼠标右键 -> Inspect-> Elements 中的 html 内容）（2）根据你要抓取的内容设置正则表达式以匹配要抓取的内容（3
废话不多说，直接进入正题。今天我要爬取的网站是起点中文网，内容是一部小说。首先是引入库from urllib.request import urlopen
from bs4 import BeautifulSoup然后将网址赋值html=urlopen("http://read.qidian.com/chapter/dVQvL2RfE4I1/hJBflakKUDMex0RJOkJclQ2.html
转载
2023-06-26 15:14:53
345阅读
基于Java的网络爬虫实现抓取网络小说（一）
今天开始写点东西，一方面加深印象一方面再学习。 网络爬虫（Web crawler），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本，它们被广泛用于互联网搜索引擎或其他类似网站，可以自动采集所有其能够访问到的页面内容，以获取或更新这些网站的内容和检索方式。从功能上来讲，爬虫一般分为数据采集，处理，储存三个部分。传统爬虫从一个或若干初始
前言最近有个需求是批量下载安卓APP。显然，刀耕火种用手点是不科学的。于是尝试用Python写了一个半自动化的脚本。所谓半自动化，就是把下载链接批量抓取下来，然后一起贴到迅雷里进行下载，这样可以快速批量下载。准备工作Python 2.7.11：下载pythonPycharm：下载Pycharm其中python2和python3目前同步发行，我这里使用的是python2作为环境。Pycharm是一款
原创
2023-05-18 10:49:36
179阅读
Java也能做爬虫。 现在提到爬虫人第一个想到的就是python，其实使用Java编写爬虫也是很好的选择，下面给大家展示一个使用Java基础语言编写的爬取小说的案例：实现功能：爬取目标网站全本小说代码编写环境JDK：1.8.0_191Eclipse：2019-03 (4.11.0)素材：网站：http://www.shicimingju.com小说：三国演义案例实现用到的技术：正则表达
对 CSDN 热门文章进行爬取与分析（一）选题背景 万维网上有着无数的网页，包含着海量的信息，无孔不入、森罗万象。但很多时候，无论出于数据分析或产品需求，我们需要从某些网站，提取出我们感兴趣、有价值的内容，但是纵然是进化到21世纪的人类，依然只有两只手，一双眼，不可能去每一个网页去点去看，然后再复制粘贴。所以我们需要一种能自动获取网页内容并可以按照指定规则提取相应内容的程序；很幸运在大学期间我学
一、前言前几天有个粉丝找我获取基金信息，这里拿出来分享一下，感兴趣的小伙伴们，也可以积极尝试。二、数据获取这里我们的目标网站是某基金官网，需要抓取的数据如下图所示。可以看到上图中基金代码那一列，有不同的数字，随机点击一个，可以进入到基金详情页，链接也非常有规律，以基金代码作为标志的。其实这个网站倒是不难，数据什么的，都没有加密，网页上的信息，在源码中都可以直接看到。这样就降低了抓取难度了。通过浏览
转载
2023-08-06 15:12:51
145阅读
爬虫主要包括三部分：1、获取url2、解析url中的内容，并爬取想要的内容3、保存内容获取url可以直接复制想要抓取的网址，如果网页存在分页的情况，可以用for循环，如： for i in range(0,1):
url = baseurl + str(i*25) baseurl就是基础网址，通过for循环实现多页的抓取。解析url解析可以用requests库基础实例1、get请求：r =
转载
2023-06-20 12:39:04
211阅读
这是一次失败的尝试 , 事情是这样的……1.起因前段时间刚刚学完爬虫，于是准备找个项目练练手。因为想要了解一下“数据挖掘”的职位招聘现状，所以我打算对‘智联招聘’下手了。网上当然也有很多教程，但是套路基本就是那几种情况，看起来也不是特别困难，我充满信心地开始了尝试。2.分析网站数据使用工具：谷歌浏览器、pycharm首先利用谷歌浏览器查看网页源码，发现在源码里找不到职位信息，所以判断职位信息是通过
用Python进行爬取网页文字的代码：#!/usr/bin/python
# -*- coding: UTF-8 -*-
import requests
import re
# 下载一个网页
url = 'https://www.biquge.tw/75_75273/3900155.html'
# 模拟浏览器发送http请求
response = requests.get(url)
# 编码方式
转载
2023-06-29 10:15:00
167阅读
之前用python写爬虫，都是自己用requests库请求，beautifulsoup（pyquery、lxml等）解析。没有用过高大上的框架。早就听说过Scrapy，一直想研究一下。下面记录一下我学习使用Scrapy的系列代码及笔记。安装 Scrapy的安装很简单，官方文档也有详细的说明 http://scrapy-chs.readthedocs.io/zh_CN/0.24/intro/i
转载
2023-05-30 15:37:35
201阅读
一、总体思路1-利用arcgis创建渔网，商业网点稀疏用大矩形，商业网点密集用小矩形2-求出矩形左下角和右上角坐标点，读取矩形表得到坐标串 maxX= !shape.extent.xmax! minX= !shape.extent.xmin!3-采用百度API矩形区域检索，发起GET请求，并解析json数据4-本地存储到Excel5-转为shp，gis可视化二、代码实现1、利用
