最近学完Python，写了几个爬虫练练手，网上的教程有很多，但是有的已经不能爬了，主要是网站经常改，可是爬虫还是有通用的思路的，即下载数据、解析数据、保存数据。下面一一来讲。1.下载数据首先打开要爬的网站，分析URL，每打开一个网页看URL有什么变化，有可能带上上个网页的某个数据，例如xxID之类，那么我们就需要在上一个页面分析HTML，找到对应的数据。如果网页源码找不到，可能是ajax异步加载，
转载
2024-08-27 15:20:37
54阅读
# Python爬取人物信息
随着互联网的发展，数据成为了许多领域的重要资产。爬虫技术作为一种获取互联网数据的手段，越来越受到关注。本文将探讨如何使用Python来爬取人物信息，并提供详细的代码示例，帮助大家了解这一过程。
## 什么是网络爬虫？
网络爬虫是自动访问互联网并提取信息的程序。爬虫通过发送网络请求，获取网页内容，然后解析网页，提取需要的信息。网络爬虫在数据采集、信息检索等领域有着
Step：目标文章：鹿鼎记实现功能： 人物统计 云图程序源码：-- coding: utf-8 --"""Created on Sat Jul 7 16:57:02 2018@author: fslq"""#初步获取文本import osimport os.pathimport codecsimport jiebaimport numpy...
原创
2021-10-14 16:48:43
224阅读
我们在利用python进行爬取数据的时候，一定会遇到这样的情况，在浏览器中打开能开到所有数据，但是利用requests去爬取源码得到的却是没有数据的页面框架。出现这样情况，是因为别人网页使用了ajax异步加载，你的requests得到的只是页面框架而已。遇到这样的情况有几种方法可以解决： 1、分析（f12）network中的响应，从而获得ajax的请求接口，在通过这些接口去获得数据。 2、使用
转载
2023-08-23 20:05:09
116阅读
# 爬取GitHub仓库信息的方法
在开发和学习中，我们经常需要获取GitHub上的仓库信息。这时候如果手动一个个去查找并记录信息就显得非常繁琐。利用Python编程语言，我们可以很方便地编写一个爬虫程序，自动获取GitHub上的仓库信息。接下来，我们将介绍如何利用Python爬取GitHub仓库信息的方法。
## 准备工作
在开始之前，我们需要确保已经安装好Python编程环境和相关的第三
原创
2024-04-07 03:27:37
272阅读
最近想在工作相关的项目上做技术改进，需要全而准的车型数据，寻寻觅觅而不得，所以就只能自己动手丰衣足食，到网上获(窃)得(取)数据了。汽车之家是大家公认的数据做的比较好的汽车网站，所以就用它吧。(感谢汽车之家的大大们这么用心地做数据，仰慕)俗话说的好，“十爬虫九python”，作为一只java狗，我颤颤巍巍地拿起了python想要感受一下scrapy的强大。。。在写这个爬虫之前，我用urllib2,
转载
2023-09-02 15:54:49
36阅读
基于共现发现人物关系的python实现
1.共现关系在文献计量学中,关键词的共词方法常用来确定该文献集所代表学科中各主题之间的关系。而在这里，我们需要通过分析一篇小说或剧本，来分析剧中各个角色之间的人物关系。两者有很相同的地方。一般我们认为，在一篇文章中的同一段出现的两个人物之间，一定具有某种关联，因此我们的程序的大致流程也可以确定下来。我们可以先做分词，将每一段中的人物角色抽取出来，然后以段落
转载
2023-06-21 16:40:50
463阅读
1评论
"""
author:魏振东
data：2019.12.18
func:绘制三国演义人物关系图
"""
import codecs
import jieba.posseg as pseg
import xlwt
def excel_write(names,workbook):
# 创建一个worksheet
worksheet = workbook.add_sheet('node
转载
2023-09-04 17:07:52
113阅读
《釜山行》是一部丧尸灾难片，其人物少、关系简单，非常适合我们学习文本处理。这个项目将介绍共现在关系中的提取，使用python编写代码实现对《釜山行》文本的人物关系提取，最终利用Gephi软件对提取的人物关系绘制人物关系图。实体间的共现是一种基于统计的信息提取。关系紧密的人物往往会在文本中多段内同时出现，可以通过识别文本中已确定的实体(人名)，计算不同实体共同出现的次数和比率。当比率大于某一阈值，我
转载
2023-10-08 17:18:30
274阅读
利用Python爬取作者信息已经成为当今技术相关领域一个重要且常见的需求。在这篇博文中，我将详细阐述如何高效地实现这一目标，我们将涵盖从背景定位到扩展应用的全过程。
## 背景定位
在数字时代，获取作者信息不仅对研究者重要，而且对于内容创作者、出版商及市场营销人员等都至关重要。通过爬虫技术，我们能够从网络平台上提取大量有价值的信息。
以下是关于我们的业务增长里程碑的时间轴展示：
```me
# 利用Python爬取特定内容的流程
## 1. 了解爬虫基本知识
在开始之前，首先需要了解一些基本的爬虫知识。爬虫是一种自动获取网页内容的程序，它可以模拟人的行为来访问网页，并提取其中的特定内容。Python是一种非常适合编写爬虫的编程语言，因为它具有简洁、易于学习的特点，并提供了丰富的第三方库来帮助我们进行爬虫开发。
以下是利用Python爬取特定内容的基本流程：
## 2. 确定目标
原创
2023-12-08 05:21:16
169阅读
# 利用Python爬取Bilibili视频
## 引言
随着互联网的发展，视频分享网站成为人们获取信息和娱乐的重要途径之一。Bilibili作为中国最大的弹幕视频网站，拥有大量优质的内容。如果我们想要获取Bilibili上的视频数据，可以利用Python爬虫快速高效地实现。
本文将介绍如何使用Python爬取Bilibili视频的基本方法，并附上代码示例供读者参考。
## 爬取Bilibi
原创
2024-01-19 08:52:06
477阅读
爬虫技术挣钱方法2:整合信息、整合数据做产品简单说就是抓取分散在各个角落的信息，整合后用网站或微信或APP呈现出来，以通过网盟广告，电商佣金，直接售卖电商产品或知识付费来变现。别被产品这个词吓到，一个技术人员通过自学开发一个简单的网站，APP，小程序，直接使用，或者接入别人的电商系统不是难事。关键是需要一些运营技巧，这方面个人站长是做得最好的，自己摸索运营方法，自己还学习技术开发。咱们技术人员也要
转载
2024-08-02 10:11:25
90阅读
首先指出实验文档中的错误：第一幅图中的city.py应该为citys.py，另外吐槽一下老师的英文水平，city的复数写成cities是不是会更好些？？？体会学到了很多东西。严格而言，这并不是一个爬虫，只能说是一个根据用户输入来即时爬取特定页面来返回信息的小程序。其中正则表达式的使用、文件的读取、信息的存储形式都是值得注意的地方。需要注意的地方1with open("citys.csv", "r"
转载
2023-12-12 15:51:10
46阅读
Python实战案例:金庸的功夫流派、人物关系的分析案例(下）前面关于金庸小说的门派、功夫、人物及小说正文已经从网站上面下载到了本地，后面就需要通过一些金庸小说中武侠江湖的数据分析。四、射雕郭靖黄蓉的关系分析对于《射雕英雄传》这个剧本来说，郭靖和黄蓉无疑是读者关注的主人公。现在爬取的小说正文已准备就绪，可以通过jieba分词的自定义词典把小说中的人物加载，load_userdict方法可以帮助我们
转载
2023-10-12 14:02:33
466阅读
用到的工具jiebajieba分词，最好用的开源中文分词工具。他最主要的两个功能是分词和关键词的抽取。在这里我们需要用他的分词功能来提取文本中的人名。gephigephi是一个开源的复杂网络数据可视化软件，可用于探索数据分析、链路分析、社交网络分析、生物网络分析等。我们需要把数据处理成gephi可接受的csv格式，然后再进行绘制。实现流程代码实现分为三步，1. 人物出场次数统计。2. 人物关系统计
转载
2023-08-09 06:07:13
428阅读
文章目录Python - 基于共现提取绘制《流浪地球》人物关系(Gephi)1.项目相关概念1.1 共现网络1.2 jieba分词库1.3 Gephi2.项目分析3.项目编写3.1 初始化以及引入项目所需库3.2 提取人物集以及统计人物出现次数3.3 分析人物关联关系3.4 生成Gephi所需格式化文件4.Gephi绘制关系图4.1 下载安装Gephi4.2 导入电子表格4.3 修改渲染属性4.
转载
2023-12-07 15:22:25
258阅读
接 基于共现发现人物关系的python实现 得到的结果，可使用python完成简单的关系图import networkx as nx
import matplotlib.pyplot as plt
from pylab import mpl
mpl.rcParams['font.sans-serif'] = ['SimHei'] # 指定默认字体
mpl.rcParams['axes.unicod
转载
2023-09-08 16:30:25
81阅读
本节讲解第一个 Python 爬虫实战案例：抓取您想要的网页，并将其保存至本地计算机。首先我们对要编写的爬虫程序进行简单地分析，该程序可分为以下三个部分：拼接 url 地址发送请求将照片保存至本地明确逻辑后，我们就可以正式编写爬虫程序了。导入所需模块本节内容使用 urllib 库来编写爬虫，下面导入程序所用模块：from urllib import request
from urllib impo
转载
2023-09-11 19:18:22
90阅读
一、环境搭建首先下载安装selenium包，推荐直接使用pip之后还要下载对应浏览器的驱动（driver)，这里使用的是chrome浏览器，注意驱动与浏览器的版本要相对应。下载的驱动直接复制到python和chrome的安装目录下。python+selenium的环境搭建教程很多，这里不做赘述。二、观察一下我们以： http://ieeexplore.ieee.org/search/se
转载
2024-03-05 09:25:01
523阅读
