身为一个有觉悟的渣渣，永远不会停止爬虫的瞎写（内卷）之路，很久没有coding了，so就有了下面这篇分享，一个博客爬虫，图片爬虫，我们都非常熟悉的新浪博客的图片爬虫，为了体现本渣渣的渣渣（弱智）水平，带来了一个异步版本，供大家参考学习，如果异步玩的6，请带带本渣渣！
异步代码是本渣渣抄袭的，不懂不要问本渣渣，因为本渣渣也不会。。。
目标网址：
http://blog.sina.com.cn/s/
原创
2021-07-27 16:51:58
597阅读
import requestsimport jsonfrom pprint import pprintfrom bs4 import BeautifulSoupurl = "https://www.cnblogs.com/AggSite/AggSitePostList"headers = { #"content-type": "application/json; charset=UTF-8",
原创
2022-10-12 19:22:13
182阅读
我希望从某些网站，把博客文章保存成本地的md文件，用python实现。不管你怎么想，反正我是成功了。
我希望对指定网页的，博客列表，获取url，然后保存成本地文件，用python实现
step1:
import requests
from bs4 import BeautifulSoup
import json
def get_blog_links(url):
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT
我希望对指定网页的，博客列表，获取url，然后保存成本地文件，用python实现。
博客爬虫算法
我希望从某些网站，把博客文章保存成本地的md文件，用python实现
不管你怎么想，反正我是成功了
step1:C:\Users\wangrusheng\PycharmProjects\FastAPIProject1\hello.py
import requests
from bs4 import BeautifulSoup
import html2text # 新增HTML转Ma
上次写了一个爬世纪佳缘的爬虫之后，今天再接再厉又写了一个新浪博客的爬虫。写完之后，我想了一会儿，要不要在博客园里面写个帖子记录一下，因为我觉得这份代码的含金量确实太低，有点炒冷饭的嫌疑，就是把上次的代码精简了一下，用在另外一个网站而已，而且爬别人的博客总有一种做贼心虚的感觉，怕被各位园友认为是偷窥狂魔。但是这份代码总归是我花了精力去写的，我也不想就此让它深藏在硬盘之中（电脑实在太老了，可能过两年硬
转载
2023-06-26 10:15:41
131阅读
python实现博客爬虫有序的存到word中目标地址：https://www.kingname.info/archives/# -*- coding:utf-8 -*-
from bs4 import BeautifulSoup
import urllib.request, urllib.response, urllib.error, urllib.parse
from docx import
转载
2024-05-07 14:59:33
38阅读
针对爬虫首先声明只是玩具爬虫，拿到自己博客地址，然后随机访问，最后增加T...
原创
2023-05-01 20:43:20
294阅读
博客实例： 爬取博客园文章列表，假设页面的URL是https://www.cnblogs.com/loaderman 要求： 使用requests获取页面信息，用XPath / re 做数据提取 获取每个博客里的标题，描述，链接地址，日期等 保存到 json 文件内 代码 效果：
原创
2021-08-13 09:33:57
109阅读
Python爬虫抓取csdn博客 昨天晚上为了下载保存某位csdn大牛的全部博文，写了一个爬虫来自动抓取文章并保存到txt文本，当然也可以 保存到html网页中。这样就可以不用Ctrl+C 和Ctrl+V了，非常方便，抓取别的网站也是大同小异。为了解析抓取的网页，用到了第三方模块，BeautifulSoup，这个模块对于解析html文件非常有用
转载
精选
2015-07-23 19:39:51
10000+阅读
python爬虫示例--博客园首页Java目录博文爬虫
原创
2021-07-15 14:04:10
55阅读
1. 网络爬虫的认识 网络爬虫是自动从互联网定向或不定向地采集信息地一种程序工具。网络爬虫分为很多类别，常见的有批量型网络爬虫、增量型网络爬虫（通用爬虫）、垂直网络爬虫（聚焦爬虫）。2.网络爬虫的工作原理通用爬虫：首先给定初始URL，爬虫会自动获取这个URL上的所有URL并将已经在爬取的地址存放在已爬取列表中。将新的URL放在队列并依次读取新的URL，依次判读是否满足所设置的停止获取的
转载
2024-04-03 12:35:33
35阅读
爬虫项目开发的第一步，首先需要对我们想要实现的爬虫项目的功能进行定位和分析，即进行需求分析工作。项目分析：在今天的项目中，我们建立的爬虫需要实现的功能有：1、爬取博客中任意一个用户的所有博文信息。2、将博文的文章名、文章URL、文章点击数、文章评论数等信息提取出来。3、将提取出来的数据写入Mysql数据库中。可以发现，该爬虫项目额主要目的是将博客中用户所有博文的相关信息提取出来并储存到...
原创
2021-07-08 10:35:38
256阅读
新浪首届中国博客大赛2005年高调登场，入围的BIOG们都大有来头，不是文化界的义士就是娱乐界的红人，不管他们的博客以前何处安家，总之现在是归依新浪门下了。吴小莉的博客——http://blog.sina.com.cn/m/wuxiaoli，很明显，这个地址属于新浪，她的博客也是同样。时下众多网民对博客的热情令他们忘却了自己的真实身份——暂住者。他们以为在庞大的网络世界里拥有了一个属于自己的空间，
转载
精选
2006-02-25 03:38:20
683阅读
调用 getOneBlogDetails( ) 函数可以获取目标网页的博主姓名， 个人主页网址，原创文章、粉丝、喜欢、评论数量， 等级、访问量、积分、排名。#!/usr/lib/python3.6#encoding = utf-8#爬取一个博客的基本信息#本爬虫仅用于学习，纯属爱好，虽然本爬虫很简单，但还是请大家不要滥用import requestsfrom bs...
原创
2023-12-30 08:13:45
74阅读
import requestsurl = "https://www..com/AggSite/AggSitePostList"data = {"CategoryType":"SiteHome"
原创
2023-02-27 16:16:45
113阅读
