&nbs
转载
2023-05-31 08:34:05
62阅读
之前一直都没怎么记录自己学习的内容，但是发现之前好多犯过的错自己还是会犯第二遍，现在在csdn上做一些日常记录防止忘记，而且有助于记忆和巩固。1.打开写博客的默认页面，写了一段在贴图的时候发现写不下去了 ，那个编辑器太难用了，想在图片上边插入文字，发现怎么搞都不合适 2.百度了一下，然后发现别人都是使用markdown进行编辑的,直接打开网址)就可以进行编辑了，3.每次都输网址有点麻烦，毕
转载
2023-06-30 22:34:24
73阅读
数据是科研活动重要的基础。本系列博客将讲述如何使用Java工具获取网络的数据。首先，我们讲述一下爬虫的基本原理。爬虫的基本原理很简单，就是利用程序访问互联网，然后将数据保存到本地中。我们都知道，互联网提供的服务大多数是以网站的形式提供的。我们需要的数据一般都是从网站中获取的，如电商网站商品信息、商品的评论、微博的信息等。爬虫和我们手动将看到的数据复制粘贴下来是类似的，只是获取大量的数据靠人工显然不
转载
2023-08-16 16:42:10
79阅读
身为一个有觉悟的渣渣，永远不会停止爬虫的瞎写（内卷）之路，很久没有coding了，so就有了下面这篇分享，一个博客爬虫，图片爬虫，我们都非常熟悉的新浪博客的图片爬虫，为了体现本渣渣的渣渣（弱智）水平，带来了一个异步版本，供大家参考学习，如果异步玩的6，请带带本渣渣！
异步代码是本渣渣抄袭的，不懂不要问本渣渣，因为本渣渣也不会。。。
目标网址：
http://blog.sina.com.cn/s/
原创
2021-07-27 16:51:58
597阅读
什么是工厂设计模式？工厂设计模式，顾名思义，就是用来生产对象的，在java中，万物皆对象，这些对象都需要创建，如果创建的时候直接new该对象，就会对该对象耦合严重，假如我们要更换对象，所有new对象的地方都需要修改一遍，这显然违背了软件设计的开闭原则，如果我们使用工厂来生产对象，我们就只和工厂打交道就可以了，彻底和对象解耦，如果要更换对象，直接在工厂里更换该对象即可，达到了与对象解耦的目的；所以说
import requestsimport jsonfrom pprint import pprintfrom bs4 import BeautifulSoupurl = "https://www.cnblogs.com/AggSite/AggSitePostList"headers = { #"content-type": "application/json; charset=UTF-8",
原创
2022-10-12 19:22:13
182阅读
我希望从某些网站，把博客文章保存成本地的md文件，用python实现。不管你怎么想，反正我是成功了。
我希望对指定网页的，博客列表，获取url，然后保存成本地文件，用python实现
step1:
import requests
from bs4 import BeautifulSoup
import json
def get_blog_links(url):
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT
我希望对指定网页的，博客列表，获取url，然后保存成本地文件，用python实现。
博客爬虫算法
我希望从某些网站，把博客文章保存成本地的md文件，用python实现
不管你怎么想，反正我是成功了
step1:C:\Users\wangrusheng\PycharmProjects\FastAPIProject1\hello.py
import requests
from bs4 import BeautifulSoup
import html2text # 新增HTML转Ma
上次写了一个爬世纪佳缘的爬虫之后，今天再接再厉又写了一个新浪博客的爬虫。写完之后，我想了一会儿，要不要在博客园里面写个帖子记录一下，因为我觉得这份代码的含金量确实太低，有点炒冷饭的嫌疑，就是把上次的代码精简了一下，用在另外一个网站而已，而且爬别人的博客总有一种做贼心虚的感觉，怕被各位园友认为是偷窥狂魔。但是这份代码总归是我花了精力去写的，我也不想就此让它深藏在硬盘之中（电脑实在太老了，可能过两年硬
转载
2023-06-26 10:15:41
131阅读
python实现博客爬虫有序的存到word中目标地址：https://www.kingname.info/archives/# -*- coding:utf-8 -*-
from bs4 import BeautifulSoup
import urllib.request, urllib.response, urllib.error, urllib.parse
from docx import
转载
2024-05-07 14:59:33
38阅读
。。
原创
2022-07-31 00:44:32
39阅读
针对爬虫首先声明只是玩具爬虫，拿到自己博客地址，然后随机访问，最后增加T...
原创
2023-05-01 20:43:20
294阅读
博客实例： 爬取博客园文章列表，假设页面的URL是https://www.cnblogs.com/loaderman 要求： 使用requests获取页面信息，用XPath / re 做数据提取 获取每个博客里的标题，描述，链接地址，日期等 保存到 json 文件内 代码 效果：
原创
2021-08-13 09:33:57
109阅读
一. 面向对象的介绍和理解1. 面向对象的介绍Java是一门纯面向对象的语言(Object Oriented Program，继承OOP)，在面向对象的世界里，一切皆为对象。面向对象是解决问题的一种思想，主要依靠对象之间的交互完成一件事情。用面向对象的思想来涉及程序，更符合人们对事物的认知，对于大型程序的设计、扩展以及维护都非常友好。2. 面向对象的理解利用生活中洗衣服的例子理解面向对象：1).传
转载
2024-09-26 09:04:49
33阅读
Python爬虫抓取csdn博客 昨天晚上为了下载保存某位csdn大牛的全部博文，写了一个爬虫来自动抓取文章并保存到txt文本，当然也可以 保存到html网页中。这样就可以不用Ctrl+C 和Ctrl+V了，非常方便，抓取别的网站也是大同小异。为了解析抓取的网页，用到了第三方模块，BeautifulSoup，这个模块对于解析html文件非常有用
转载
精选
2015-07-23 19:39:51
10000+阅读
1. 网络爬虫的认识 网络爬虫是自动从互联网定向或不定向地采集信息地一种程序工具。网络爬虫分为很多类别，常见的有批量型网络爬虫、增量型网络爬虫（通用爬虫）、垂直网络爬虫（聚焦爬虫）。2.网络爬虫的工作原理通用爬虫：首先给定初始URL，爬虫会自动获取这个URL上的所有URL并将已经在爬取的地址存放在已爬取列表中。将新的URL放在队列并依次读取新的URL，依次判读是否满足所设置的停止获取的
转载
2024-04-03 12:35:33
35阅读
爬虫项目开发的第一步，首先需要对我们想要实现的爬虫项目的功能进行定位和分析，即进行需求分析工作。项目分析：在今天的项目中，我们建立的爬虫需要实现的功能有：1、爬取博客中任意一个用户的所有博文信息。2、将博文的文章名、文章URL、文章点击数、文章评论数等信息提取出来。3、将提取出来的数据写入Mysql数据库中。可以发现，该爬虫项目额主要目的是将博客中用户所有博文的相关信息提取出来并储存到...
原创
2021-07-08 10:35:38
256阅读
新浪首届中国博客大赛2005年高调登场，入围的BIOG们都大有来头，不是文化界的义士就是娱乐界的红人，不管他们的博客以前何处安家，总之现在是归依新浪门下了。吴小莉的博客——http://blog.sina.com.cn/m/wuxiaoli，很明显，这个地址属于新浪，她的博客也是同样。时下众多网民对博客的热情令他们忘却了自己的真实身份——暂住者。他们以为在庞大的网络世界里拥有了一个属于自己的空间，
转载
精选
2006-02-25 03:38:20
683阅读
