博客小程序小程序后端是基于 Wext-server-thinkphp3.2 实现的数据爬虫，使用 ThinkPHP3.2 框架开发。Wext-server-thinkphp3.2 是集成小程序账号体系的快速开发Demo。小程序前端使用ES6+小程序原生语法，基于 ZanUI WeApp 和 Wext 开发的小程序应用。ZanUI WeApp 是有赞移动 Web UI 规范 ZanUI 的小程序现实
原创
2020-12-30 10:41:50
287阅读
身为一个有觉悟的渣渣，永远不会停止爬虫的瞎写（内卷）之路，很久没有coding了，so就有了下面这篇分享，一个博客爬虫，图片爬虫，我们都非常熟悉的新浪博客的图片爬虫，为了体现本渣渣的渣渣（弱智）水平，带来了一个异步版本，供大家参考学习，如果异步玩的6，请带带本渣渣！
异步代码是本渣渣抄袭的，不懂不要问本渣渣，因为本渣渣也不会。。。
目标网址：
http://blog.sina.com.cn/s/
原创
2021-07-27 16:51:58
597阅读
import requestsimport jsonfrom pprint import pprintfrom bs4 import BeautifulSoupurl = "https://www.cnblogs.com/AggSite/AggSitePostList"headers = { #"content-type": "application/json; charset=UTF-8",
原创
2022-10-12 19:22:13
182阅读
我希望从某些网站，把博客文章保存成本地的md文件，用python实现。不管你怎么想，反正我是成功了。
我希望对指定网页的，博客列表，获取url，然后保存成本地文件，用python实现
step1:
import requests
from bs4 import BeautifulSoup
import json
def get_blog_links(url):
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT
我希望对指定网页的，博客列表，获取url，然后保存成本地文件，用python实现。
博客爬虫算法
我希望从某些网站，把博客文章保存成本地的md文件，用python实现
不管你怎么想，反正我是成功了
step1:C:\Users\wangrusheng\PycharmProjects\FastAPIProject1\hello.py
import requests
from bs4 import BeautifulSoup
import html2text # 新增HTML转Ma
上次写了一个爬世纪佳缘的爬虫之后，今天再接再厉又写了一个新浪博客的爬虫。写完之后，我想了一会儿，要不要在博客园里面写个帖子记录一下，因为我觉得这份代码的含金量确实太低，有点炒冷饭的嫌疑，就是把上次的代码精简了一下，用在另外一个网站而已，而且爬别人的博客总有一种做贼心虚的感觉，怕被各位园友认为是偷窥狂魔。但是这份代码总归是我花了精力去写的，我也不想就此让它深藏在硬盘之中（电脑实在太老了，可能过两年硬
转载
2023-06-26 10:15:41
131阅读
python实现博客爬虫有序的存到word中目标地址：https://www.kingname.info/archives/# -*- coding:utf-8 -*-
from bs4 import BeautifulSoup
import urllib.request, urllib.response, urllib.error, urllib.parse
from docx import
转载
2024-05-07 14:59:33
38阅读
php，curl实现网页爬虫
原创
2014-07-28 19:35:38
1053阅读
$title, 'article_author' => $author, 'article_content' => $content, ); // 查看数据是否正常 $res = db::insert("content", $data); var_dump($res);
转载
2016-12-09 17:49:00
112阅读
2评论
* 通过composer下载composer require owner888/phpspider// composer.json{ "require": { "owner888/phpspider": "^2.1" }} * 去掉讨厌的注释 https://doc.phpspider.org/demo-start.html...
原创
2021-08-13 00:56:11
751阅读
爬虫是我一直以来跃跃欲试的技术，现在的爬虫框架很多，比较流行的是基于python，nodejs，java，C#，PHP的的框架，其中又以基于python的爬虫流行最为广泛，还有的已经是一套傻瓜式的软件操作，如八爪鱼，火车头等软件。 今天我们首先尝试的是使用PHP实现一个爬虫程序，首先在不使用爬虫框架的基础上实践也是为了理解爬虫的原理，然后再利用PHP的lib，框架和扩展进行实践。所有代码挂在我的
转载
2023-12-13 08:49:22
112阅读
http://www.phppan.com/ http://www.php-internals.com/ http://www.laruence.com/ http://www.walu.cc/phpbook/1.md http://www.open-open.com/lib/view/open1392188698114.html 简介编写C扩展
原创
2015-11-24 18:25:37
497阅读
点赞
1评论
。。
原创
2022-07-31 00:44:32
39阅读
针对爬虫首先声明只是玩具爬虫，拿到自己博客地址，然后随机访问，最后增加T...
原创
2023-05-01 20:43:20
294阅读
博客实例： 爬取博客园文章列表，假设页面的URL是https://www.cnblogs.com/loaderman 要求： 使用requests获取页面信息，用XPath / re 做数据提取 获取每个博客里的标题，描述，链接地址，日期等 保存到 json 文件内 代码 效果：
原创
2021-08-13 09:33:57
109阅读
Python爬虫抓取csdn博客 昨天晚上为了下载保存某位csdn大牛的全部博文，写了一个爬虫来自动抓取文章并保存到txt文本，当然也可以 保存到html网页中。这样就可以不用Ctrl+C 和Ctrl+V了，非常方便，抓取别的网站也是大同小异。为了解析抓取的网页，用到了第三方模块，BeautifulSoup，这个模块对于解析html文件非常有用
转载
精选
2015-07-23 19:39:51
10000+阅读
河道船只识别算法通过分析和处理河道监控视频图像，河道船只识别算法可以实时自动地识别并分类不同类型的船只。无论是货船、客船、渔船还是游艇等，算法都能够迅速而准确地识别出来，并生成相应的数据与信息。这使得河道管理部门能够更加高效地获取关键数据，及时掌握船只的运行状态和航行轨迹，从而优化河道资源的分配和管理。
在现代社会中，随着城市交通和物流的快速发展，河道运输成为了重要的交通方式之一。然而，由于河道交
原创
2024-07-03 20:12:25
198阅读
cURL 网页资源（编写网页爬虫） 接口资源 ftp服务器文件资源 其他资源 下面是简单的爬虫，爬网页数据。 读取FTP数据 php
原创
2021-08-05 15:34:25
374阅读
