任务目标：1.抓取不同类型的图片2.编写一个GUI界面爬虫程序，打包成exe重新文件3.遇到的难点1.分析如何抓取不同类型的图片首先打开网站，可以看到有如下6个类型的菜单点击不同菜单，发现URL显示如下大胸妹：https：//www.buxiuse.com/？cid = 2小翘臀：https：//www.buxiuse.com/？cid = 6可以看到每个类型图片对应不同的c...
转载
2021-07-20 14:38:54
1674阅读
作者 | 東不归
前几次推文介绍了页面爬取的三种用法，并且也使用到Requests模块，但是没有详细的讲解，本次推文专门带大家了解一下Requests模块。模块简介Requests是使用Apache2 licensed 许可证的HTTP库；是一个基于Python开的Http库，其在Python内置模块的基础上进行了高度的封装，从而我们在使用Http请求的时候变得非常的简
转载
2023-10-15 10:21:22
119阅读
简单爬虫框架由四个部分组成：URL管理器、网页下载器、网页解析器、调度器，还有应用这一部分，应用主要是NLP配合相关业务。它的基本逻辑是这样的：给定一个要访问的URL，获取这个html及内容（也可以获取head和cookie等其它信息），获取html中的某一类链接，如a标签的href属性。从这些链接中继续访问相应的html页面，然后获取这些html的固定标签的内容，并把这些内容保存下来。
转载
2018-04-15 14:53:00
171阅读
# 使用Python构建GUI界面爬虫软件的步骤
在这篇文章中，我们将一起学习如何使用Python创建一个简单的图形用户界面（GUI）爬虫软件。这个软件的目的在于从网页上提取数据并展示到GUI界面中。我们将分步讲解整个过程，并提供相应的代码示例。
## 开发流程概述
在开始编码之前，我们先梳理出一个清晰的开发流程。以下是我们实现这个项目的步骤：
| 步骤 | 描述
1)、diffbot，官网:https://www.diffbot.com/，这是被腾讯资本加持的一家人工智能公司，通过人工智能技术，让“机器”识别网页内容，抓取关键内容，并输出软件可以直接识别的结构化数据，并且该公司号称自己拥有业界最大的知识图谱，怪不得它能被腾讯看上，敢情是披上了人工智能的外衣的高级数据采集公司，目前该公司拥有三款产品，主要是saas模式，算是目前了解的爬虫技术公司里博得头筹的
转载
2024-02-05 09:02:49
88阅读
一、Jupyter notebook环境安装1、Anaconda 以及 安装步骤因为包含了大量的科学包，Anaconda 的下载文件比较大（约 531 MB）。 下载地址：https://www.anaconda.com/distribution/1）双击安装程序，如下图：2）同意协议，如下图： 3）勾选"Just Me"，即只为我这个用户安装。为所有用户（All Users）安装，要求有管理
转载
2023-08-05 19:28:49
645阅读
web是一个开放的平台，这也奠定了web从90年代初诞生直至今日将近30年来蓬勃的发展。然而，正所谓成也萧何败也萧何，开放的特性、搜索引擎以及简单易学的html、css技术使得web成为了互联网领域里最为流行和成熟的信息传播媒介；但如今作为商业化软件，web这个平台上的内容信息的版权却毫无保证，因为相比软件客户端而言，你的网页中的内容可以被很低成本、很低的技术门槛实现出的一些抓取程序获取到，这也就
package com.zhouzhou;import java.awt.*;import javax.swing.*;import java.awt.Dimension;import java.awt.Toolkit;impo
原创
2022-11-10 14:16:59
54阅读
# Python爬虫：Refreshing界面
在进行网页爬取的过程中，经常会遇到需要刷新页面的情况。在爬虫程序中，我们需要找到一种方法来模拟浏览器的刷新行为，并获取更新后的页面内容。本文将介绍如何利用Python爬虫来实现刷新页面的功能，并提供代码示例。
## 什么是刷新页面？
刷新页面是指重新加载当前页面的内容，以获取最新的数据或显示最新的页面布局。在浏览器中，可以通过点击刷新按钮或使用
原创
2023-12-03 09:29:11
93阅读
正则表达式易于使用，功能强大，可用于复杂的搜索和替换以及基于模板的文本检查。这对于输入形式的用户输入验证特别有用-验证电子邮件地址等。您还可以从网页或文档中提取电话号码，邮政编码等，在日志文件中搜索复杂的模式，然后您就可以想象得到。九齿耙(Ninerake)数据采集大数据深度学习智能分析爬虫软件支持用户自定义正则表达式而无需重新编译程序即可更改规则（模板）。 简单比赛任何单个字符都匹配自己。一系列
转载
2024-06-20 17:55:15
31阅读
文章目录简介安装初试指定浏览器路径移除Chrome正受到自动测试软件的控制全屏页面内容异步运行报错 OSError: Unable to remove Temporary User Data报错 pyppeteer.errors.TimeoutError: Navigation Timeout Exceeded: 30000 ms exceeded.封装反爬虫检测参考文献 简介pyppeteer
转载
2023-12-01 20:44:26
103阅读
由于最近正在放暑假，所以就自己开始学习python中有关爬虫的技术，因为发现其中需要安装许多库与软件所以就在这里记录一下以避免大家在安装时遇到一些不必要的坑。 一. 相关软件的安装： 1. homebrew: homebrew 是mac os系统下的包管理器由于功能齐全所以在这里比较推荐大家安装，安装及使用教程在我的另一篇博客
转载
2023-12-28 23:44:51
52阅读
在我们日常上网浏览网页的时候，经常会看到一些好看的图片，我们就希望把这些图片保存下载，或者用户用来做桌面壁纸，或者用来做设计的素材。我们最常规的做法就是通过鼠标右键，选择另存为。但有些图片鼠标右键的时候并没有另存为选项，还有办法就通过就是通过截图工具截取下来，但这样就降低图片的清晰度。我们可以通过python 来实现这样一个简单的爬虫功能，把我们想要的代码爬取到本地。下面就看看如何使用python
转载
2023-09-06 09:49:05
97阅读
文章目录爬虫工具优势一、AppCrawler-国货????特色环境配置原理使用1、生成jar包2、启动Appium3、开启爬虫旅程- 生成默认配置文件二、Google App Crawler-官方提供的遍历工具环境配置命令参数 爬虫工具通俗讲，其实也是一款智能自动遍历工具。优势操作非常简单，因为无需编写或维护任何代码。此外，您还可以在各种设备上运行该工具，以查找崩溃、视觉问题或性能问题一、App
转载
2023-09-08 22:47:53
378阅读
基本开发环境? Python 3.6 Pycharm wkhtmltopdf 相关模块的使用? re requests concurrent.futures 安装Python并添加到环境变量，pip安装需要的相关模块即可。一、?明确需求 彼岸的壁纸，在我觉得是真的好看。虽然可以免费下载，但是对于有条件的小伙伴，还是可以支持一下付费的，毕竟不贵，只需要30元就可以全站无限制下载了。二、?网页数据分析
转载
2023-09-22 12:43:19
40阅读
这是我学习python时的一些笔记啦，在这里做一个记录，同时分享出来希望可以帮助到有需要的小伙伴，因为我是在看完Bs4,re,requests的综合教程后，按照案例自己照猫画虎的练手实例，所以这几种方式我都有用到，可能代码比较繁琐。如果有错误欢迎指正，在评论区留下你宝贵的建议，毕竟我也是个小白啊第一步：
转载
2023-08-07 20:36:21
82阅读
上节中介绍了项目创建流程，本节主要介绍软件界面的设计。首先我们打开Qt Creater的设计界面，我们可以看到屏幕中间就是需要设计的软件窗体；左侧列表中为控件（软件设计所需要的各种按钮，文本，列表等小组件）；右侧上部分为图层列表，会显示所设计软件的各种控件的名称和类别；右侧下部分为属性表，选中设计的界面中的相应控件后，属性表会显示相应控件的各种属性（如控件的长宽、位置、名称等）。鼠标选中（单击）设
转载
2023-07-23 20:48:44
1225阅读
一：遵循一致的准则，确立标准并遵循
无论是控件使用，提示信息措辞，还是颜色、窗口布局风格，遵循统一的标准，做到真正的一致。
这样得到的好处：
1：使用户使用起来能够建立起精确的心里模型，使用熟练了一个界面后，切换到另外一个界面能够很轻松的推测出各种功能，语句理解也不需要费神理解
2：降低培训、支持成本，支持人员不会行费力逐个指导。
PyQt是Qt界面库在Python下的绑定，为在Python语言下编写GUI界面程序提供了极大的便利。对于界面程序的设计，可以使用纯代码构建，也可以借助于其提供的设计师(Qt Designer)工具来构建。上面一篇文章给出了使用设计师编写界面程序的入门例子，详细请参考：对于同样的例子，下面再给出在Python语言中使用PyQt界面库，不借助于设计师工具，仅仅通过纯代码方式实现的过程。例子说明还是先
转载
2023-09-05 16:57:21
85阅读
## Python爬虫并做界面
### 1. 前言
随着互联网的发展，我们可以从各种网站获取大量的数据。而Python作为一门简单易学且功能强大的编程语言，被广泛应用于网络爬虫的开发中。
本文将介绍如何使用Python编写爬虫程序，并使用界面工具将爬取的数据可视化展示出来。我们将会使用Python中的`requests`库来获取网页内容，并使用`BeautifulSoup`库对网页进行解析。
原创
2023-09-13 11:22:33
196阅读
