简介当今社会在测试领域，接口测试已经越来越多的被提及，被重视，而且现在好多招聘信息要对接口测试提出要求。区别于传统意义上的系统级别测试，很多测试人员在接触到接口测试的时候，也许对测试执行还可以比较顺利的上手，但一提到相关的文档，比如测试用例和报告，就有些不知所措了。这类问题在我加入的几个测试的群里，经常看到一些人在不断提问。今天就用这篇文章来说说接口测试用例和报告。接口功能测试用例模板提到功能测试
转载
2023-10-07 14:40:53
136阅读
很多同学不知道爬虫应该怎么进行测试，我也是刚接触过一点爬虫测试的小白，通过对爬虫的分析，总结了爬虫的测试方法，有其他建议的欢迎补充。 一、测试阶段 对于需要调用第三方平台(比如魔蝎)进行数据采集的流程，大家可能比较熟悉，在第三方的页面进行授权后，第三方会帮我们完成数据采集的任务，我们只需要坐等结果回调回来就行了。但是如果是要自己做爬虫，那么又是个怎样的过程呢。 其实爬虫和其它业务一样，也
原创
2021-11-01 10:08:49
10000+阅读
目录： 1、爬虫原理 2、本地文件数据提取及分析3、单网页数据的读取4、运用正则表达式完成超连接的连接匹配和提取5、广度优先遍历，多网页的数据爬取6、多线程的网页爬取7、总结 爬虫实现原理 网络爬虫基本技术处理网络爬虫是数据采集的一种方法，实际项目开发中，通过爬虫做数据采集一般只有以下几种情况：1） 搜索引擎2） 竞品调研3） 舆情监控4） 市场分析网络爬虫的整体执行流程：1） 确定一个（多个）种
转载
2024-07-24 18:05:13
13阅读
测试博文
原创
2015-06-28 23:32:49
444阅读
# 同步执行，效率慢 # import requests # def parse_page(res): # print("PAESE %s" %(len(res))) # # def get_page(url): # print("GET %s" %url) # response = requests.get(url) # if response.status_c...
原创
2021-05-20 17:38:35
226阅读
【代码】nodejs爬虫 测试 modi。
原创
2023-10-07 10:14:11
59阅读
在一篇1950年发表的著名论文《Computing Machinery and Intelligence》中，数学家阿兰·图灵详细讨论了“机器能否拥有智能？”的问题。有趣的是，作为计算机科学与人工智能领域共同的先驱，图灵成功定义了什么是机器，但却不能定义什么是智能。正因如此，图灵设计了一个后人称为图灵测试的实验。图灵测试的核心想法是要求计算机在没有直接物理接触的情况下接受人类的询问，并尽可能把自己
背景： 本人接触python爬虫也有一段时间了，期间也有许多小伙伴和我探讨python爬虫怎么学习，因此写下这篇随笔，算不上教学，只是谈谈自己的想法。 实现爬虫的方法有很多，我选取了个人觉得最容易理解、实现的方法。本篇随笔涉及的爬虫知识不多，难度主要在安装相应的库上面！一、开发环境： python3、xpath+Selenium二、安装如果你已经有了pip管理工具了：（其他安装方法自行百度）
转载
2024-05-27 16:34:04
8阅读
目 录
1 项目目的与意义 1.1项目背景说明 1.2项目目的与意义2 软件开发环境与技术说明 2.1软件开发环境 2.2软件开发技术描述3 系统分析与设计 3.1项目需求分析说明 3.2系统设计方案4 系统源代码 4.1系统源代码文件说明 4.2源代码5 系统使用说明书6 参考资料7 附件说明 
转载
2023-07-17 20:32:12
3996阅读
本文主要介绍爬虫系统的架构，具体的爬取细节和所使用的语言都可以自由选择。以下是我从网上截取的一位前辈提炼的，对于爬虫系统的要求，我觉得很有道理。我的设计尽量依据以上七条原则。首先我觉得一个完整爬虫系统应该包括三个子系统：页面爬取系统，内容入库系统，内容管理系统。三个系统之间必须低耦合，以实现分布式和可伸缩性的要求。页面爬取系统负责从第三方页面抓取内容，并提交到内容入库系统的原始数据队列中。内容入库
转载
2023-11-18 20:26:32
140阅读
13.Gerapy学习目标了解 什么是Gerapy掌握 Gerapy的安装掌握 Gerapy配置启动掌握 通过Gerapy配置管理scrapy项目1.Gerapy介绍: Gerapy 是一款 分布式爬虫管理框架，支持 Python 3，基于 Scrapy、Scrapyd、Scrapyd-Client、Scrapy-Redis、Scrapyd-API、Scrapy-Splash、Jinjia2、Dj
转载
2023-08-13 17:36:35
84阅读
1. 获取所有的<li> 标签# xpath_li.pyfrom lxml import etreehtml = etree.parse('hello.html')print type(html) # 显示etree.parse() 返回类型result = html.xpath('//li')print result # 打印<li>标签的元素集合...
原创
2021-07-08 10:42:44
257阅读
一、简介爬虫就是利用代码大量的将网页前端代码下载下来使用的一种程序，一般来说常见的目的为下：1、商业分析使用：很多大数据公司都会从利用爬虫来进行数据分析与处理，比如说要了解广州当地二手房的均价走势就可以到房屋中介的网站里去爬取当地房源的价钱除以平方米2、训练机器：机器学习需要大量的数据，虽然网络上有许多免费的库可以提供学习，不过对于部分机器他们需要的训练资料比较新，所以需要去爬取实时的数据3、练习
转载
2023-07-17 21:21:54
72阅读
一、什么是爬虫爬虫：一段自动抓取互联网信息的程序，从互联网上抓取对于我们有价值的信息。二、Python爬虫架构Python 爬虫架构主要由五个部分组成，分别是调度器、URL管理器、网页下载器、网页解析器、应用程序（爬取的有价值数据）。调度器：相当于一台电脑的CPU，主要负责调度URL管理器、下载器、解析器之间的协调工作。URL管理器：包括待爬取的URL地址和已爬取的URL地址，防止重复抓取URL和
转载
2023-10-06 20:59:01
87阅读
1 前言 Python开发网络爬虫获取网页vb.net教程数据的基本流程为：发起请求通过URL向服务器发c#教程起request请求，请求可以包含额外的header信息。获取响应内容服务器正常响应，将会收到一个response，即为所请求的网页内容，或许包含HTML，Json字符串或者二进python基础教程 制的数据（视频、图片）等。解析内容如果是HTML代码，则可以使用网页解析器进行解析，如果
转载
2023-07-11 14:01:33
110阅读
爬虫案例
1 梨视频，进程池、线程池爬取2 IP 代理池3 糗事百科 + 微信自动回复4 红楼梦 + 写入 MySQL + MongoDB5 京东商品 + selenium6 拉勾网 + selenium7 cnblogs 博客爬取 + scrapy + 持久化8 12306 自动登录 + 自动链9 链接网 + gevent + MongoDB10 IT桔子网模拟登
转载
2023-05-26 14:51:01
163阅读
关于 Python 爬虫网络爬虫（Web Spider）又称网络蜘蛛，或者网络机器人，是一种按照特定规则、自动从互联网中抓取信息的程序/脚本。网络爬虫的工作过程大概有以下几个步骤：请求网页，分析网页结构；按照设定好的规则提取有价值的内容；将提取到的内容存储到数据库中，永久保留。在所有常用的编程语言中，Python 已经成为开发爬虫程序的主流语言，以至于人们通常会说“Python 爬虫”。但是爬虫并
转载
2023-08-09 14:09:15
62阅读
Crawlab基于Celery的爬虫分布式爬虫管理平台，支持多种编程语言以及多种爬虫框架.Github: github.com/tikazyq/cra…安装# 安装后台类库
pip install -r ./crawlab/requirements.txt
复制代码# 安装前台类库
cd frontend
npm install
复制代码配置请更改配置文件config.py，配置API和数据库连接
转载
2023-09-15 15:39:26
69阅读
引言大多数企业都离不开爬虫，爬虫是获取数据的一种有效方式。对搜索引擎来说，爬虫不可或缺；对舆情公司来说，爬虫是基础；对 NLP来说，爬虫可以获取语料；对初创公司来说，爬虫可以获取初始内容。但是爬虫技术纷繁复杂，不同类型的抓取场景会运用到不同的技术。例如，简单的静态页面可以用 HTTP 请求＋HTML 解析器直接搞定；一个动态页面需要用 Puppeteer 或 Selenium等自动化测试
转载
2024-01-10 22:53:29
124阅读
什么是爬虫：是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。 采用python作为爬虫的优点：大量第三方库，开发效率高，代码少，应用性广泛 网络爬虫的基本工作流程如下： 1.首先选取一部分精心挑选的种子URL； 2.将这些URL放入待抓取
