<?php
namespace app\api\controller;
class QiChaCha extends Base
{
private $key = 'key';
private $SecretKey = 'value';
function tocurl($url, $headers)
{
//初始化
$cur
转载
2023-05-29 15:55:52
897阅读
2021SC@SDUSC目录一、摘要二、项目介绍1.爬虫目的 2.爬虫思路3.结果演示 三、项目分析 1.项目文件概览 2.项目核心文件分析四、总结 一、摘要本篇博客是第三个项目“QiChaCha”的第一篇博客，本篇博客主要是对该项目的总体进行概述介绍，并且明确该项目里需要分析的核心代码部分。二、项目介绍1.爬虫目的 本项目爬
转载
2024-05-08 09:03:33
140阅读
写在前面：本文所介绍的企查查爬虫代码需要用到cookie，且cookie所对应的账号需要为vip或以上等级具有高级搜索和批量查询的功能，无此功能的账号暂不支持；本文所介绍的是在其他人分析了前端headers哈希加密后的基础上的进一步补充和完善，并会提供完整的请求代码；本文所提供的逻辑和代码仅供学习交流，严禁用于商业或非法用途，否则由此产生的一切后果均与作者无关。一. headers前端哈希逆向加密
转载
2023-11-22 16:43:41
75阅读
1、今天主管提了个需求，需要查询上海市公布一批高新技术企业的基本信息，名单大概有2890个，名单地址 http://stcsm.sh.gov.cn/gk/tzgq/gqgg/bsgqgg/jtgq/153798.htm2、下载打开一看，pdf格式是这样子的，112页，这也不能直接用啊，3、打开Chrome,搜索pdf 转 excel，成功将pdf 文件转换成了
企查查登陆验证使用的阿里系的滑动验证码，主要检查的是 window.navigator.webdriver 内置属性、鼠标在页面中的事件、浏览器可见性中的宽高（canvas绘制）、滑动过程中坐标轴的变化等信息。
使用puppeteer能很好的模拟页面中的事件，但是在进行测试企查查登陆时，需要浏览器的可见性，而且与分辨率也有一定的关系，需要设置浏览器和系统的分辨率为100%，否则会有问题，比如点击滑
转载
2023-06-29 23:36:05
576阅读
# 利用 Python 爬虫获取企查查数据
在现代社会，数据对于企业和个人的重要性不言而喻。特别是在进行商业决策时，拥有全面准确的公司信息可以帮助我们做出明智的判断。企查查作为一个提供公司信息查询的平台，深受创业者和投资者的喜爱。本文将介绍如何使用 Python 爬虫技术获取企查查的数据，并提供一段代码示例。
## 爬虫基础
网络爬虫是自动访问互联网并提取信息的程序。在开始之前，我们需要确保
多朋友可能会问,为什么要学Python, 就算学会了Python 可以用来干什么呢? 一般都会首先想到爬虫.爬虫不是说的那种虫子哦, 爬虫其实就是 类似于百度蜘蛛,谷歌蜘蛛一样的. 会自动的爬取网页上的内容一般学Python可以往很多方便发展哦:1,比如可以做web应用开发在国内，豆瓣一开始就使用Python作为web开发基础语言，知乎的整个架构也是基于Python语言，这使得web开发这块在国内
转载
2023-10-27 19:03:50
322阅读
WEB API接口接口介绍接口概念：前台与后台进行信息交互的媒介 - url连接https://api.map.baidu.com/place/v2/search接口组成：url链接 - 长得像返回数据的url链接请求方式 - get(查)、post(增)、put(整体改)、patch(局部改)、delete(删)请求参数 - 拼接参数、数据包参数(urlencoded、form-data、jso
转载
2024-02-10 20:28:05
424阅读
# Python爬虫 企查查
在数据获取和分析的过程中，爬虫是一种非常常用的工具。企查查是一家提供企业信息查询服务的网站，我们可以利用Python编写爬虫来从企查查上获取企业信息。本文将介绍如何使用Python爬虫来爬取企查查上的企业信息，并给出相应的代码示例。
## 企查查网站介绍
企查查是一家提供企业信息查询服务的网站，用户可以通过该网站查询企业的基本信息、股东信息、企业关系图等。企查查
原创
2024-03-01 04:32:23
1383阅读
企查查参数问题访问详情页headers里面有一串加密参数，该模块下的请求为 ajax请求，并且每次请求都会带上一个疑似身份验证的请求头，长这个样子如图解决办法首先搜索网页 html 源码，无法得知该信息从何来，前面的请求也没有带，基本上可以断定是 js 动态生成并带上请求头，和后端交互的。既然确定了，就开始找找是哪段 js 代码。查看 html 代码，该页面只加载了几个 js 文件：不出意外的话，
转载
2024-03-12 22:49:25
55阅读
Python入门，爬虫训练——枪械查询
转载
2023-06-19 10:56:39
374阅读
# Python爬虫：企查查登录实战
在如今的信息时代，网络爬虫技术变得越来越重要。无论是数据分析、市场调研还是信息获取，爬虫都能高效地帮助我们获取想要的信息。本文将以企查查为例，介绍如何使用Python实现自动化登录，并提取一些基本的企业信息。
## 什么是企查查？
企查查是一款专注于企业信用信息查询的平台，提供企业的工商信息、发展动态、司法风险等数据。很多人希望能够通过Python爬虫技
因为制作B2b网站需要，需要入库企业信息数据。所以目光锁定企查查数据，废话不多说，开干！ #-*- coding-8 -*-
import requests
import lxml
import sys
from bs4 import BeautifulSoup
import xlwt
import time
import urllib
def
转载
2023-05-28 18:11:29
765阅读
背景这一次的通用爬虫跟以往默认的spider不一样，它的爬取可以通过正则将范围扩大，而且它也不注重那么细的内容，能爬尽量爬、不能爬就略过的思维，比较有意思。独特之处它的独特性主要表现在这几个地方：模板与默认爬虫模板不一样，在创建默认工程时用的命令是 scrapi genspider gxrc www.gxrc.com，而通用爬虫在创建工程时用的命令则是 scrapi genspider -t
# Java爬虫企查查：获取企业信息的利器
在现代社会，数据已经成为一种重要的资源，企业信息的获取和分析显得尤为重要。企查查作为一个提供企业信用信息的平台，吸引了众多开发者的关注。本文将通过Java爬虫技术来获取企查查上的企业信息，并给出具体的代码示例。同时，我们将给出一些状态图与甘特图，以帮助大家更好地理解整个爬虫的流程。
## 什么是爬虫？
网络爬虫（Web Crawler）是一种自动访
原创
2024-08-25 07:05:21
57阅读
# Java企查查爬虫实现指南
## 1. 简介
本文将向新手开发者介绍如何实现Java企查查爬虫。企查查是一个提供企业信息查询的网站，我们将使用Java编写爬虫程序，从企查查网站上获取公司信息并保存到本地。
## 2. 实现流程
下表展示了整个实现过程的步骤。
| 步骤 | 描述 |
| --- | --- |
| 1 | 导入所需的依赖 |
| 2 | 解析用户输入的公司名称 |
| 3
原创
2023-11-07 13:32:22
145阅读
全网采集工具（msray）-百度搜索引擎进行全网采集Msray-plus，是一款采用GO语言开发的企业级综合性爬虫/采集软件。支持：搜索引擎结果采集、域名采集、URL采集、网址采集、全网域名采集、CMS采集、联系信息采集支持亿级数据存储、导入、重复判断等。无需使用复杂的命令，提供本地WEB管理后台对软件进行相关操作，功能强大且简单易上手!1：可从国内外多个搜索引擎批量采集用户导入的关键词对应的搜索
```mermaid
journey
title 开发企查查爬虫的过程
section 确定目标
开发者->小白: 确定要实现的目标是爬取企查查网站上的数据
section 学习爬虫技术
开发者->小白: 学习如何使用Java实现爬虫程序
小白->开发者: 学习完毕，准备开始实践
section 编写爬虫程序
原创
2024-04-20 06:28:30
201阅读
User-agent:msnbotVisit-time:0855-1700说明:指定每天允许BING蜘蛛采集的时间段，格式为mmss-mmss，例如0800-1700，即限制BING蜘蛛08:00-17:00访问。User-agent:msnbotRequest-rate:1/5 0900-1045说明：限制BING蜘蛛在允许的时间段内(0900-1045)隔多少秒采集一次网页，例如1/5 090
# Python爬虫爬取企查查
## 概述
在本文中，我将向你介绍如何使用Python编写一个简单的爬虫来爬取企查查网站上的数据。企查查是一个提供企业信息查询服务的网站，通过爬取它的数据，我们可以获取到各种企业的基本信息、股东信息、法定代表人信息等等。本文将分为以下几个部分：
1. 项目准备：介绍所需的开发环境和第三方库
2. 爬虫流程：使用流程图展示整个爬虫的步骤
3. 代码实现：逐步编写代
原创
2023-09-30 06:17:02
1206阅读
