想要从企查查爬取企业信息，如果没有登录直接检索，很多信息都被隐藏了，如图：爬虫想要登录，如果与网站上的验证码正面硬刚，可能会比较麻烦，首先要拖动滑块：然后还要输入验证码：可能有些手段能够解决，但是今天我们来讲一个更加简单的方法。思想：selenium库+chrome插件可以模拟人为操作浏览器的过程，是否能够在打开某个网页后让程序休眠一会，人为进行一些操作后，再由程序继续执行相应的操作呢？答案是：可
转载
2023-09-25 18:52:26
1265阅读
爱站SEO工具-seoer的瑞士军刀！这个工具主要是为了方便SEOer查询一些网站的问题，监控关键词排名收录等等，新手老手都可以用的工具，更快的让SEOer上手。 爱站seo工具 相信有很多SEOer都使用过爱站SEO工具包，也有很多新入行的小伙伴可能还不是很了解这是什么神器，有什么功能，能帮助他解决什么问题，今天时泽小编就给大家详细整理一下。爱站SEO工具包是爱站网开发出来的一款SEO
转载
2024-10-26 13:02:13
39阅读
目录1.爬虫技术概述1.1网络爬虫1.2传统爬虫1.3聚焦爬虫1.3.1相对于通用网络爬虫，聚焦爬虫还需要解决的三个主要问题2.爬虫原理2.1 网络爬虫原理2.2 网络爬虫系统的工作原理2.2.1网络爬虫的基本工作流程如下：2.3 抓取策略2.3.1 深度优先遍历策略2.3.2 宽度优先遍历策略2.3.3 反向链接数策略2.3.4 Partial PageRank策略2.3.5 OPIC策略策略
# Python爬取爱企查专利
## 1. 流程概述
在本文中，我将向你介绍如何使用Python爬取爱企查网站的专利信息。爱企查是一个提供企业信用、工商信息以及专利信息的网站。我们将使用Python的requests和BeautifulSoup库来实现爬取。
以下是整个流程的概述：
步骤 | 描述
--- | ---
1 | 发送请求并获得网页内容
2 | 解析网页内容
3 | 提取所需信
原创
2023-10-11 11:13:05
522阅读
# Python爬取爱企查信息的科普文章
在当今信息化的社会中，数据是非常宝贵的资源。尤其是在商业领域，企业的基本信息如注册资本、经营状态、股东信息等，都可以通过网络获取。本文将介绍如何使用Python爬取爱企查（
## 1. 什么是爬虫
爬虫是用于自动访问互联网并从中提取信息的脚本或程序。简单来说，网络爬虫的作用就是模拟人工浏览网页，通过编程的方式抓取网页上的数据。Python是一种适合爬
目录说明企查查网页构成方式代码与详解 说明本人不是什么爬虫大佬，只是最近在做一个项目的时候需要根据企业的名称把企业的信息爬取下来，例如营业执照、工商注册号等。在网上找了很多的信息与资源，都不是很符合我们的需求，是一种比较低频的爬虫需求，最开始是在企查查上面做的爬虫，但是这个平台经常需要登录，造成我们经常访问失败（其实也是楼主不会在爬虫的时候绕过登录?）。 后来就在百度的爱企查平台进行爬虫，毕竟大
转载
2023-09-05 16:00:48
676阅读
# -*- coding: utf-8 -*-
# 爬虫分析
from bs4 import BeautifulSoup
from lxml import etree
from selenium import webdriver
import time
from pymongo import MongoClient
class WorkSpider:
def __init__(sel
转载
2024-06-28 21:42:10
42阅读
当下互联网行业的兴起，越来越多的企业喜欢使用同行数据做对比来提升自己不足。那么企业是如何获取这些海量公开数据呢？其实很简单，大多数企业都是利用爬虫技术来获取资源，那么学习爬虫技术需要有哪些基础知识储备 ？下面的值得大家看一看。Python非常适合用来开发网页爬虫，理由如下：1、抓取网页本身的接口相比与其他静态编程语言，如java，c#，c++，python抓取网页文档的接口更简洁；相比其他动态脚本
转载
2024-07-11 10:34:06
290阅读
淘宝的页面也是通过Ajax来抓取相关数据，但是参数比较复杂，甚至包含加密秘钥。使用selenium来模拟浏览器操作，抓取淘宝商品信息，即可做到可见即可爬。1.准备工作 用selenium抓取淘宝商品，并用pyquery解析得到商品的图片，名称，价格，购买人数，店铺名称和店铺所在位置。 即需要安装selenium，pyquery，以及
转载
2024-09-25 15:18:13
176阅读
爬虫程序中怎么加入动态代理
相信很多人都用过代码写过不同的爬虫程序吧，来获取互联网上自己需要的信息，这比自己手动的去一个一个复制来的容易。但是，居然是用程序来获取某个网站里面的信息，可以知道，在很短的时间内，这个程序会访问某个网站很多次，很多网站都会对这样的情况进行屏蔽；比如，隔几分钟才能正常访问。这对于我们的爬虫程序来说是个大麻烦。我们知道，当我们访问一个网站的时候，对方服务器是会
selenium自动化爬取信息获取cookie爬取信息文件操作xlsx文件系列csv文件系列xls文件系列html节点获取正则提取其他知识异常处理模块loginexcept_solve保存信息保存图片保存景区基本信息保存景区评论依次爬取景点及获取信息html节点依次获取景点获取景区基本信息获取景区评论本次爬取所用的源代码 在这里只是一个示例，教我自己总结的方法 获取cookie首先，自动化肯定
转载
2023-09-28 21:07:50
313阅读
产品需求企查查导出的Excel文件是这样的 客户的机器人软件需要导入的模板是这样的 简单说就是要做个小工具将企查查导出的Excel通过pandas分析整理后按照客户给出的模板表头生成新的Excel文件。效果图成品效果图PAGE Gui效果图因为底部的statusbar无法通过gui设置，需要在生成的python中加入如下代码：statusbar = tk.Label(root, text="技术支
转载
2023-11-21 12:41:48
401阅读
# 教你如何用 Python 爬取爱企查企业信息
在这个数据驱动的时代，爬虫技术变得越来越重要。今天，我将带你了解如何通过 Python 爬取爱企查上的企业信息。以下是整个流程的概述。
## 爬取流程
| 步骤 | 内容描述 |
|-------------|----------------------------------
原创
2024-10-27 06:35:41
1209阅读
使用BeautifulSoup 根据公司名称来爬取企查查网站中该公司的详细信息本篇文章主要参考了BeautifulSoup 根据输入的公司名称来爬取公司的详细信息 所提供的代码，后续根据自己的需求对代码进行了修改，在此感谢该作者。 因为工作需要一些企业的部分信息，手动又慢又累人，所以开始突击python。 直接附上源码吧import traceback
from bs4 import Beauti
转载
2023-09-30 09:54:49
2342阅读
刚开始学习Python，不愿意看基础，记忆不好，那些语法记不住，直接上个项目，这样比较深刻刚好公司有个情况要查企业的信息，就想做个爬虫吧，有验证码的不愿意搞，那是个老大难问题，就选择了天眼查过程都略了，直接写个结果吧，总结出来的步骤如下：一、天眼查最大的障碍在于字体问题，这个网上都有介绍，大概意思就是说，在网页显示出来的某些字符，是天眼查自己的字体文件处理的。比如汉字 坐 的utf-8
转载
2023-07-05 17:42:16
523阅读
# 用Selenium爬取爱企查：一步一步教你实现
随着信息技术的发展，数据爬虫在获取网络信息中的应用越来越广泛。本文将以“Python用Selenium爬爱企查”为例，介绍如何用Selenium库抓取爱企查网站的数据，并可视化分析。
## 什么是Selenium？
Selenium是一个功能强大的自动化测试框架，主要用来自动化Web应用程序的测试。它支持多种浏览器（如Chrome、Fire
原创
2024-10-22 03:41:19
936阅读
# 使用Java爬取爱企查企业信息
在信息时代，很多人希望通过网络获取各种企业信息。爱企查作为一个汇集了大量企业信息的在线平台，提供了便捷的查询服务。本文将介绍如何用Java爬取爱企查的企业信息，并给出代码示例。
## 什么是网络爬虫？
网络爬虫是一种自动访问网络并提取数据的程序。对于需要获取大量信息的场景，它的使用变得尤为重要。使用Java开发爬虫可以通过多种库实现，例如Apache Ht
原创
2024-10-29 06:32:25
161阅读
# 爬取爱企查数据的Java实现指南
## 1. 指南概述
欢迎来到爬虫的世界！在本指南中，我将教会你如何使用Java编写爬虫，从爱企查网站上获取数据。首先，我们需要明确整个流程，然后逐步展开每个步骤的具体实现。
## 2. 流程图
```mermaid
erDiagram
爬取数据 --> 解析数据
解析数据 --> 存储数据
```
## 3. 实现步骤
下面是详细的实现
原创
2024-03-10 05:36:08
130阅读
# 爬取爱企查的企业数据
在实际工作中，有时我们需要获取特定企业的相关信息，比如注册资本、法定代表人等。而爱企查是一家提供企业信息查询服务的网站，我们可以通过爬虫技术来获取这些数据。本文将介绍如何使用Java编写爬虫程序来爬取爱企查的企业数据。
## 分析目标网站
首先，我们需要分析目标网站的结构，找到我们需要的信息。以爱企查为例，我们可以点击进入某个企业的详情页面，获取该企业的相关信息。我
原创
2024-06-01 04:14:25
295阅读
很多人需要从网站采集一些数据填写Word模板，手工操作费时费力还容易出错，所以我给朋友写了这个工具。本程序只支持Docx格式的模板文件。本程序不是爬虫，不是自动采集工具，不能自动登录网站。需要自己在WebBrowser窗口里面手工登录，并找到需要的数据页面，然后点击程序按钮进行采集，所以是个半自动的网页数据填充Docx工具。工作原理：网页的每个元素，都可以表示成为XPath语句，所以我们可以读取浏
转载
2024-08-09 14:19:51
85阅读
