刚开始学习Python，不愿意看基础，记忆不好，那些语法记不住，直接上个项目，这样比较深刻刚好公司有个情况要查企业的信息，就想做个爬虫吧，有验证码的不愿意搞，那是个老大难问题，就选择了天眼查过程都略了，直接写个结果吧，总结出来的步骤如下：一、天眼查最大的障碍在于字体问题，这个网上都有介绍，大概意思就是说，在网页显示出来的某些字符，是天眼查自己的字体文件处理的。比如汉字 坐 的utf-8
转载
2023-07-05 17:42:16
523阅读
关于某租房网站数据加密的分析aHR0cHM6Ly93d3cubWFvbWFvenUuY29tLw==抓包分析先看看这个网站的首页数据 可以看到首页的 html 是压缩的，但是格式化之后没有看到需要的首页数据。过滤 xhr 请求看到一个 index.json的请求可以看到这个请求的请求参数以及返回值都是密文 返回的结果是一串密文，所以只有定位这个请求的返回值的解密代码，才可以拿到这个数据。加
前一两年抓过某工商信息网站，几三周时间大约抓了过千万多万张页面。那时由于公司没啥经费，报销又拖得很久，不想花钱在很多机器和带宽上，所以当时花了较多精力研究如何让一台爬虫机器达到抓取极限。本篇偏爬虫技术细节，先周知。爬虫这两年貌似成为了一项必备技能，无论是搞技术的，做产品的，数据分析的，金融的，初创公司做冷启动的，都想去抓点数据回来玩玩。这里面绝大多数一共都只抓几万或几十万条数据，这个数量级其实大可
# 项目方案：Python模拟登录并爬取天眼查信息
## 1. 项目背景
天眼查是一个提供企业信息查询的平台，通过其丰富的数据资源，用户可以获取企业的基本信息、股东、资产、诉讼等数据。因此，企业分析、市场调研等需要获取这些信息的场景日益增多。本项目旨在通过Python模拟登录天眼查，再爬取其企业信息，为用户提供便捷的查询功能。
## 2. 项目目标
本项目的主要目标为：
1. 使用Pyt
作者介绍王梅，女，西安工程大学电子信息学院，2022级研究生 研究方向：机器视觉与人工智能 王泽宇，男，西安工程大学电子信息学院，2022级研究生，张宏伟人工智能课题组 研究方向：机器视觉与人工智能 一. 阿里云OCR算法介绍1.1 API简介API（Application Programming Interface）API是应用程序接口，API可以被看作是两个软件系统之间的桥梁，它定义了一组规则
转载
2024-01-25 15:38:30
93阅读
目前快递查询接口有两种方式可以对接，一是和顺丰、圆通、中通、天天、韵达、德邦这些快递公司一一对接接口，二是和快递鸟这样第三方集成接口一次性对接多家常用快递。第一种耗费时间长，但是是直接和快递公司合作，第二种虽然是间接对接，但是对接简便，对后期的接口维护可以省很多时间和人力成本。 集成接口还有其他公司提供，有其他需要可以去找，快递鸟其实能满足电商
转载
2024-01-05 21:23:27
14阅读
问题描述： 问题是这样的，在调用第三方摄像机时，App出现ID号无效 的问题。问题的大概原因，是因为使用新型摄像机需要最新版的底层so 库，因为旧版so 库不扩展新型摄像机的使用。以下是在旧版App 上替换so 库，调试和测试时遇到的问题。1、运行项目时，出现的no non-static method 错误。 此错误提示的意思是，没有找到相关的非空静态方法。原因是，在Java 层没有找到和so 库
# 实现“天眼查 python”教程
## 1. 流程图
```mermaid
flowchart TD
A(开始)
B(安装依赖库)
C(登录天眼查)
D(搜索公司信息)
E(解析网页)
F(提取公司信息)
G(输出结果)
H(结束)
A --> B --> C --> D --> E --> F --> G -->
原创
2024-02-09 10:52:31
107阅读
# -*- coding:utf-8 -*-
# author: kevin
# CreateTime: 2018/8/16
# software-version: python 3.7
import time
from selenium import webdriver
from selenium.webdriver import Firefox
import os
class GetCo
转载
2023-06-21 16:14:05
898阅读
信息收集一、简介什么是信息搜集信息搜集也称踩点，信息搜集毋庸置疑就是尽可能的搜集目标的信息，包括端口信息、DNS信息、员工邮箱等等看似并不起眼的一些信息都算是信息搜集，这些看似微乎其微的信息，对于渗透测试而言就关乎到成功与否了。信息搜集的重要性信息搜集是渗透测试的最重要的阶段，占据整个渗透测试的60%，可见信息搜集的重要性。根据收集的有用信息，可以大大提高我们渗透测试的成功率。信息搜集的分类1、主
转载
2023-08-24 11:02:33
25阅读
# 用Python实现“天眼查”的步骤指南
## 一、项目概述
“天眼查”是一个提供企业信息查询的服务，我们可以利用Python的爬虫技术从网上获取相关企业信息。本文将带领你一步一步实现这个项目，包括准备环境、请求数据、解析数据和存储数据。
---
## 二、流程步骤
以下是实现“天眼查”所需的基本步骤：
| 步骤 | 描述
接口名称：企业诉讼信息查询接口接口名称：聚合数据接口地址：http://tianyancha.api.juhe.cn/services/v3/open/lawsuit支持格式：json请求方式：get请求示例：http://tianyancha.api.juhe.cn/services/v3/open/lawsuit?name=北京百度网讯科技有限公司&pageNum=1接口备注：根据企业
转载
2023-11-03 12:14:48
110阅读
1.作者介绍严松，男，西安工程大学电子信息学院，2022级研究生研究方向：机器人抓取检测电子邮件：2448052777@qq.com2.百度API实现logo商标识别接口介绍该请求用于检测和识别图片中的台标、品牌商标等logo信息。即对于输入的一张图片（可正常解码，且长宽比适宜），输出图片中logo的名称、位置和置信度。使用时，可直接调用logo识别-检索接口，支持识别超过2万类logo名称；当效
转载
2023-11-19 09:54:31
128阅读
应用性能稳定是良好用户体验中非常关键的一环，而现实情况却是应用崩溃、卡顿、加载缓慢、页面白屏等问题频频出现在用户的真实体验之中，成为影响业务表现的直接杀手。作为面向企业用户提供企业信息查询的工具，天眼查APP一直以来都非常关注良好的应用稳定性和性能体验。天眼查APP，是3亿用户都在用的商业查询平台。通过2.8亿社会实体信息，帮助用户全面了解公司状况、老板信用及资本关系，为各界人士提供丰富、全面、可
# 如何实现天眼查API调用和数据爬虫
本文将指导你如何使用Python调用天眼查API并实现数据爬虫。无论你是编程初学者，还是希望掌握网络爬虫技术的开发者，本文将为你提供一个清晰的步骤和具体的代码示例，帮助你实现这个项目。
## 一、项目流程
在开始之前，我们需要明确整个项目的步骤。下面是一张实现天眼查数据爬虫的流程表：
| 步骤 | 描述
声明：爬虫技术话题比较敏感，本文仅作技术交流，不得用作任何非法途径 用python实现一个简单的小爬虫，可以把你输入的文本作为关键字，向天眼查发起请求，得到返回的页面，然后清洗网页，得到数据，存储在本地。比如我最近有个需求，查询某市注册资本超过500w的教培公司名称、数量、地址。示例只做了简单的反爬，配置了一下headers参数，修改cookie参数即可使用。 这是代码运行效果使用前需要配置req
转载
2023-07-29 17:43:55
2535阅读
首先要注册一个账号密码，通过账号密码登录，并且滑块验证，自动输入搜索关键词，进行跳转翻页爬取数据，并保存到Excel文件中。代码运行时，滑块验证经常不通过，被吃掉，但是发现打包成exe运行没有这个问题，100%成功登录。如果大家知道这个问题麻烦请与我分享，谢谢！废话不多说直接上代码# coding=utf-8
from selenium import webdriver
import time
f
转载
2023-08-08 14:44:50
567阅读
@TOC天眼查、企查查APP的Authorized值和sign值破解思路记载天眼查APP已知条件1.爱加密壳子，sm4加密 2.检测了模拟器 3.脱壳拖出来的代码只有类名 4.把so拿出来也不能用，大概so里面进行过什么判断 5.抓不到包了骚操作： 1.app登陆后拿到的值，可以放在cookie里面，这样可以进行web抓取，就没有字体反爬的困扰了。 2.authorized这个值有效时长在5-10
转载
2023-10-24 07:03:35
24阅读
接着上面的。使用xpath提取信息，虽然python很多库，比如beautifulsoup，也有很多功能，比如查找节点，添加删除节点。但是个人感觉对爬虫来说，最重要的还是提取信息，当然，顺利的提取信息的前提是你得掌握好这些库的用法，不过有些功能确实一辈子也不会用到。对爬虫来说，就是提取文本，获取属性，这两个。还是打开页面，这里我直接读入本地的文件，知识为了简单起见。不在requests了。我们自己
转载
2024-02-20 07:37:34
74阅读
前言在有一些电影里面，特别是科幻高科技电影里面经常出现的一幕，获得某人的照片然后进行各种数据对比，然后找出这个人的个人信息：姓名、年龄、性别、工作等等。理论上：你可以建立一个你感兴趣的百万级的数据库，给你个照片 ，你就可以得到她是谁，哪里的，信息都可以知道，而且因为人与人之间的网状的关联，你甚至可以知道她喜欢的人是谁，男朋友长啥样子。相信我：一切都不是虚构的，你能做的更多！思路：一、数据收集，可以
转载
2023-10-21 09:02:55
149阅读
