一、背景介绍近期有需求需要抓取微信小程序中的数据分析，与一般的网页爬虫类似，主要目标是获取主要的URL地址进行数据爬取，而问题的关键在于如何获取移动端request请求后https加密的参数。本文从最初的抓包到获取URL、解析参数、数据分析及入库等，一步步进行微信小程序的数据爬取。此次爬取的目标是微信小程序“财神股票”中的已受理科创版公司名单数据，如下：注：抓包、分析、爬取等全过程几乎通用于微信小
转载
2023-06-29 15:15:25
157阅读
网络爬虫作为一种计算机技术就决定了它的中立性，爬虫本身在法律上并不被禁止，但是如果有一些别有用心的人，去使用爬虫做一些违法的事情，那就违法了。爬虫本无罪，有罪的是贪得无厌、险恶的人心。正如水果刀本身在法律生并不被禁止，但你用来杀人，就等着坐牢吧！尽管在过去 20 年间已经做出了诸多相关裁决，不过网络爬虫及其使用时法律所允许的内容仍然处于建设当中。如果被抓取的数据用于个人用途，且在合理使用版权法的情
转载
2023-05-31 09:43:36
255阅读
首先你要得到微信的数据库，具体的可以百度，网上是可以百度到方法的。这里简单说一下。 **1利用手机root后可以访问任何目录的功能获取到微信db。** **2、通过手机定制rom（一般是和厂商合作获取备份任何文件的接口（举例小米rom））。**获取到的微信db后可以破解微信的db（是加密过的，破解方法也是百度可百到的，这里不讲），破解后通过工具连接。附上下载链接微信是多库的，这里主要讲这个库 用工
转载
2023-11-03 11:17:04
37阅读
前文回顾 上一节介绍了怎么将信息写入json中，这一节讲怎么将爬取的信息写入MySQL数据库中。写入数据库中，其实只需要修改pipeline.py文件即可，凡是输出，都只需要修改pipeline文件即可。 打开pipeline文件，咱们上一节写入的内容如下：# -*- coding: utf-8 -*-
# Define your item pipelines here
#
# Don't fo
转载
2023-08-15 18:25:23
57阅读
最近通过对微信ipa包解压发现微信有使用WCDB这个开源库，搜索了一下了解到WCDB（WeChat Database）是一个高效、完整、易用的移动数据库框架，基于SQLCipher，支持iOS, macOS和Android。经过分析对比，个人感觉WCDB的优势还是比较突出的。下面我就从几个方面对FMDB，Realm，WCDB，CoreData进行比较分析。由于本人从事iOS开发，对于andro
转载
2023-12-21 11:48:39
443阅读
之前在Python爬虫实战(7)中曾爬取过万方，本篇博客的爬取解析过程和之前几乎完全一样，不同的是数据存储方式，之前是存储到文件中(csv,txt,json,excel等)，这次我们将提取的论文信息存储到MongoDB数据库中。首先我们打开万方首页http://www.wanfangdata.com.cn：在搜索框中输入关键词，选择期刊、学位或会议，点击搜论文，并可得到与关键词相关的期刊、学位或会
转载
2023-09-14 16:29:42
245阅读
案例1、python爬取网站Jpg图片 案例2、Python批量将ppt转换为pdf 案例3、python爬取歌曲评论
案例1 主要实现一个简单的爬虫，从一个百度贴吧页面下载图片。下载图片的步骤如下： 获取网页html文本内容；分析html中图片的html标签特征，用正则解析出所有的图片url链接列表；根据图片的url链接列表将图片下载到本地文件夹中。代码如下： import reques
转载
2023-09-25 16:01:52
167阅读
最近比较闲就随便瞎看，看到了防撤回就顺便跟着学着实现一下使用的是wxpy，安装方法pip install wxpy（我使用的是python2.7），这样实现起来比较快，反正也只是练手首现看了两个别人实现的代码，然后看了看wxpy的文档：http://wxpy.readthedocs.io/zh/latest/utils.html（萌新，顺便锻炼下看文档）我实现的代码：import wxpy
i
转载
2023-11-21 15:22:48
2阅读
## 完整指南：如何使用 Python 连接并操作微信云数据库
在这篇文章中，我将引导你实现“Python 微信云数据库”的项目。即使你是刚入行的小白，也能顺利完成这个任务。我们将分步进行，每一步都详细解释，并提供相应的代码示例。
### 整体流程
首先，让我们看看实现的整体流程。以下是实现微信云数据库的主要步骤：
| 步骤 | 描述 |
|------|
在时代快速发展的今天，微信已是我们最常使用的社交软件了，不管是日常生活还是工作需要，我们都与微信密不可分。每次闲来无事翻阅以往与家人、朋友之间的聊天信息，都感觉生活是如此的幸福，但往往由于清理手机内存或是其他原因误删了亲朋好友的微信聊天记录，那时的你是不“好难过”又或是“很烦，一天干啥都没心情”。其实也不必太过沮丧，误删后想要恢复微信聊天记录还是有办法的，让我们一起来学习一下吧。 技巧一
转载
2024-01-09 14:19:24
75阅读
微信移动端数据库组件WCDB系列（一）-iOS基础篇原创： WeMobileDev 2017-05-24 前言WCDB（WeChat DataBase）是微信官方的移动端数据库组件，致力于提供一个高效、易用、完整的移动端存储方案。它包含三个模块：WCDB-iOS/MacWCDB-Android数据库损坏修复工具WCDBRepair目前正在筹备开源中。背景对于iOS开发者来说，数据库的技术选型一
转载
2023-12-04 19:57:57
250阅读
说到数据库加密，目前最好且唯一的方案就是SqlCipher对sqlite3整体加密，微信也用的它。开源，且支持很多平台。单就Android来说，集成不算太麻烦，1个jar包，3个so库，1个zip。jar包中基本上重写了android.database.sqlite包中所有的类，全部替换成了net.sqlcipher.sqlite包。why？因为sqlcipher加密后，需要密码才能打开该数据库。
转载
2023-11-08 07:15:29
413阅读
图解说明：微信大量数据存储在本地比如：联系人（包含好友地区、电话、通过那种方式添加）、聊天内容（图片、文字、语音、视频、位置、名片、其他app分享链接）、聊天室、收藏信息、朋友圈内容（包含好友详情、点赞、评论）；摇一摇、附近人、最近联系人、好友请求、图片存放路径；微信内置的表情包；如联系人： 聊天信息 其他表 工具：ES文件浏览器（在各大app市场上
转载
2023-09-14 17:01:28
1483阅读
一、简介前面讲解的功能开发都是简单的调用API 完成的，没有对数据库进行操作。在接下来的高级功能开发中，需要使用到数据库，所以在这一篇中，将对MySQL 数据库的操作做一下简单的介绍，以供读者参考。二、思路分析百度开发者中心提供了强大的云数据库（包括MySQL, MongoDB, Redis），在这一节教程中，我们将对大家比较熟悉的MySQL 数据库进行操作演示，实现微信与数据库的交互
转载
2023-12-27 20:16:48
134阅读
SQLite 是一个被大家低估的数据库，但有些人认为它是一个不适合生产环境使用的玩具数据库。事实上，SQLite 是一个非常可靠的数据库，它可以处理 TB 级的数据，但它没有网络层。接下来，本文将与大家共同探讨 SQLite 在过去一年中最新的 SQL 功能。SQLite “只是”一个库，它不是传统意义上的服务器。因此，在某些场合下，它确实不合适。但是，在相当多的其他场合，它却是最合适的选择。SQ
转载
2024-08-15 10:58:15
38阅读
一、爬取微信好友信息，返回性别比例和所在地排行 # -*- coding: utf-8 -*-
#导入模块
from wxpy import *
#初始化微信机器人，以缓存模式登录
robot = Bot(cache_path=True)
#获取好友、群、公众号信息
robot.chats()
#获取好友的统计信息
Friends = robot.friends()
print(
转载
2023-06-30 12:10:23
472阅读
一.场景简介1.场景描述：通过搜狗采集微信公众号的文章2.入口网址：https://weixin.sogou.com/weixin?type=1&s_from=input&query=%E5%89%8D%E5%97%85&ie=utf8&sug=n&sug_type= 3.采集内容：采集搜狗微信平台中，关键词搜索出来的微信公众号文章的标题、正文、作者、公众号
通过python，连接到微信账号，收集好友性别、城市、个性签名等公开信息，使用 Python 进行数据统计与分析，得到你专属的朋友圈的分析报告！github地主：https://github.com/KaguraTyan/wechat_analysis_wxpy1、准备工作1.1 环境配置编译环境：Windows10编程语言：Python3.6编译器IDE：Pycharm浏览器工具：Chrome浏
一、安装库 pip install psutil pip install pywinauto二、代码import psutil #psutil 用于获取微信电脑版的进程信息
import pywinauto#pywinauto 用于自动化控制微信电脑版
from pywinauto.application import Application
PID = 0
print("获取微信进程id"
转载
2023-06-30 09:55:07
421阅读
数据库，是一个项目的灵魂，数据库设计得合理，接下来的开发工作也会变得简捷有序。而说到数据库的设计，说它难吧，可不就是设计一张张表嘛，可说它简单吧，每一张表里面放一些什么东西？表与表之间的联系又该是怎么样？这些都是要考虑的东西，每一个改动都决定着后面工作的难易。于是，我们的第一个项目的数据库，就是在这样一种大致一想不就这么回事，可真正做起来又觉得事情好像没那么简单的每时每刻都充满着工作激情的讨（
转载
2024-01-02 19:33:07
231阅读
