urllib库中常用函数的使用#!/usr/bin/python3# -*- coding:utf-8 -*-# @Time : 2018-11-10 21:25# @Author : Manu# @Site : # @File : urllib_lib.py# @Software: PyCharmfrom urllib import requestfrom...
原创
2021-09-01 14:51:47
149阅读
本文目录
前言
爬虫前奏
什么是网络爬虫？
网络请求
urlopen函数用法
urlretrieve函数用法
参数解码和解码函数
`urlparse`和`urlsplit`
Request类
ProxyHandler处理器（代理设置）
Cookie模拟登陆
爬虫自动登录访问授权页面
前言
继续python的学习，这次学习爬虫，听说比较好玩，我也学学。
爬虫前奏
什么是网络爬虫？
原创
2021-09-14 15:05:02
151阅读
如果网页的内容是ajax异步加载的，恰好接口又是加密的，为了快速实现爬取数据，首先考虑到的是selenium，但是selenium还要配置谷歌浏览器，谷歌驱动等等，如果要部署或者迁移到其他设备上再去执行，环境配置就是必不可少的，遇见问题，可能半个小时就过去了，如果用pyppeteer完全不用考虑环境配置的问题，程序会自动加载所需要的环境，配合asyncio使用之后，爬取速度起飞，毕竟异步爬取秒同步
Okhttp：Square 公司开源的 OkHttp 是一个专注于连接效率的 HTTP 客户端。OkHttp 提供了对 HTTP/2 和 SPDY 的支持，并提供了连接池，GZIP 压缩和 HTTP 响应缓存功能。优点：支持http请求，https请求、支持同步异步。支持文件下载、加载图片、基于Http的文件上传。使用的是HttpURLConnection,不要担心android版本的变换。（至少
本篇文章接上篇。2. Okhttp3 自吐抓包我们将一次请求的request大致结构罗列如下。•请求方法 GET、POST、PUT、DELETE、HEAD 等•URL•使用的协议版本 HTTP/1/1.1/2•多个请求 Header•回车、换行符•请求 Body 数据如果通过Hook的方式实现另类的“抓包”，我们的需求是保留URL，请求Body，以及headers。至于协议版本等可有可无。目前国内
转载
2023-06-27 21:44:15
1498阅读
最近我发布了一个library，我认为它是安卓上处理网络的最简方式。以下是Fast Android Networking优于它库的几个方面：每个请求都可以轻易的定制OkHttpClient－比如超时等。因为它使用了OkHttpClient和Okio，所以速度很快支持RxJava—点击这里。支持把JSON解析成java对象（同时支持Jackson解析）。可以得到任何请求的详细数据分析。你可以知道发送
Android studio --填坑 之网络请求和访问无响应（Webview,Okhttp等等一系列需要网络访问的操作）（最近在使用Android Studio ，真的环境导致的报错或者得不到预期结果，会浪费大量的时间，之前并不打算写博客，但是最近的这个不报错的"bug"，是真的恶心到我了，为了不让大家和我一样，我决定帮助千千万万个和我一样迷茫的人。）先要说明的是，你一定已经在AndroidMa
转载
2023-06-27 21:41:32
193阅读
Android网络请求(3) 网络请求框架OkHttp本节我们来讲解OkHtpp网络请求框架什么是网络请求框架在我的理解中，网络请求框架是为了方便我们更加便捷规范的进行网络请求所建的类，我们通过调用该类中的方法可以快速地进行网络请求，切帮我们封装好了一些数据的处理方法，方便我们用更少的代码去做更多的事。Android常见的网络请求框架在android开发中，除了java原生的HttpURLConn
转载
2023-07-03 11:25:32
421阅读
今天给大家简单的封装一个现在比较流行的网络请求框架第一步是导入我们所需要的依赖还需要在android {}闭包下添加一个 buildFeatures{
viewBinding true
} implementation "io.reactivex.rxjava2:rxjava:2.2.6" // 必要rxjava依赖
implementation "io.reactivex.rxj
【安卓开发系列 -- APP 开源框架】网络请求框架 OKHTTP -- 缓存策略【1】HTTP的缓存简介HTTP带缓存的请求处理流程HTTP缓存的类别强制缓存，需要服务端参与判断是否继续使用缓存，当客户端第一次请求数据时，服务端返回缓存的过期时间（Expires与Cache-Control），没有过期就可以继续使用缓存，否则不使用，无需再向服务端询问；强制缓存的两个标识Expires，其值为服务
自己学习android也有一段时间了，在实际开发中，频繁的接触网络请求，而网络请求的方式很多，最常见的那么几个也就那么几个。本篇文章对常见的网络请求库进行一个总结。HttpUrlConnection最开始学android的时候用的网络请求是HttpUrlConnection，当时很多东西还不知道，但是在android 2.2及以下版本中HttpUrlConnection存在着一些bug，所以建议在
前言目前大量流行库都以 OkHttp 作为底层网络请求框架或提供支持，比如：Retrofit、Glide、Fresco、Moshi、Picasso 等。 常用的状态码：100~199：指示信息，表示请求已接收，继续处理200~299：请求成功，表示请求已被成功接收、理解300~399：重定向，要完成请求必须进行更进一步的操作400~499：客户端错误，请求有语法错误或请求无法实现500
原创
2022-06-17 11:47:53
992阅读
Android 中Volley二次封装并实现网络请求缓存Android目前很多同学使用Volley请求网络数据，但是Volley没有对请求过得数据进行缓存，因此需要我们自己手动缓存。 一下就是我的一种思路，仅供参考具体使用方法为：HashMap params = new HashMap<>();
params.put("id", "1");
params.put("user", "mc
转载
2023-07-16 16:08:25
136阅读
前言在跟大佬学习的时候发现另一种抓包方式，采用frida hook socket 字节流即可，哪里还需要管什么证书绑定，双向认证？HTTP抓包原理样本案例class MainActivity : AppCompatActivity() {
override fun onCreate(savedInstanceState: Bundle?) {
super.onCreate(
转载
2023-09-05 14:15:22
437阅读
android网络应用程序开发中，经常要判断网络连接是否可用，因此经常有必要监听网络状态的变化。android的网络状态监听可以用BroadcastReceiver来接收网络状态改变的广播，具体实现如下：BroadcastReceiver mNetworkStateReceiver = new BroadcastReceiver() {
转载
2023-06-13 19:39:40
244阅读
网络请求通过传递到后台，如果不对数据做加密处理的话，很容易会被抓包，此时，app就是很不安全的，被截取到接口地址和参数后容易被。今天我要分享的就是如何提高网络接口安全性的解决方案。之前做的项目是采取直接在java层对参数进行加密，加密方式也有很多,RSA加密，MD5加密，AES加密，DES加密，Base64加密等等，具体介绍可以参考这里 Android中的加密方法
转载
2023-06-28 13:59:55
10000+阅读
文章目录网络请求图片加载数据库异步分发IOC数据解析权限 网络请求RetrofitRetrofit是一个网络加载框架，底层是使用OKHttp封装实现的，可以理解为OkHttp的加强版。网络请求的工作是靠OkHttp完成，而 Retrofit 仅负责网络请求接口的封装。 Retrofit的一个特点是包含了特别多注解，方便简化你的代码量。并且还支持很多的开源库(如：Retrofit + RxJava
概述：此篇为Android网络请求框架第三弹，底层请求用的是okhttp 基本机构来自包建强老师的app研发录，在研发录中，包老师使用的是HttpClient，但是由于google在Android4.0之后删除了HttpClient的APi，所以在包老师的基础，加以修改，使用okHttp作为请求方式。建议没读过包老师APP研发录的同学，先去研究一下此书，对我的帮助还是很大的。一 本框架的核心内容就
转载
2023-08-29 16:10:47
9阅读
下面是我使用过的网络框架，每种框架都有自己的优点缺点，要更具自身的应用场景选择。测试使用一个ip地址查询接口进行测试：http://ip.tianqiapi.com?ip=xxx.xxx.xxx.xxx。 在Android中请求网络时要注意几点问题： 1.权限 :<uses-permission android:name="android.permission.INTERNET"/>。
Retrofit2.0使用简介一、前提了解——OkHttp网络请求库 在没有OkHttp等其他网络请求库的时候，网络请求是通过HttpURLConnection或者HttpClient来实现的，。 HttpClient功能强大并且API数量众多，但是正由于庞大的API数量使得很难在不破坏兼容性的情况下对它进行升级和扩展。 HttpURLConnection是一种多用途、轻量级的HTTP客户端，提供
转载
2023-08-09 17:36:51
142阅读
