https://gitee.com/mail_osc/templatespider
原创
2021-07-20 11:54:40
310阅读
爬取数据-urllib库一. 怎样扒网页呢？其实就是根据URL来获取它的网页信息，虽然我们在浏览器中看到的是一幅幅优美的画面，但是其实是由浏览器解释才呈现出来的，实质它是一段HTML代码，加 JS、CSS，如果把网页比作一个人，那么HTML便是他的骨架，JS便是他的肌肉，CSS便是它的衣服。所以最重要的部分是存在于HTML中的，下面我们就写个例子来扒一个网页下来from urllib.reques
1:由于天气apk接口不稳定所以经常获取不到信息。于是就动手写一个扒取天气网站上的数据然后做成json，apk直接调用服务器上扒取的数据增加稳定性。2：项目主要是用servlet然后正则表达式来提取网站信息。3:我觉得比较难得地方就是如何写正确的正则来提取出需要的信息，以下记录每个接口中需要的正则3.1获取页面省份的编号//page为需要提取信息的源信息public static Hashtabl
原创
2014-11-14 10:56:35
743阅读
小北觅 Java笔记虾前言：本篇文章是继JDK动态代理超详细源码分析之后的，因为RPC是基于动态代理的，想必大家都听过RPC，但是可能并没有针对的去了解过，因此本文打算以如下结构讲一讲RPC：①尽量浅显易懂的描述RPC的工作原理②分析一个RPC的Demo。一、走近RPC1.1 什么是RPCRPC是远程程序调用的缩写，即远程过程调用，意思是可以在一台机器上调用远程的服务。在非分布式环境下，我们的程
原创
2021-05-03 21:34:35
1436阅读
ELF文件（Executable Linkable Format）是一种文件存储格式。Linux下的目标文件和可执行文件都按照该格式进行存储，有必要做个总结。1. 链接举例2. ELF文件类型2.1 可重定位目标文件（.o文件）2.2 可执行目标文件（a.out文件）2.3 共享对象文件（.so文件）3. ELF文件作用4. ELF文件格式4.1 从编译和链接角度看ELF文件（可重定位目标文件）4
原创
2021-04-25 16:05:58
1242阅读
因为业务的需求，需要去百度图片搜索中搜索相应的图片，但是得批量完成，因为人工搜索图片效率太低，所以只能通过扒取网页的形式，扒取图片。然后将图片存储在本地的文件下面。下面我将用Jsoup来扒取百度图片，并通过java中io保存在本地文件中。步骤大致可以分为三个模块：一是获取网页的资源，二是解析获取的资源，取出我们想要的图片URL地址，三是通过java的io存储在本地文件中。获取网页资源的
原创
2021-07-09 17:13:48
333阅读
因为业务的需求，需要去百度图片搜索中搜索相应的图片，但是得批量完成，因为人工搜索图片效率太低，所以只能通过扒取网页的形式，扒取图片。然后将图片存储在本地的文件下面。下面我将用Jsoup来扒取百度图片，并通过java中io保存在本地文件中。步骤大致可以分为三个模块：一是获取网页的资源，二是解析获取的资源，取出我们想要的图片URL地址，三是通过java的io存储在本地文件中。获取网页资源的
原创
2022-04-21 14:44:33
80阅读
前几天Django发布了 3.1版本的更新，作为一个半吊子Django开发者，个人觉得这次是真的值得说一说了。3.1的更新最重要的是下面两个改动：支持异步views和middlewareORM中JSONField所有数据库的支持支持异步views和middleware按照官方的说法，现在对于异步的支持已经扩展到views和middleware了，比如：async def my_view(reque
原创
2020-12-26 15:59:37
325阅读
ELF文件（Executable Linkable Format）是一种文件存储格式。Linux下的目标文件和可执行文件都按照该格式进行存储，有必要做个总结。文章目录1. 链接举例2. ELF文件类型2.1 可重定位目标文件（.o文件）2.2 可执行目标文件（a.out文件）2.3 共享对象文件
原创
2021-04-16 17:18:07
641阅读
Python爬虫抓取考试试题今天做了个小玩意，但觉得挺有意思的，分享给大家。主要是这样的，因为帮妹子寻找考试资料，发现同一本书不同的章节分别在不同的链接中，复制起来实在要命，所以就在想能不能用爬虫实现。首先结合Request和BeautifulSoup来对这个主页进行处理，提取不同章节的href。在这里需要注意，我们的页面是html类型（看网址结尾）。BeautifulSoup中，网页解析器要采用
我们先把MySQL的InnoDB存储引擎“扒光”，然后一件件帮它把“衣服”穿上。
原创
精选
2022-03-25 14:37:26
305阅读
有了之前的《简述 Laravel Model Events 的使用》大致了解了 Event 的使用。今天我们就来扒一扒 Event 的源码。开始之前，需要说下两个 EventServiceProvider 的区别：
App\Providers\EventServiceProviderIlluminate\Events\EventServiceProvid
转载
2018-11-15 17:40:00
63阅读
2评论
Ajax用一句话来说就是无须刷新页面即可从服务器取得数据。注意，虽然Ajax翻译过来叫异步JavaScript与XML，但是获得的数据不一定是XML数据，现在服务器端返回的都是JSON格式的文件。 完整的Ajax请求过程 完整的Ajax请求过程 创建XMLHttpRequest实例 发出HTTP请求
转载
2018-10-11 11:58:00
51阅读
2评论
背景
拆解篇·
转载
2021-07-27 17:41:22
432阅读
上天这事怎么测试？对于当前大部分的火箭，或是弹道导弹而言，大部分都是一次性使用，当然现在也不乏可复用的运载火箭，这事你问问钢铁侠马克斯就知道了，人家天天发射可复用的...
原创
2023-05-16 17:40:55
76阅读
2015年6月，维基媒体基金会发布公告，旗下所有网站将默认开启HTTPS，这些网站中最为人所知的当然是全球最大的在线百科-维基百科。而更早时候的3月，百度已经发布公告，百度全站默认开启HTTPS。淘宝也默默做了全站HTTPS。网站实现HTTPS，在国外已经非常普及，也是必然的趋势。Google、Facebook、Twitter等巨头公司早已经实现全站HTTPS，
而且为鼓励全球网站的HTTPS实现
转载
精选
2016-06-20 09:55:49
620阅读
背景
之前扒过飞书的源码，从代码设计架构层面里里外外学习一把，飞书还是挺“大方”的，源码在客户端和网页端都一览无余，不过好像新版本已经看不到了。相关的文章由于在内网技术论坛发过了不便于再发出来（泄露内部资料会被查水表的），因此这次周末抽时间换一个鸟窝来掏一掏。
一不小心发现迅雷的客户端竟然也是基于 Electron 开发的，那代码就好扒拉了。（先吐槽一下这新版本的某lei为什么要抄钉钉的界面，这些
转载
2021-06-20 16:03:15
228阅读
Elasticsearch 中有多种查询缓存，当一个查询请求执行后，他可能会被缓存下来，但是哪些查询会被缓存，哪些不会缓存，缓存了什么内容，什么时候失效，手册中并没有很系统的阐述，并且文档中也...
转载
2020-08-21 20:27:00
423阅读
2评论
导语：在测试流畅度的过程中，必不可免的要与FPS，Jank等指标接触，但为了加深理解，今天来简单扒一扒安卓的渲染原理；PerfDog使用Jank作为来代表游戏流畅度的指标一.CPU与GPU结构现在大部分移动端都会配有CPU（中央处理器）和 种不同的数据类型，同时又要进行复杂的数学和逻辑运算，所.
转载
2021-11-12 14:31:36
90阅读
主要流程就是获取整个网页，然后正则匹配（关键的）。php抓取页面的主要方法,有几种方法是网上前辈的经验，现在还没有用到的，先存下来以后试试。1.file()函数2.file_get_contents()函数3.fopen()->fread()->fclose()模式4.curl方式 （本人主要用这个）5.fsockopen()函数 socket模式6.插件(如：
