解惑Python模块学习,该如何着手操作...

Python模块晚上和朋友聊天,说到公司要求精兵计划,全员都要有编程能力。然后C、Java、Python…对于零基础入门的,当然是选择Python的人较多了。可朋友说他只是看了简单的语法,可python有那么多的模块,连名字都不知道,该怎么学啊!针对python模块获取,告诉大家几个方法…通常大家在安装完成python后,都知道python自带了一个通过tkinter编写的IDLE工具,但...

转载 点赞0 阅读80 收藏0 评论0 2021-05-28

从基础到实践,一文带你看懂HashMap

摘要:HashMap是一个用于存储Key-Value键值对的集合,它是面试中经常问到的一个知识点。HashMap是面试中经常问到的一个知识点,也是判断一个候选人基础是否扎实的标准之一,因为通过HashMap可以引出很多知识点,比如数据结构(数组、链表、红黑树)、equals和hashcode方法,除此之外还可以引出线程安全的问题,HashMap是我在初学阶段学到的设计的最为巧妙的集合,里面有很多细节以及优化技巧都值得我们深入学习,本文将会涉及到以下问题默认大小、负载因子以及扩容倍数 底层数据结构

转载 点赞0 阅读115 收藏0 评论0 2021-05-28

过滤器 和 拦截器 6个区别,别再傻傻分不清了

周末有个小伙伴加我微信,向我请教了一个问题:老哥,过滤器 (Filter) 和 拦截器 (Interceptor) 有啥区别啊? 听到题目我的第一感觉就是:简单!毕竟这两种工具开发中用到的频率都相当高,应用起来也是比较简单的,可当我准备回复他的时候,竟然不知道从哪说起,支支吾吾了半天,场面炒鸡尴尬有木有,工作这么久一个基础问题答成这样,丢了大人了。平时觉得简单的知识点,但通常都不会太关注细节,一旦被别人问起来,反倒说不出个所以然来。归根结底,还是对这些知识了解的不够,一直停留在会用的阶段,以至

转载 点赞0 阅读62 收藏0 评论0 2021-05-27

发布一个网页智能解析算法库

之前我写过几篇文章介绍过有关爬虫的智能解析算法,包括商业化应用Diffbot、Readability、Newspaper这些库,另外我有一位朋友之前还专门针对新闻正文的提取算法 GeneralNewsExtractor,这段时间我也参考和研究了一下这些库的算法,同时参考一些论文,也写了一个智能解析库

转载 点赞0 阅读66 收藏0 评论0 2021-05-27

还在一个个写规则?来了解下爬虫的智能化解析吧!

爬虫是做什么的?是帮助我们来快速获取有效信息的。然而做过爬虫的人都知道,解析是个麻烦事。比如一篇新闻吧,链接是这个:https://news.ifeng.com/c/7kQcQG2peWU,页面预览图如下:预览图我们需要从页面中提取出标题、发布人、发布时间、发布内容、图片等内容。

转载 点赞0 阅读71 收藏0 评论0 2021-05-27

基于NB-IoT的智慧路灯监控系统(NB-IoT专栏—实战篇5:手机应用开发)

通过与华为云平台进行数据对接及联动控制,为此开发智慧路灯APP控制系统。1、系统总体描述本系统共分为九个模块:系统导航、用户登录、扫码绑定、设备定位、设备状态、历史查询、设备控制、画像分析和系统设置。每个模块对应其各自的功能,通过设备的定位

转载 点赞0 阅读173 收藏0 评论0 2021-05-27

如何实时主动监控你的网站接口是否挂掉并及时报警

最近我在公司负责的业务已经正式投入上线了,既然是线上环境,那么就需要保证其可用性。我负责的业务其中就包括一个 Web Service,我需要保证 Service 的每个接口都是可用的,如果某个时间流量大了或者服务器挂掉了,那需要第一时间通知到我。这时候可能我有这些需求:1.定时测试和监控服务器每个接口是否是可用的,包括返回的数据、状态码是不是正确的。2.我可以随时查看到每个接口的响应时间、可用率等信息,最好是有可视化的图表呈现,一目了然。3.如果接口的错误率超过某一阈值一段时间,及时通知我,包括

转载 点赞0 阅读73 收藏0 评论0 2021-05-27

全面拥抱 FastApi — 多应用程序项目结构规划

FastAPI最近比较火,自从看到这款框架后就一直在关注着。据官方文档上的介绍它是一个并发性可以和 NodeJS 以及 Go 相媲美的 web 框架,具有强大的性能本人最近也是一直在使用和学习 FastApi,相比之前用的框架性能确实有很大的提升,用完后有如下几点感受: 性能并发更强了,支持异步 async 基于 Pydantic 的类型声明,自动校验参数 自动生成交...

转载 点赞0 阅读60 收藏0 评论0 2021-05-27

200 行代码实现一个滑动验证码

做网络爬虫的同学肯定见过各种各样的验证码,比较高级的有滑动、点选等样式,看起来好像挺复杂的,但实际上它们的核心原理还是还是很清晰的,本文章大致说明下这些验证码的原理以及带大家实现一个滑动验证码。我之前做过 Web 相关开发,尝试对接过 Lavavel 的极验验证,当时还开发了一个 Lavavel 包:https://github.com/Germey/LaravelGeetest,在开发包的过...

转载 点赞0 阅读74 收藏0 评论0 2021-05-27

介绍一种更方便的代理池实现方案

现在搞爬虫,代理是不可或缺的资源。代理池为了保证代理的有效性,我们往往可能需要维护一个代理池。这个代理池里面存着非常多的代理,同时代理池还会定时爬取代理来补充到代理池中,同时还会不断检测其中代理的有效性。当然还有一个很重要的功能就是提供一个接口,这个接口可以随机返回代理池中的一个有效代理。比如之前我实现过的一个代理池:https://github.com/Python3WebSpide...

转载 点赞0 阅读65 收藏0 评论0 2021-05-27

刚填了一个奇怪的坑

最近写了一个 API Token 的校验服务,想要增加时效性控制,比如一个 API,超过一段时间(比如 10s)之后,用同样的参数再请求就会被服务器禁掉,无法获取正常数据,这样可以保证数据的安全。怎么增加时效性控制呢?加一个时间的信息就好了,我们可以把时间信息包含在一个 API URL 的额外的参数 token 里面。比如最简单的,把前端获取的时间戳进行 Base64 编码之后作为 token...

转载 点赞0 阅读78 收藏0 评论0 2021-05-27

介绍一个又快又准的截图骚操作

截图是可以说是每个人必备的技能,有时候需要截个手机屏,有时候需要截个网页屏,方式有很多,各种快捷键和插件也都能够办到。但下面这个情况不知道大家会怎么来做。需求切入有一天,我在电脑上看到了一条微博,或者一篇文章。比如微博像这样:比如文章像这样:这时候我需要把这条微博所在的白色区块单独截下来,或者把这篇文章所在的长文区域单独截下来,而且不要其他额外的内容,而且要做到边...

转载 点赞0 阅读81 收藏0 评论0 2021-05-27

7 分钟全面了解位运算

位运算是我们在编程中常会遇到的操作,但仍然有很多开发者并不了解位运算,这就导致在遇到位运算时会“打退堂鼓”。实际上,位运算并没有那么复杂,只要我们了解其运算基础和运算符的运算规则,就能够掌握位运算的知识。接下来,我们一起学习位运算的相关知识。程序中的数在计算机内存中都是以二进制的形式存在的,位运算就是直接对整数在内存中对应的二进制位进行操作。注意:本文只讨论整数运算,小数运算不在本文研究...

转载 点赞0 阅读73 收藏0 评论0 2021-05-27

STM32 GPIO的原理、特性、选型和配置

基本结构STM32 GPIO是通用输入/输出端口的英文简称,其可实现输入、输出、驱动、通信等功能,STM32的I/O 端口有8种模式(4种输入模式和4种输出模式),每个 I/O 端口位支持3种最大翻转速度(2MHz、10MHz、50MHz),均可自由编程,但I/O 端口寄存器必须按 32 位字、半字(16位)或字节(8位)进行访问,具体模式如下所示:浮空输入上拉输入下拉输入模拟输入...

转载 点赞0 阅读85 收藏0 评论0 2021-05-27

一文搞懂*argv和**kwargs

大多刚接触Python的学员,会对*argv和**kwargs这两个魔法变量的用法产生困惑,今天本文将全面梳理下这两个小可爱的使用方法,让各位同学彻底搞懂它们的规则。这两个变量主要用户函数定义,有了它俩你可以将不定数量的参数传递给一个函数。这里,需要申明下:在写Python代码时,我们习惯将它俩写成*argv和**kwargs,这只是一个书写习惯,你也可以任性地用*var和**kvars来代替...

转载 点赞0 阅读76 收藏0 评论0 2021-05-27

用前考虑清楚,伤敌一千自损八百的字体反爬虫

内容选自即将出版的《Python3 反爬虫原理与绕过实战》,本次公开书稿范围为第 6 章——文本混淆反爬虫。本篇为第 6 章中的第 4 小节,其余小节将逐步放送。字体反爬虫开篇概述在 CSS3 之前,Web 开发者必须使用用户计算机上已有的字体。但是在 CSS3 时代,开发者可以使用@font-face 为网页指定字体,对用户计算机字体的依赖。开发者可将心仪的字体文件放在 Web 服务...

转载 点赞0 阅读58 收藏0 评论0 2021-05-27

一线大厂在用的反爬虫方法,看我如何破了它!

内容选自即将出版的《Python3 反爬虫原理与绕过实战》,本次公开书稿范围为第 6 章——文本混淆反爬虫。本篇为第 6 章中的第 3 小节SVG 反爬虫。SVG 映射反爬虫SVG 是用于描述二维矢量图形的一种图形格式。它基于 XML 描述图形,对图形进行放大或缩小操作都不会影响图形质量。矢量图形的这个特点使得它被广泛应用在 Web 网站中。接下来我们要了解的反爬虫手段正是利用 SV...

转载 点赞0 阅读80 收藏0 评论0 2021-05-27

自动搭建openEuler虚拟机QEMU运行环境

本文介绍了一个自动搭建openEuler虚拟机QEMU运行环境的脚本使用方法,本脚本能下载并安装各种依赖项,自动下载并编译安装QEMU 4.1.1和busybox 1.25.1,下载并安装对Linux 4.19.1进行ARM64交叉编译并用gdb进行调试的环境,该环境能帮助我们理解openEuler内核的运行,以及下载和QEMU环境下安装openEuler 1.0版。本脚本参考了前辈[1]在ARM...

转载 点赞0 阅读131 收藏0 评论0 2021-05-27

高并发系统中的限流应该如何做?

缓存缓存比较好理解,在大型高并发系统中,如果没有缓存数据库将分分钟被爆,系统也会瞬间瘫痪。使用缓存不单单能够提升系统访问速度、提高并发访问量,也是保护数据库、保护系统的有效方式。大型网站一般主要是“读”,缓存的使用很容易被想到。在大型“写”系统中,缓存也常常扮演者非常重要的角色。比如累积一些数据批量写入,内存里面的缓存队列(生产消费),以及HBase写数据的机制等等也都是通过缓存提升系...

转载 点赞0 阅读85 收藏0 评论0 2021-05-27

程序员:你见过哪些要命的奇葩代码?

毕竟大家都有刚入门的时候难免会做成这样的事情多多体谅就挺好毕竟谁知道哪些破事是不是你自己做的获取明天的日期的正确打开方式public static DateTime getTomorrowDate(){ Thread.Sleep(24*60*60*1000); return DateTime.Now;}写了个很牛逼的SQL说出来自己都不敢相...

转载 点赞0 阅读81 收藏0 评论0 2021-05-27

史上最详尽,全方位解读车路协同

1950年代末,通用汽车在新泽西州打造了一条埋入大量通信设备的概念高速公路;1990年代,日本将智能交通系统确立为国家项目;2006年,欧盟开启车路合作系统(CVIS)项目;2010年,美国提出智能驾驶(IntelliDrive)战略

转载 点赞0 阅读152 收藏0 评论0 2021-05-27

华为EMUI10带来开发者福音:一次开发多端部署

在如今智能终端多样化的时代,很多开发者都会遇到一个问题:在新推出一个APP或者对APP更新时,需要对不同终端进行单独的适配。或许开发者早已因为无奈而习以为常,但这显然会极大增加开发者的时间和技术成本,那么如何实现在同一终端上开发,其他终端也能自动适配呢?华为EMUI10告诉了我们答案。在刚刚8月9日-11日落幕的2019华为开发者大会上,华为消费者业务软件总裁王成录宣布正式发布EMUI10,为...

转载 点赞0 阅读109 收藏0 评论0 2021-05-27

有了它,从此走上炫酷的编码之路!

python IDEpython开发工具有很多,但我比较钟爱pycharm,也许喜欢DIY的程序猿推荐VS Code,Sublime Text。但我是个懒人,放着无脑且功能强大的pycharm,干嘛还要费力去鼓捣那些插件组合呢?但人有时用惯了默认的功能,就喜欢寻找一些新鲜的东西,来提升乐趣,今天就为大家介绍一款pycharm下装13的利器:【activate-power-mode】。A...

转载 点赞0 阅读62 收藏0 评论0 2021-05-27

西瓜哥:公有云也“All-Flash”?

本文转载自 高端存储知识Gartner在2018年Market Insight: Preparing for the SSD Rise and HDD Demise一文中指出:当闪存介质降到HDD每GB平均销售价格(ASP)的三倍时,闪存技术通常会出现一个拐点,会加速取代HDD。因此,Gartner预测,2023年,所有的数据中心的10,000rpm的HDD几乎都被SSD代替。Gartner...

转载 点赞0 阅读99 收藏0 评论0 2021-05-27

硬核评测:企业上云的极速存储挑战,华为云全新极速IO云硬盘性能评测

来源:至顶网 作者:董培欣借助华为云全新一代极速IO云硬盘开启邀测的时机,至顶网评测实验室展开了一次华为云极速IO云硬盘与超高IO云硬盘的性能对比测试活动,并且尝试通过相关测试成绩,对云硬盘的应用能力进行分析。随着信息技术的飞速发展,5G在以远超预期的速度向我们走来,更高的应用响应能力、更大的接入带宽、更多的用户使用数量势必会引发一场海量数据与人工智能技术的巨大变革,使得信息与决策越来越透明,...

转载 点赞0 阅读100 收藏0 评论0 2021-05-27

揭秘!10+位DBA大神测评华为云DDS增强版实感

数据库、操作系统、中间件并称为核心基础软件,在 IT 软件堆栈中起到中流砥柱的作用。今天运行的绝大多数企业应用软件都离不开数据库的支持。随着移动互联网、物联网、云计算、大数据等新技术爆发式发展,图片、音频、视频等非结构化数据开始有了爆炸性增长,传统数据库已经不堪重负,企业客户急切需要新的 NoSQL 数据库技术与数据库产品。在云计算技术不断成熟的背景之下,云数据库开始崛起。云数据库无需购买...

转载 点赞0 阅读68 收藏0 评论0 2021-05-27

获取Url地址中参数的3种方法

获取Url的代码如下:window.location.href;方法一:原生js(假设已经获得了Url地址)var url = 'https://gitbook.cn/gitchat/geekbooks?tag=JavaScript&name=pwwu&age=24'; var temp1 = url.split('?'); var pra...

转载 点赞0 阅读106 收藏0 评论0 2021-05-27

是时候理解下HTTPS及背后的加密原理了

HTTPS(Hypertext Transfer Protocol Secure,超文本传输安全协议),是以安全为目标的 HTTP 通道,简单讲是 HTTP 的安全版。本文,就来深入介绍下其原理。为什么需要 HTTPS使用 HTTPS 的原因其实很简单,就是因为 HTTP 的不安全。当我们往服务器发送比较隐私的数据(比如说你的银行卡,身份证)时,如果使用 HTTP 进行通信。那么安全性...

转载 点赞0 阅读89 收藏0 评论0 2021-05-27

你想知道的动态URL、静态URl、伪静态URL概念及区别都在这里!

我们说url的动态、静态、伪静态三种形式,其实从严格分类上来说,伪静态也是动态的一种,只是表现形式为静态。参考:动态url、静态url和伪静态url的详细讲解 - 好文分享动态URl动态页面的特征1、以ASP、PHP、JSP、ASP.NET | Open-source web framework for .NET、Perl、或CGI等编程语言制作的;2、不是独立存在于服务器上的网页文件,...

转载 点赞0 阅读75 收藏0 评论0 2021-05-27

2019入门级云主机选型测试报告

【摘要】 随着云计算的快速发展,各企业陆续使用云平台,面对诸多的选择,用户很难得到清晰明确的数据参考。本次针对基础入门级的云主机用户选型需求,国内专业的云资源选型服务平台CloudBest旗下监测实验室,针对性的出具了《2019入门级云主机选型测试报告》,用公开透明的测试数据为企业做云的选型提供相应的参考。▶入门级云服务器性价比推荐应用户需求,本次选型选取了7家主流公有云服务提供商,包...

转载 点赞0 阅读82 收藏0 评论0 2021-05-27
  • 1
  • 2
  • 3