1 协程是什么?我们已经做过不少爬虫项目,不过我们爬取的数据都不算太大,如果我们想要爬取的是成千上万条的数据,那么就会遇到一个问题:因为程序是一行一行依次执行的缘故,要等待很久,我们才能拿到想要的数据。既然一个爬虫爬取大量数据要爬很久,那我们能不能让多个爬虫一起爬取?这样无疑能提高爬取的效率,就像一个人干不完的活儿,组个团队一起干,活一下被干完了。这是一个很好的思路——让多个爬虫帮我们干活。但具体
1. 概述GeoIP 有收费版本 GeoIP2GeoLite2GeoLite2 为免费版本。2. 安装GeoLite2数据库文件下载RPM包安装# centos版本wget
原创 2022-10-18 09:06:00
1015阅读
通过python操作GeoLite2-City.mmdb库将nginx日志写入数据库 # 创建存放nginx日志的表accesslog2 # 安装geoip2模块# sudo pip2 install geoip2 连接数据库和操作数据库的底层模块参考:python操作mysql数据库增删改查的db
转载 2017-11-23 15:14:00
632阅读
2评论
GeoIP2 数据库更新地址 数据库文件下载网页地址 http://dev.maxmind.com/geoip/geoip2/geolite2/ http://geolite.maxmind.com/download/geoip/database/GeoLite2-City.tar.gz http:
转载 2017-12-28 09:13:00
704阅读
## Python 国家省州 在Python编程语言中,有许多内置的模块和库可用于处理各种任务和应用程序。其中之一是`python-geoip-geolite2`库,它提供了IP地址到国家、省、州的映射功能。这个库基于MaxMind的GeoLite2数据库,可以轻松地根据IP地址获取地理位置信息。 在本文中,我们将介绍如何使用`python-geoip-geolite2`库来获取给定IP地址的
原创 2023-09-02 05:26:58
164阅读
在 Google Cloud 环境中使用 Go 根据 IP 地址获取国家名称,可以通过以下 三种主流方案 实现,涵盖本地数据库和在线 API 两种方式,并针对 Google Cloud 的特性进行优化 方案 1:使用本地 IP 数据库(推荐)1. MaxMind GeoLite2 + geoip2-golang 库步骤下载 GeoLite2 数据库在 Google Cloud VM 或容
原创 2月前
90阅读
信息安全很重要,你的地理位置可能暴露了!!!使用pythonGeoLite2获取目标的地理位置1 #! /usr/bin/env python 2 #-*- coding:utf-8 -*- 3 4 ''' 5 Created on 2019年12月8日 6 7 @author: Admin 8 ''' 9 10 from copy import copy
转载 2023-06-19 14:58:38
112阅读
百度教程说安装pip install mysqldb这在我的电脑上安装失败:Could not find a version that satisfies the requirement mysqldb (from versions : ) No matching distribution found for mysqldb所以应该:pip install MySQL-python报错:error
转载 2024-09-01 10:53:42
20阅读
我们都知道python有一个一直被诟病的毛病,python2python3代码不兼容问题,而网上的一些教学大部分都是python2的,如果需要将其在python3环境下运行,有两个方法,一是:一个一个参考文档,对其中的库在3中的修改对应修改;二则是使用python内置工具2to3.py对代码进行批量修改。 首先找到2to3.py文件位置,一般是在“\Python\Python36-32
转载 2023-06-20 15:02:13
114阅读
下载composercurl -sS https://getcomposer.org/installer | php安装GeoIP2扩展包php composer.phar require geoip2/geoip2:~2.0下载GeoLite2免费版数据库
原创 2022-06-06 18:43:47
2292阅读
别的不说,首先创建灰度都为0 的彩图importnumpy as np importcv2 # Create a black image img = np.zeros((512,512,3), np.uint8)np.zeros()有两个参数,一个是创建的图片矩阵大小,另一个是数据类型所谓大小,512,512是指图片占像素为512x512,3则是指BGR三种颜色uint8就是每种颜色都是0到255
转载 2023-09-21 16:21:35
114阅读
本文使用到GeoLite2和wireshark一、使用wireshark抓包数据并保存为pcap文件二、使用python解析pcap文件(解析原目的ip--可做其他字段解析)1 #! /usr/bin/env python 2 #-*- coding:utf-8 -*- 3 ''' 4 Created on 2019年11月24日 5 6 @author: perilong 7 '
转载 2023-06-14 15:33:43
354阅读
1.  range(10)在python2python3中区别是什么?a = range(10)在python2中是一个列表[0, 1, 2, 3, 4, 5, 6, 7, 8, 9],占用一定的内存空间;a = range(10)在python3中返回的是一个可迭代的对象,而不是一个列表,不会占用内存空间,可使用list函数返回列表,list(a);2.   什么样的语言能够使用装饰器?能够将
# Python 矩阵2*2 ## 1. 介绍 矩阵在数学和计算机科学中都是非常重要的概念。它是一个二维数组,由行和列组成。在Python中,我们可以使用列表(List)来表示矩阵。本文将介绍如何使用Python创建和操作2*2的矩阵,并提供一些常见的矩阵操作示例。 ## 2. 创建2*2矩阵 在Python中,我们可以使用列表来表示矩阵。一个2*2的矩阵可以表示为一个包含两个列表的列表。
原创 2023-09-03 15:35:13
670阅读
geoip 分析对于网站数据分析是很方便的 安装geoip2 下载地址 https://dev.maxmind.com/geoip/geoip2/geolite2/ 配置streamsets geoip 组件 pipeline flow dev raw data 配置 geoip 配置 json p
原创 2021-07-19 15:58:14
223阅读
今天分享的主题内容是:二分查找法。在开启今天分享的内容之前,我们一起先来了解除法相关的运算符知识。Python 中与除法相关的三个运算符是// 和 / 和 %:“/”,这是传统的除法,5/2=2.5“//”,在Python 中,这个叫“地板除”,9//4=2“%”,这个是取模操作,也就是取余数,4%2=0,5%2=1 1、什么是二分查找法    二
转载 2023-11-19 08:58:50
58阅读
运算补充(因为之前看书看过的我又忘了...)python3 里 / 直接是浮点除。python2的 / 是直接整除,取整数部分,小数不要了,python3也可以这样整除,用//实现。**是乘方!!!3**2=8。这个运算符有点个性啊。比起左侧的操作符优先级高,比右侧优先级低。看图:第一句**比左侧优先级高,因此先乘方再加负号。第二句**比右侧优先级低,因此先加负号再乘方。其实跟我们自己来算是一样的
转载 2023-12-01 12:39:57
144阅读
要取得一个对象的属性和方法用:dir()某方法的具体使用方法帮助用:help(list.pop)查看可调用字段的文档用:obj__doc__集合:无序排列、可hash      支持集合算法。      不支持:索引、切片、元素获取    集合类型:     set() 可变集合。&nbs
原创 2014-06-28 23:08:12
280阅读
一、python是强类型语言:1、两个对象比较:(1)、身份(内存地址):两个对象的引用是否相同。 id(a)==id(b)或者a is b (2)、值:两个对象的数据是否相等。 a==b(3)、类型:两个对象的类型是否相同。 type(a) is type(b)2、核心数据类型:(1)、数字:int,long,float,complex,bool(2)、字
原创 2016-10-13 14:34:55
978阅读
# Python 2 for 循环 在Python编程语言中,for循环是一种常用的控制结构,用于迭代序列中的元素或执行一组语句多次。本文将介绍如何在Python 2中使用for循环以及一些常见的用法和技巧。 ## 基本语法 Python 2中for循环的基本语法如下: ```python for 变量 in 序列: 循环体代码 ``` 在这里,`变量`是用于迭代的临时变量,`序
原创 2024-05-25 06:49:57
37阅读
  • 1
  • 2
  • 3
  • 4
  • 5