第一节 搜索引擎的基本工作机制
大型互联网搜索引擎的数据中心一般运行数千台甚至数十万台计算机，而且每天向计算机集群里添加数十台机器，以保持与网络发展的同步。搜集机器自动搜集网页信息，平均速度每秒数十个网页，检索机器则提供容错的可缩放的体系架构以应对每天数千万甚至数亿的用户查询请求。企业搜索引擎可根据不同的应用规模，从单台计算机到计算机集群都可以进行部署。
搜索引擎一般的工作过程是：首先对
环境准备本机环境 ubuntu 17.04，python2.7.13 替换阿里源wget https://git.io/superupdate.sh bash superupdate.sh 安装相关依赖apt install 安装censyspip install 中间过程报错
原创
2022-10-06 01:30:31
820阅读
本文主要简单介绍网络空间搜索引擎Censys及其使用
Censys Censys持续监控互联网上所有可访问的服务器和设备，以便您可以实时搜索和分析它们，了解你的网络攻击面，发现新的威胁并评估其全球影响。从互联网领先的扫描仪ZMap的创造者来说，我们的使命是通过数据驱动安全。 Censys跟国外的Shodan和国内的ZoomEye类似，可以
转载
2024-03-14 21:56:31
203阅读
Python爬虫:制作一个属于自己的IP代理模块Python爬虫常常会面临自己ip地址被封的情况，也许不懂的读者就只能等ip解封之后再进行接下来的操作了，为什么自己不做一个Python模块专门用于处理这种情况呢？小编首先讲的不会是重点，但是到对于读者开发Python爬虫肯定有一定的帮助，希望读者耐心看下去！1.使用PyChram的正则首先，小编讲的不是爬取ip，而是讲了解PyCharm的正则，这里
转载
2023-10-08 16:37:57
16阅读
1.2 实用的IP地址处理模块IPy IP地址规划是网络设计中非常重要的一个环节，规划的好坏会直接影响路由协议算法的效率，包括网络性能、可扩展等方面，在这个过程当中，免不了要计算大量的IP地址，包括网段、网络掩码、广播地址、子网数、IP类型等。Python提供了一个强大的第三方模块IPy(https://github.con/haypo/python-ipy)，最新版本为V0.81。IPy模块可以
转载
2023-07-15 01:00:57
223阅读
听说最近抖音快手都可以看IP地址了,肯定还有很多同学不知道怎么查询吧,一文讲清楚.从http://freeapi.ipip.net和http://ip-api.com/json/这两个网站提供的免费调用接口查询IP地址归属地。 接口调用方法是在url后面直接加上IP地址。url = ‘http://freeapi.ipip.net/218.192.3.42’ #中文免费 url2 = ‘http:
转载
2024-08-13 10:47:26
118阅读
## Python IP 地址的科普
IP 地址是互联网协议（Internet Protocol）的一部分，用于唯一标识网络中的设备。在计算机网络中，每个设备都被分配一个独特的 IP 地址，以便进行通信。Python 是一种强大的编程语言，提供了许多库和工具，用于处理和操作 IP 地址。本文将介绍如何使用 Python 来处理 IP 地址，并提供一些实际的代码示例。
### IP 地址的表示
原创
2023-10-19 16:46:46
96阅读
# Python 正则判断 IP 地址
## 引言
在网络开发中，经常需要对 IP 地址进行验证和处理。而在 Python 中，可以使用正则表达式来判断一个字符串是否为合法的 IP 地址。本文将教会你如何使用正则表达式来判断 IP 地址的有效性。
## 步骤展示
以下是使用正则表达式判断 IP 地址的步骤：
| 步骤 | 描述 |
| --- | --- |
| 步骤一 | 导入 `re`
原创
2024-02-05 04:15:49
73阅读
在上一篇文章《Python网络安全基础：一、编写一个简单的端口扫描器》 中，我们介绍了端口扫描的作用，并使用Python编写了一个简单的端口识别扫描器。那个端口识别扫描器实在是过于简单，所以在本篇文章中，我们来完善一下它。本篇文章所使用的靶机还是来自于metasploitable2虚拟机，没有下载安装的小伙伴可以提前下载安装好。一、端口与端口范围在上一篇我们知道，计算机上的每一个服务都有对应的端口
转载
2023-12-30 17:36:08
86阅读
本文主要利用python的相关模块进行批量ping ，测试IP连通性。下面看具体代码(python3)：''''''#!/usr/bin/env python#-*-coding:utf-8-*-import reimport subprocessfrom io import StringIOimport multiprocessingimport timeimport sysdef check_
转载
2023-06-02 15:50:42
739阅读
输入一串字符，判断该字符串是否为点分十进制的IP地址，若是则转换为16进制输出，否则输出“Error”注意：输入可能是任意的一个字符串，比如“abc.bas.fefe.4r4”或者“23.23.11.23.123” 这都是不合法的IP地址例如输入：192.41.6.20输出：0xC0290614输入：257.32.23.1输出：Error解1import re
def isIP(str):
转载
2023-06-14 10:48:26
135阅读
在爬取网站的时候我们有时候会遭受封ip等显现，因此我们需要搭建自己的ip池用于爬虫。代码过程简述：1、爬取代理ip网站信息2、将获取的信息处理得到ip等关键信息3、保存首次获取的ip信息并检测其是否可用4、检测完毕将可用ip保存，搭建完成本文是单线程，比较简单但效率可能没有那么快下面是搭建完后的ip池展示： 老规矩先放总的代码后再一步步解析# -*- coding: gbk
转载
2023-08-08 07:40:42
90阅读
在学习了有关TCP的内容后，很多人对于这种编程的通信方式感兴趣，因为在应答和检验方便比较出色。结合我们最近在学习的python，可以在其中做一个TCP框架来使用。本篇我们就TCP的优点简单说明，对搭建框架步骤进行梳理，最后带来详细的搭建代码，下面一起来学习吧。1、优点(1)应答机制:TCP发送的每个报文段都必须得到接收方得应答才认为这个TCP报文段传输成功(2)超时重发:发送端发出一个报文段之后,
转载
2023-08-14 22:41:01
158阅读
python获取ip信息（国家、城市等）这里我说下两种方法， 一种是 pygeoip 模块 查询 .dat ip数据库文件查询ip信息 第二种是 geoip2.database 模块 查询 .mmdb ip数据库文件查询ip信息好，这里一个个说一下！pygeoip 模块直接上代码import pygeoip
giv4 = pygeoip.GeoIP('GeoLiteCity.dat')
giv6
转载
2023-06-29 20:59:15
79阅读
python 正则表达式匹配IP地址
转载
2023-06-10 07:31:03
145阅读
IP地址处理模块Ipy IPy模块可以很好的辅助我们高效完成IP的规划工作。 参考：https://github.com/autocracy/python-ipy 安装IPy模块 [root@kurol ~]# python36 -m easy_install -i http:/
转载
2024-06-15 13:58:29
74阅读
python的IPy模块虽然可以实现一些ip地址的判断，但是不是很完美，有些场景根本判断不出来，还会抛出异常，比如一个地址范围和一个ip/掩码，这种不同类型就无法判断。
转载
2023-06-29 08:35:47
344阅读
# Python IP 网段转 IP
在网络编程中，经常会用到IP地址的转换。有时候我们需要将IP网段转换成单个IP地址，这在一些自动化脚本中尤为常见。Python作为一种简洁、高效的编程语言，提供了丰富的库函数来处理IP地址和网段的转换。
## IP 网段转 IP
在Python中，我们可以使用`ipaddress`库来进行IP地址和网段的处理。下面是一个简单的示例代码，展示了如何将IP网
原创
2024-05-29 05:33:31
274阅读
当我们大量的处理爬虫的时候,我们的IP地址容易被封掉 这个时候我们就需要代理IP来帮助我们完成接下来的任务了这次我采用的是Requests模块来完成请求的######注意事项在代码中有展示上代码import urllib.request
import requests
# 查询IP http://ip.chinaz.com/getip.aspx
url = "http://ip.c
转载
2023-06-14 15:33:27
386阅读
Python网络编程基础IP地址ip地址表现形式查看ip地址LinuxWindows检查网络是否正常端口与端口号端口号分类知名端口号动态端口号TCP协议概念TCP通讯步骤特点socket套接字TCP客户端程序开发步骤1：创建客户端程序的套接字对象socket模块导入socket类socket对象创建2：和服务端程序建立连接connect方法3：发送数据字符串编码encode()send方法4：接
转载
2023-09-19 07:28:26
47阅读
