马哥教育的博客_python,Mysql,互联网运营,Linux,项目管理,ITIL,马哥教育视频,学员风采,云计算相关(14)

kubeadm部署单master节点

1、安装要求（提前确认）在开始之前，部署Kubernetes集群机器需要满足以下几个条件：三台机器，操作系统CentOS7.5+（mini）硬件配置：2GBRAM，2个CPU，硬盘30GB2、安装步骤角色IPmaster192.168.50.128node1192.168.50.131node2192.168.50.1322.1、安装前预处理操作注意本小节这7个步骤中，在所有的节点（master和

k8s

置顶原创 2020-10-12 22:25:46 1372 阅读

nginx升级与回退

nginx1.16.1的部署安装我参考的这个博客https://www.cnblogs.com/FengGeBlog/p/13534156.html。先看下这个文章，然后一会我们对这个进行版本升级注意：下文将1.16.1版本成为旧版本nginx，1.18.0成为新版本nginx1、先确认旧的nginx进程是已经存在的旧版本nginx启动进程[root@master2nginx]#psaux|gre

Nginx

置顶原创 2020-10-11 21:53:38 405 阅读 1收藏

快速指南：如何创建基于Python的爬虫

Web抓取的使用正在积极增加，特别是在大型电子商务公司中，Web抓取是一种收集数据以竞争，分析竞争对手和研究新产品的方式。Web抓取是一种从网站提取信息的方法。在本篇文章中，学习如何创建基于Python的刮板。深入研究代码，看看它是如何工作的。在当今的大数据世界中，很难跟踪正在发生的一切。对于需要大量信息才能取得成功的企业来说，情况变得更加复杂。但是首先，他们需要以某种方式收集此数据，这意味着他们

python

置顶原创 2020-10-10 21:59:30 549 阅读

一文带你了解阿里云Linux服务器的基本操作

1.开启安全组1.1开启安全组1.2获取公网IP，更改密码（第一次需要重启）2.使用面板搭建环境2.1搭建环境1、宝塔：地址：https://www.bt.cn/download/linux.html2、安全组开放端口3、执行命令yuminstall-ywget&&wget-Oinstall.shhttp://download.bt.cn/install/install_6.0.s

Linux

置顶转载 2020-10-07 16:40:17 373 阅读

在CentOS7上安装RocketMQ 4.7.1

前言阿里的fastjson的低版本（<=1.2.68）被爆出有安全漏洞，而RocketMQ4.7.0使用了fastjson1.2.62，因此需要将RocketMQ升级到RocketMQ4.7.1(fastjson1.2.69)。本文描述了在CentOS7上安装RocketMQ4.7.1的过程，仅作为开发测试环境使用：单机部署，NameServer和Broker都装在一台服务器上；调低了Roc

RocketMQ

置顶翻译 2020-10-03 19:51:36 1552 阅读 1点赞

Python利用S3的Presigned URLs实现无鉴权上传与下载

S3协议操作对象存储服务，通常是实现上传下载功能。但是在某些场景下，程序不具备操作权限，或为了安全原因而缩小权限配置，需要实现无鉴权的上传与下载。这时可以用S3协议的PresignedURLs来实现无鉴权读写操作。推荐使用PUT而不是POST来实现上传，因为PUT使用起来比较简单。PUT上传importboto3defgen_s3_presigned_put(bucket:str,path:str

python

置顶转载 2020-10-02 20:44:49 366 阅读

Python利用S3的Presigned URLs实现无鉴权上传与下载

S3协议操作对象存储服务，通常是实现上传下载功能。但是在某些场景下，程序不具备操作权限，或为了安全原因而缩小权限配置，需要实现无鉴权的上传与下载。这时可以用S3协议的PresignedURLs来实现无鉴权读写操作。推荐使用PUT而不是POST来实现上传，因为PUT使用起来比较简单。PUT上传importboto3defgen_s3_presigned_put(bucket:str,path:str

python

置顶转载 2020-10-02 20:44:46 610 阅读

在Kubernetes的一个Pod内连续依次执行Container

出于某些目的，有时需要在Kubernetes的一个Pod中，连续依次运行多个Container。这种有明确结束预期的运行，即Kubernetes的Job。但是，虽然一个Job可以在一个Pod内运行多个Container，然而运行方式是并发的。一种方法是在业务层处理。比如，通过共享的本地Volume，使用文件锁的机制，可以实现多个并发的Container依次执行。但这需要在业务逻辑中，把并发强行改为

K8S

置顶转载 2020-10-01 21:23:09 331 阅读

RocketMq架构原理和使用总结

RocketMQ是一个分布式开放消息中间件，底层基于队列模型来实现消息收发功能。RocketMQ集群中包含4个模块：Namesrv,Broker,Producer,Consumer。主要功能削峰填谷（主要解决瞬时写压力大于应用服务能力导致消息丢失、系统奔溃等问题）系统解耦（解决不同重要程度、不同能力级别系统之间依赖导致一死全死）提升性能（当存在一对多调用时，可以发一条消息给消息系统，让消息系统通知

RocketMQ

置顶转载 2020-09-30 21:01:52 682 阅读

智能运维大数据处理时发生数据倾斜的解决方案

为何会发生数据倾斜？19世纪末意大利经济学家帕累托发现在任何一组东西中，最重要的只占其中一小部分，约20%，其余80%尽管是多数，却是次要的，因此又称二八定律，又叫帕累托法则。因此，正常的数据分布理论上来说都是会发生倾斜的，例如，在进行运维大数据分析时，80%的故障异常都是由20%的常见运维问题导致的，因此，会导致少数的问题有非常多的记录。数据倾斜产生原因：MapReduce模型中，数据倾斜问题是

大数据

置顶原创 2020-09-29 21:37:17 464 阅读

由Flink与Kafka实践探究Kafka的两个问题

笔者在某次实践过程中，搭建了一个Flink监控程序，监控wikipedia编辑，对编辑者编辑的字节数进行实时计算，最终把数据sink到kafka的消费者中展示出来，监控程序本身比较简单，只要在程序中指定好WikipediaEditsSource源并配置好sink与kafka关联就可以，类似一个略微复杂版的wordcount，按照网络上的教程，在实践的最后，开启zookeeper服务和kafka服务

Kafka

置顶原创 2020-09-28 20:58:28 370 阅读

用Python操作Kubernetes的Job

已经部署的容器化服务，也不是不需要维护的。而且，由于生产环境往往有这样那样的严格要求，往往需要些非常规操作。Image（镜像）、Container（容器）和Volume（数据卷）的迁移，就是一类有用的非常规操作。以下镜像，均以最简单的Alpine为例。Image镜像的迁移，适用于离线环境。一般离线环境，都会自建DockerRegistry。无论官方的，还是最近流行的Harbor，都是不错的选择。但

python

k8s

置顶转载 2020-09-24 21:28:09 551 阅读

详解Docker中Image、Container与 Volume 的迁移

已经部署的容器化服务，也不是不需要维护的。而且，由于生产环境往往有这样那样的严格要求，往往需要些非常规操作。Image（镜像）、Container（容器）和Volume（数据卷）的迁移，就是一类有用的非常规操作。以下镜像，均以最简单的Alpine为例。Image镜像的迁移，适用于离线环境。一般离线环境，都会自建DockerRegistry。无论官方的，还是最近流行的Harbor，都是不错的选择。但

docker

置顶转载 2020-09-23 23:24:47 356 阅读

非常实用的 Python 库

Python是一个很棒的语言。它是世界上发展最快的编程语言之一。它一次又一次地证明了在开发人员职位中和跨行业的数据科学职位中的实用性。整个Python及其库的生态系统使它成为全世界用户（初学者和高级用户）的合适选择。它的成功和流行的原因之一是它强大的第三方库的集合，这些库使它可以保持活力和高效。在本文中，我们会研究一些用于数据科学任务的Python库，而不是常见的比如panda、scikit-le

python

置顶转载 2020-09-20 00:10:51 190 阅读

Python代码规范检测

一定要注重代码规范，按照平时的代码管理，可以将Python代码规范检测分为两种：静态本地检测：可以借助静态检查工具，比如：Flake8，Pylint等，调研了一下，用Flake8的相对较多，功能满足，本文将使用Flake8git：可借助githooks，本文推荐使用pre-commit。静态本地检测Flake8包装了Pyflakes、Pycodestyle和McCabe，也可以自定义插件。功能包括

python

置顶转载 2020-09-17 12:49:55 393 阅读

k8s之Service资源

Service资源是为动态管理的Pod对象添加一个固定访问入口。Service为四层调度器service通过标签选择器关联至拥有相关标签的Pod对象客户端向Service进行请求，而非目标Pod对象，当Service资源变动时，有kube-proxy控制器将规则应用至本机iptables或者ipvs规则。而kube-proxy为DaemonSet控制器将会在集群中每个节点运行一个Pod或者守护进程

K8S

置顶转载 2020-09-15 22:34:17 686 阅读

一行代码实现Python并行处理

Python在程序并行化方面多少有些声名狼藉。撇开技术上的问题，例如线程的实现和GIL，我觉得错误的教学指导才是主要问题。常见的经典Python多线程、多进程教程多显得偏"重"。而且往往隔靴搔痒，没有深入探讨日常工作中最有用的内容。传统的例子简单搜索下"Python多线程教程"，不难发现几乎所有的教程都给出涉及类和队列的例子：importosimportPI

Python

置顶转载 2020-09-13 23:17:14 267 阅读

RabbitMQ高可用介绍

1.全局图HAproxy来做RabbitMQ负载均衡和高可用，用Keepalived来保证HAproxy的高可用。客户端通过VIP建立通信链路；通信链路通过Keeaplived的Master节点路由到对应的HAProxy之上；HAProxy通过负载均衡算法将负载分发到集群中的各个节点之上。正常情况下客户端的连接通过图中左侧部分进行负载分发。当Keepalived的Master节点挂掉或者HAPro

RabbitMQ

置顶转载 2020-09-12 23:13:23 315 阅读

ZooKeeper分布式锁应用

一、Zookeeper是什么Zookeeper是一个高性能的分布式系统的协调服务。它在一个简单的接口里暴露公共服务：像命名、配置管理、同步、和群组服务，所以你没有必要从头开始实现它们。你可以使用现成的Zookeeper去实现共识、群组管理、领导人选举和业务协议。并且你可以在它的基础之上建立自己特定的需求。二、Zookeeper分布式锁的实现原理利用临时顺序节点实现Zookeeper分布式锁。1、首

ZooKeeper

置顶翻译 2020-09-11 22:08:08 1079 阅读

一行代码实现Python并行处理

Python在程序并行化方面多少有些声名狼藉。撇开技术上的问题，例如线程的实现和GIL，我觉得错误的教学指导才是主要问题。常见的经典Python多线程、多进程教程多显得偏"重"。而且往往隔靴搔痒，没有深入探讨日常工作中最有用的内容。传统的例子简单搜索下"Python多线程教程"，不难发现几乎所有的教程都给出涉及类和队列的例子：importosimportPI

Python

置顶转载 2020-09-10 23:22:10 315 阅读

高可用RocketMQ集群搭建

一、集群搭建可选方式RocketMQ的物理部署结构图如下：Producer和Consumer对应的是我们的应用程序，多个NameServer实例组成集群，但相互独立，没有信息交换，所以对于NameServer来说部署两个或两个以上即可保证高可用，对于Broker来说，我们可以选择以下几种集群部署方式：1.单Master模式这种方式风险较大，一旦Broker重启或者宕机时，会导致整个服务不可用。不建

rocketmq

置顶转载 2020-09-08 22:00:22 1582 阅读

python在图片中添加文字学习文档

一开始出现错误如下：原因为0000.JPG前应该是\而不是.修改后，运行以下代码，报错：查阅资料后，加上了字体文件的路径运行以下代码后，仍有相同的报错fromPILimportImage,ImageDraw,ImageFontim=Image.open("E:\\WNCG\\daydayup\\0000.JPG")draw=ImageDraw.Draw(im)newfont=ImageFont.t

python

置顶转载 2020-09-06 23:48:19 390 阅读

python之requests库使用

requests库虽然Python的标准库中urllib模块已经包含了平常我们使用的大多数功能，但是它的API使用起来让人感觉不太好，而Requests宣传是“HTTPforHumans”，说明使用更简洁方便。安装和文档地址利用pip可以非常方便的安装：pipinstallrequests中文文档：http://docs.python-requests.org/zh_CN/latest/index

python

置顶转载 2020-09-06 23:43:27 463 阅读

ActiveMQ集群安装

一、ActiveMQ集群的简单介绍从ActiveMQ5.9开始,ActiveMQ的集群实现方式取消了传统的Master-Slave方式,增加了基于ZooKeeper+LevelDB的Master-Slave实现方式。其他两种方式目录共享和数据库共享依然存在。三种集群方式的对比:(1)基于共享文件系统(KahaDB,默认):<persistenceAdapter><kahaDBdi

ActiveMQ

置顶转载 2020-09-05 20:46:45 335 阅读

Docker中级篇

Docker镜像理解Docker镜像是什么镜像是一种轻量级、可执行的独立软件包，用来打包软件运行环境和基于运行环境开发的软件，它包含运行某个软件所需的所有内容，包括代码、运行时库、环境变量和配置文件Docker镜像加载原理UnionFs：联合文件系统UnionFs(联合文件系统)：Union文件系统(UnionFs)是一种分层、轻量级并且高性能的文件系统，它支持对文件系统的修改作为一次提交来一层层

docker

置顶转载 2020-09-04 22:12:11 314 阅读

python之requests库使用

requests库虽然Python的标准库中urllib模块已经包含了平常我们使用的大多数功能，但是它的API使用起来让人感觉不太好，而Requests宣传是“HTTPforHumans”，说明使用更简洁方便。安装和文档地址利用pip可以非常方便的安装：pipinstallrequests中文文档：http://docs.python-requests.org/zh_CN/latest/index

python

置顶转载 2020-09-04 00:00:48 284 阅读

ActiveMQ的单机安装

1、安装环境CentOS6.5JDK1.8IP：192.168.31.103安装用户：普通用户2、安装JDK并配置相关环境变量下载JDK包，并配置环境变量$wget--no-check-certificate--no-cookies--header"Cookie:oraclelicense=accept-securebackup-cookie"https://download.oracle.com

ActiveMQ

置顶转载 2020-09-02 23:49:46 264 阅读

ActiveMQ的单机安装

1、安装环境CentOS6.5JDK1.8IP：192.168.31.103安装用户：普通用户2、安装JDK并配置相关环境变量下载JDK包，并配置环境变量$wget--no-check-certificate--no-cookies--header"Cookie:oraclelicense=accept-securebackup-cookie"https://download.oracle.com

ActiveMQ

置顶转载 2020-09-02 23:49:44 351 阅读

记一次Python Web接口优化，性能提升25倍！

背景我们负责的一个业务平台，有次在发现设置页面的加载特别特别地慢，简直就是令人发指让用户等待36s肯定是不可能的，于是我们就要开启优化之旅了。投石问路既然是网站的响应问题，可以通过Chrome这个强大的工具帮助我们快速找到优化方向。通过Chrome的Network除了可以看到接口请求耗时之外，还能看到一个时间的分配情况，选择一个配置没有那么多的项目，简单请求看看：虽然只是一个只有三条记录的项目，加

python

置顶转载 2020-08-31 23:58:34 245 阅读

搭建企业级私有仓库harbor-V2.0并上传镜像

安装harbor仓库服务器基本需求CPU2个内存4GB硬盘40GB环境需求python版本2.7以上docker版本1.10以上端口第一步需要安装docker-composecurl-Lhttps://github.com/docker/compose/releases/download/1.9.0/docker-compose-`uname-s`-`uname-m`>/usr/local/

harbor

docker

置顶原创 2020-08-30 23:16:41 532 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

马哥Linux培训

kubeadm部署单master节点

nginx升级与回退

快速指南：如何创建基于Python的爬虫

一文带你了解阿里云Linux服务器的基本操作

在CentOS7上安装RocketMQ 4.7.1

Python利用S3的Presigned URLs实现无鉴权上传与下载

Python利用S3的Presigned URLs实现无鉴权上传与下载

在Kubernetes的一个Pod内连续依次执行Container

RocketMq架构原理和使用总结

智能运维大数据处理时发生数据倾斜的解决方案

由Flink与Kafka实践探究Kafka的两个问题

用Python操作Kubernetes的Job

详解Docker中Image、Container与 Volume 的迁移

非常实用的 Python 库

Python代码规范检测

k8s之Service资源

一行代码实现Python并行处理

RabbitMQ高可用介绍

ZooKeeper分布式锁应用

一行代码实现Python并行处理

高可用RocketMQ集群搭建

python在图片中添加文字学习文档

python之requests库使用

ActiveMQ集群安装

Docker中级篇

python之requests库使用

ActiveMQ的单机安装

ActiveMQ的单机安装

记一次Python Web接口优化，性能提升25倍！

搭建企业级私有仓库harbor-V2.0并上传镜像

欢迎