一百个小排的博客_Linux的基础,Linux的服务,虚拟化云计算

PostgreSQL 数据库常用操作

PostgreSQL 删除数据库删除数据库有时会遇到这样的错误信息。ERROR: database 'xxx' is being accessed by other usersDETAIL: There are x other sessions using the database.当遇到这样的错误信息时，我们需要先将连接到这个数据库的连接删除，然后才可以删除这个数据库。SELECT pg_ter

postgresql

sql

数据库

perl

远程服务器

原创 2021-11-26 09:32:32 1021 阅读

tomcat https

keytool -genkey -v -alias tomcat -keyalg RSA -keystore /root/cert/tomcat.keystore -validity 36500 <Connector executor="tomcatThreadPool"

tomcat

javascript

xml

css

json

原创 2021-11-24 15:12:43 228 阅读

Nginx使用X-Frame-Options防止被iframe跨域

Refused to display 'http://www.***.com/org/***' in a frame because it set 'X-Frame-Options' to 'SAMEORIGIN'. 触发原因：页面的返回头被设置 X-Frame-Options SAMEORIGIN ，只能被同源的iframe 引用。跨域名的iframe 没法显示了。nginx 在 http://

ide

nginx

sed

跨域

原创 2021-11-19 18:47:34 8191 阅读

设置操作系统保留的最小内存

为防止操作系统内存耗尽而导致操作系统卡死，内核无法运转的情况，可以给操作系统固定分配最小自占的内存一般内存大的机器建议1G，小机器建议512Mecho 512000 > /proc/sys/vm/min_free_kbytes

内存

原创 2021-11-16 20:03:28 693 阅读

Tomcat控制台中文乱码解决办法

Tomcat控制台中文乱码解决办法安装Tomcat之后，启动Tomcat出现中文乱码的情况。尝试了各种解决办法：1、在conf-server.xml中修改2、修改bin-catalina.bat文件3、查找注册表win+R：regedit，打开注册表找到HKEY_CURRENT_USER→Console→Tomcat，找到CodePage项，没有则创建，更改值为十进制的65001以上几种方法均没有

tomcat

中文乱码

xml

乱码问题

右键

原创 2021-11-16 20:01:02 1441 阅读

windows 配置端口转发

端口转发的源主机ip：“source_ip”；端口转发的目标主机ip：“destination_ip”001 使用netsh工具，必须电脑上安装ipv6netsh interface ipv6 install010 netsh 工具查看命令netsh interface portproxy showshow all - 显示所有端口代理参数。show v4tov4 - 显示 IPv4 代理连接到

端口转发

原创 2021-11-16 17:08:20 1382 阅读

linux下创建一个只读用户并对目录赋权

[root@shanghai-jiaxin-ceshi-shanghai ~]# useradd reader #添加用户[root@shanghai-jiaxin-ceshi-shanghai ~]# passwd reader #这里是创建passwd对该用户可访问的目录进行授权[root@shanghai-jiaxin-ceshi-shanghai ~]# setfacl -R -m u

添加用户

用户权限

原创 2021-11-16 17:07:37 471 阅读

大量TIME_WAIT解决办法

通过调整内核参数解决vi /etc/sysctl.conf编辑文件，加入以下内容：net.ipv4.tcp_syncookies = 1net.ipv4.tcp_tw_reuse = 1net.ipv4.tcp_tw_recycle = 1net.ipv4.tcp_fin_timeout = 30然后执行/sbin/sysctl -p让参数生效。net.ipv4.tcp_syncookies =

服务器

重发

编辑文件

短连接

等待队列

原创 2021-11-16 16:31:13 259 阅读

Azkaban2.5.0集群安装

一.部署环境本集群azkaban部署模式位分布式安装，webserver在cdh01,executor在cdh01、cdh02、cdh03三台节点，mysql5.7在cdh03,采用的是2.5.0版本。1.注意要点a.mysql数据库是程序指定的版本5.7，且源码中的jdbc以及url都是5.7格式的，注意mysql版本问题b.Azkaban各版本的sql脚本中的建表语句或许会有所差别，2.5.0

Azkaban

hadoop

cdh

调度

原创 2020-11-13 16:36:46 1263 阅读

CDH6.3.2集成flink1.9.0

一.下载flink相应的csd文件和parcels文件到本地https://archive.cloudera.com/csa/1.0.0.0/csd/https://archive.cloudera.com/csa/1.0.0.0/parcels/二.将下载下来的包放到集群的CDH01主节点重启cm(利用命令重启cm,不要在web操作,无效)systemctlrestartcloudera-scm

CDH

hadoop

flink

原创 2020-11-13 16:28:24 1354 阅读

CDH6.3.2集群搭建

一.CDH简介官网：https://www.cloudera.com/CDH，全称Cloudera'sDistribution,includingApacheHadoop。是Hadoop众多分支中对应中的一种，由Cloudera维护，基于稳定版本的ApacheHadoop构建，提供了Hadoop的核心（可扩展存储、分布式计算），最为重要的是提供基于web的用户界面。优点：版本划分清晰，更新

CDH

hadoop

大数据

原创 2020-11-13 16:20:33 4573 阅读

Etcd+Confd实现Nginx配置文件变化自动更新服务

一.Confd介绍Confd是一个集中化配置管理系统，一方面提供统一的本地配置管理，使用etcd或consul存储的数据渲染模板，还支持redis、zookeeper等，另一方面提供配置变更的自动下发，及时生效配置文件。二.confd的部署1.本次测试部署架构etcd保存配置数据confd：confd有一个watch功能，通过HTTPAPI定期监测对应的etcd中目录变化，获取最新的Value，然

Etcd+Confd

自动更新

灰度发布

原创 2020-10-16 19:37:53 3043 阅读 1收藏

Flume-NG采集日志信息到HDFS(测试单节点)

一.FlumeNG简述FlumeNG是一个分布式，高可用，可靠的系统，它能将不同的海量数据收集，移动并存储到一个数据存储系统中。轻量，配置简单，适用于各种日志收集，并支持Failover和负载均衡。并且它拥有非常丰富的组件。FlumeNG采用的是三层架构：Agent层，Collector层和Store层，每一层均可水平拓展。其中Agent包含Source，Channel和Sink，三者组建了一个A

hadoop

Flume-NG

hdfs

原创 2020-09-25 18:08:05 1611 阅读

大数据Hadoop生态圈介绍

一.Hadoop简介Hadoop是一个分布式系统基础架构，由Apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。简单地说来，Hadoop是一个可以更容易开发和运行处理大规模数据的软件平台。Hadoop的核心组件是HDFS、MapReduce。随着处理任务不同，各种组件相继出现，丰富Hadoop生态圈，目前生态圈结构大致如图所示：二.Ha

HDFS；MapReduceHBAS

hadoop

flume

spark

转载 2020-09-25 13:42:59 787 阅读 1点赞

Redis5.0数据淘汰策略详解

作为一个内存数据库，redis在内存空间不足的时候，为了保证命中率，就会选择一定的数据淘汰策略，这篇文章主要讲解常见的几种内存淘汰策略。和我们操作系统中的页面置换算法类似。一、参数设置我们的redis数据库的最大缓存、主键失效、淘汰机制等参数都是通过配置文件来配置的。这个文件是我们的redis.config文件，我们的redis装在了/usr/local/redis目录下，所以配置文件也在这里。首

Redis

淘汰策略

转载 2020-08-28 10:43:41 495 阅读

Hadoop3.2.1伪分布式和分布式详细搭建

一.环境介绍1.centos7.6vmware虚拟机主节点190.168.3.250slave190.168.3.251slave190.168.3.2522.每个节点配置好hosts解析3.下载好软件https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.htmlhadoop-3.

hadoop

yarn

hdfs

分布式

原创 2020-08-27 17:46:30 1552 阅读 1点赞

Hadoop介绍讲解

HadoopHadoop是一款开源的大数据通用处理平台，其提供了3个组件，分别是HDFS分布式文件系统、YARN分布式资源调度、MapReduce分布式离线计算。MapReduce适合大规模的数据同时对实时性要求不高的场景，不适合大量的小文件以及频繁修改的文件。Hadoop的特点1.水平扩展：Hadoop集群可以达到上千个节点，同时能够动态的新增和删除节点，能够存储和处理PB级的数据量。2.低成本

hadoop

HDFS

YARN

MapReduce

转载 2020-08-27 15:25:32 1003 阅读 1点赞

图解浏览器请求,DNS,CDN过程

![](https://s4.51cto.com/images/blog/202007/28/3f8385dc9b28c8491c55702c37e1f2e3.jpg?x-oss-process=image/watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3p

浏览器请求

DNS

CDN

原创 2020-07-28 13:15:10 472 阅读

iostat命令性能监测详解

一.iostatiostat命令被用于监视系统输入输出设备和CPU的使用情况。它的特点是汇报磁盘活动统计情况，同时也会汇报出CPU使用情况。同vmstat一样，iostat也有一个弱点，就是它不能对某个进程进行深入分析，仅对系统的整体情况进行分析。二.安装yuminstallsysstat-y三.用法iostat(选项)(参数)选项-c：仅显示CPU使用情况；-d：仅显示设备利用率；-k：显示状态

io

iostat

瓶颈

转载 2020-07-22 10:10:01 828 阅读

轻量级日志采集系统Loki+grafana搭建

一.Loki介绍整体架构Loki的架构非常简单，使用了和prometheus一样的标签来作为索引，也就是说，你通过这些标签既可以查询日志的内容也可以查询到监控的数据，不但减少了两种查询之间的切换成本，也极大地降低了日志索引的存储。Loki将使用与prometheus相同的服务发现和标签重新标记库,编写了pormtail,在k8s中promtail以daemonset方式运行在每个节点中，通过kub

日志采集

轻量级

loki

grafana

原创 2020-07-16 13:32:45 10000+阅读

nginx无证书stream模块反向代理https

公司研发一般在内网环境下，但是开发时需要调用某些第三方接口。这时可以用一台服务器做nginx反向代理，然后研发机器修改host文件将域名指向服务器即可实现代理转发。但是普通的nginxhttp反向代理代理https时需要配置证书，我们不可能有第三方接口域名的证书，所以要使用nginx的stream模块。普通的nginx反向代理时第七层代理，而stream模块是第四层代理，转发的tcp/ip协议，所

nginx

https反向代理

转载 2020-05-15 13:59:54 10000+阅读 1点赞

supervisor进程管理程序

一.supervisor简介Supervisor是用Python开发的一套通用的进程管理程序，能将一个普通的命令行进程变为后台daemon，并监控进程状态，异常退出时能自动重启。它是通过fork/exec的方式把这些被管理的进程当作supervisor的子进程来启动，这样只要在supervisor的配置文件中，把要管理的进程的可执行文件的路径写进去即可。也实现当子进程挂掉的时候，父进程可以准确获取

supervisor

进程管理

docker进程管理

原创 2020-03-30 17:36:08 1377 阅读

php登陆表单防注入练习

<!DOCTYPEhtml><html><head><title>后台表单登录页面</title><metacharset=UTF-8></head><body><center><h3>后台登录</h3><formaction=""metho

php

登陆表单

防注入验证

原创 2020-01-06 14:20:10 1005 阅读

使用squid stunnel实现代理服务

平常我这边都用的是ss，今天测试一下squid+stunnel实现代理服务 1.服务端：云服务器，服务端squid 2.本地内网的PC机，能上网就行，客户端stunnel

squid;stunne

代理

原创 2020-01-02 10:24:10 2196 阅读

Prometheus完整搭建及实战各种监控

一.Prometheus介绍Prometheus（普罗米修斯）是一个最初在SoundCloud上构建的监控系统。自2012年成为社区开源项目，拥有非常活跃的开发人员和用户社区。为强调开源及独立维护，Prometheus于2016年加入云原生云计算基金会（CNCF），成为继Kubernetes之后的第二个托管项目。https://prometheus.iohttps://github.com/pro

prometheus

容器监控

docker

钉钉告警

原创 2019-12-31 09:51:39 10000+阅读 1点赞 1收藏

weavescope监控容器

一.介绍Docker和k8s的监控WeaveScope，功能强大，但配置简单，于是开始了接下来的配置，WeaveScope这个项目会自动生成容器之间的关系图，方便理解容器之间的关系，也方便监控容器化和微服务化的应用。WeaveScope能够很便捷的监控多容器主机，并且消耗的资源非常少。而且能从web界面进入到容器和宿主机，所以管理容器很方便，但是个人感觉不好的地方是没有密码认证，登陆起来不安全二.

weave

scope

容器监控

原创 2019-12-23 12:57:42 835 阅读 1点赞

python2.7.5升级到pyhon3.6.9

一.安装所需包yum-yinstallsqlite-develxzgccautomakezlib-developenssl-develepel-release二.下载python3.6.9https://www.python.org/ftp/python/3.6.9/wgethttps://www.python.org/ftp/python/3.6.9/Python-3.6.9.tgztarzxv

python3

pyhon安装

原创 2019-09-18 15:02:14 1382 阅读

安装堡垒机jumpserver

1.安装web界面，ssh主要功能参照以下文档https://blog.51cto.com/13588693/2392779搭建，文档很详细Mysql：用户jumpserver密码jumpserver数据库jumpserverRedis没有密码2.windows组件，使用docker，不要使用windows远程，可以不安装，我这边需要windows主机连接电脑，所以这边为了方便，使用的是docke

堡垒机

跳板机

jumpserver

转载 2019-09-05 20:14:03 1006 阅读

Weave跨主机实现docker互通，固定ip及dns使用介绍

一.weave介绍Weave是由weaveworks公司开发的解决Docker跨主机网络的解决方案，现在就采用它来实现Docker多宿主机互联的目的，它能够创建一个虚拟网络，用于连接部署在多台主机上的Docker容器，这样容器就像被接入了同一个网络交换机，那些使用网络的应用程序不必去配置端口映射和链接等信息。外部设备能够访问Weave网络上的应用程序容器所提供的服务，同时已有的内部系统也能够暴露到

docker

weave

网络

原创 2019-08-06 15:52:05 1776 阅读 1点赞

docker WARNING: IPv4 forwarding is disabled解决方法

WARNING:IPv4forwardingisdisabled.Networkingwillnotwork.解决办法：在宿主机上面执行：echonet.ipv4.ip_forward=1>>/usr/lib/sysctl.d/00-system.conf重启network和docker服务systemctlrestartnetwork&&systemctlrestar

docker

network

forwarding

转载 2019-08-06 14:39:57 1193 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	在线客服	网站地图	意见反馈

开源基础软件社区	51CTO学堂
51CTO	汽车开发者社区

51CTO博客

运维

PostgreSQL 数据库常用操作

tomcat https

Nginx使用X-Frame-Options防止被iframe跨域

设置操作系统保留的最小内存

Tomcat控制台中文乱码解决办法

windows 配置端口转发

linux下创建一个只读用户并对目录赋权

大量TIME_WAIT解决办法

Azkaban2.5.0集群安装

CDH6.3.2集成flink1.9.0

CDH6.3.2集群搭建

Etcd+Confd实现Nginx配置文件变化自动更新服务

Flume-NG采集日志信息到HDFS(测试单节点)

大数据Hadoop生态圈介绍

Redis5.0数据淘汰策略详解

Hadoop3.2.1伪分布式和分布式详细搭建

Hadoop介绍讲解

图解浏览器请求,DNS,CDN过程

iostat命令性能监测详解

轻量级日志采集系统Loki+grafana搭建

nginx无证书stream模块反向代理https

supervisor进程管理程序

php登陆表单防注入练习

使用squid stunnel实现代理服务

Prometheus完整搭建及实战各种监控

weavescope监控容器

python2.7.5升级到pyhon3.6.9

安装堡垒机jumpserver

Weave跨主机实现docker互通，固定ip及dns使用介绍

docker WARNING: IPv4 forwarding is disabled解决方法