Free_1的博客_其他云技术,图像设计,云服务,Hyper-V,其他系统运维,云平台,自动化运维,Vmware

datax同步MySQL数据到mongodb

根据生产需要，同步非实时数据到mongodb。经过同事间的不断研究，特弄出了这样一套方案：MySQL（RDS）------>Datax------>mongodb。我们的mysql用的是阿里云的rds,datax也是阿里用的非常多的，安装部署较为简单。datax部署：下载地址：http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/da

datax

同步数据

原创 2019-03-20 17:51:45 8260 阅读

gitlab集成ldap

出于公司账号太多的缘故，遂萌生了gitlab集成ldap的念头。ldap在此不做描述，推荐用docker镜像安装，简单了事。gitlab集成ldap比较简单只需修改gitlab配置文件：/etc/gitlab/gitlab.rb。。。。。（中间配置不动，此处省略）注意：uid：由于我的ldap用户全是英文，所以我的值是cn，此处没配置好，登录最易报错。配置完成后，gitlab-ctlreconfi

gitlab

集成

ldap

原创 2019-03-20 11:12:00 4059 阅读

gitlab升级

公司gitlab版本过旧，为满足生产环境需要，故升级gitlab8至gitlab11。切记，升级前务必做好数据的备份。备份：gitlab-rakegitlab:backup:create还原备份：gitlab-rakegitlab:backup:restoreBACKUP=备份版本号gitlab不能跨越大版本号，只能升级到当前最高版本号，然后才能升级至下一大版本，升级完成后必须保证数据可以正常访问

gitlab

升级

原创 2019-03-20 10:41:58 921 阅读

OEM与常见故障处理

1、oem：oracle企业管理器，是oracle图形化的管理工具，端口号1158，使用https：//地址:1158/em方式访问安装数据库时默认安装，可以使用emca命令重建2、有两个版本：databasecontrol用于监控单个数据库gridcontrol用于管理多数据库的大规模复杂的环境3、启动和关闭oem及查看状态：emctlstart|stop|statusdbconsole4、oe

oem

常见

故障处理

原创 2018-04-24 15:48:31 986 阅读

备份与恢复

1、oracle的故障类型：语句故障、用户进程故障、实例故障、介质故障2、备份类型：1）根据物理与逻辑分物理备份（备份物理文件）和逻辑备份（备份表等逻辑组件）2）根据备份策略分：完全备份、增量备份、差异备份3、恢复分类：实例恢复、介质恢复（分完全和不完全恢复）。4、rman：恢复管理器：组件：目标数据库target（需要备份的数据库）、服务器会话、rman资料库、恢复目录catalog、mml（磁

oracle

备份

恢复

原创 2018-04-21 15:41:42 888 阅读 1点赞

Oracle事务和常用数据库对象

1、事务：有一组命令组成的逻辑单元，保证所有操作要么全部成功要么全部失败。以下情况事务结束：1）显式提交（commit）2）显式回滚（rollback）3）ddl语句隐身提交4）正常结束程序提交5）非正常结束程序回滚事务特点：ACID特性1）原子性2）一致性3）隔离性4）持久性命令：commit提交rollback回滚setautocommiton自动提交（回滚无效）2、索引：快速访问数据，一个单

oracle

数据库

对象

原创 2018-04-19 13:45:13 685 阅读 1点赞

Oracle配置管理

1、服务器的监听配置：默认端口号1521启动和关闭监听：lsnrctlstart|stop[listerer监听器名]一般要先启动监听再启动实例，也可以在数据库中静态注册。增加监听器方式：通过命令netca或netmgr通过配置服务器配置文件listener.ora文件客户端配置：通过配置客户端配置文件tnsnames.ora文件指定服务器的主机名或ip、协议、端口号及数据库服务名或sid连接方式

oracle

配置

原创 2018-04-17 13:22:06 574 阅读 1点赞

部署社交网站

1、svn：subversion，版本控制系统，php语言开发。方便团队管理、开发、更新、维护软件。端口号：3690/tcp2、svn的配置步骤：1）项目管理人员创建仓库并设置相应验证信息和权限:svnadmincreate/opt/svn/repo配置文件有三个（conf目录下）：svnserve.conf服务器主配置文件authz权限控制文件passwd账户密码文件2)项目经理创建项目：svn

部署

社交

网站

原创 2018-04-15 13:16:53 595 阅读 1点赞

Hadoop

1、hadoop：由java语言开发的开源的分布式计算平台。可提供PB（100万G）存储。hadoop是可靠的，高效的，可伸缩的。hadoop假设计算元素和存储会失败，维护多个副本，确保针对失败的节点重分布处理。文件以块的方式存储.2、hadoop最核心的是hdfs和mapreduce，hdfs为海量存储提供存储。mapreduce为海量数据提供计算。mapreduce分为jobtrackers和

hadoop

安装

部署

原创 2018-04-08 13:44:54 10000+阅读 1点赞 1收藏

puppet部署与应用

1、puppet：运维自动化软件，针对多台服务器统一操作，批量安装、上线维护，减少人力及误操作风险。可在单机上也可以以C/S机构使用。服务器端为puppetmaster，客户端为puppetclient.client和master之间是基于ssl和证书的，需要注册。Puppet同步后会保持状态，默认30分钟重新检测同步一次。2、puppet工作流程：1）客户端通用facter探测主机的变量，并通过

puppet

部署

应用

原创 2018-04-05 14:10:09 769 阅读

Keepalived双机热备

1、Keepalived：专为LVS和HA设计的一款健康检查工具功能：支持故障切换（调度器）支持节点健康检查（web服务器）使用VRRP（虚拟路由冗余协议），一主多备，共用同一个IP地址漂移地址，群集地址），但优先级不同。2、Keepalived的安装配置：1、编译安装：需安装ipvsadm全局设置：global_defsRouter_id服务器名称热备设置：vrrp_instancestate状

keepalived

双机热备

51cto

原创 2018-04-03 14:38:05 555 阅读

MFS分布式文件系统

1、mfs（mooseFS）：分布式文件系统，文件系统管理的物理资源存储在不同的节点上，通过计算机网络与节点相连。具有容错、高可用性，可扩展的海量存储等特性。mfs好处：集中访问，简化操作，数据容灾，提高文件存取性能。2、mfs原理：1）、mfs文件系统组成：元数据服务器（master）：管理文件系统，维护元数据元数据日志服务器（metalogger）：备份master的日志变化，文件类型为cha

mfs

分布式

文件系统

原创 2018-04-03 14:28:16 903 阅读

Nagios监控系统

1、Nagios是一款开源的免费网络监视工具，可以监控Windows、Linux和Unix的主机状态，交换机路由器等网络设备，在系统或服务状态异常时发出邮件或短信报警，第一时间通知网站运维人员。流量监控不是他的强项，流量监控建议使用cacti（可以绘制非常直观的图形。2、nagios工作原理Nagios本身不包括监控主机和服务的功能。所有的监控、监测功能都是通过各种插件来完成的。安装完nagios

nagios

监控系统

51cto

原创 2018-04-03 14:27:14 431 阅读

服务器监控cacti

1、cacti：流量和性能检查nagios：服务与性能检测RRDtool：轮询数据工具，记录数据并绘制图形cacti基于lamp平台，SNMP协议，RRDtool数据轮询工具以web方式显示监控信息C/S结构检测数据，B/S结构管理检测平台2、cacti安装步骤1、安装LAMP平台，net-anmp,RRDtool等支持软件2、安装并配置cacti套件，cacti配置文件为config.php3、

cacti

服务器

监控

原创 2018-03-27 18:03:59 679 阅读 1点赞

Mysql主从复制与读写分离

1、mysql主从复制：类型：1、基于语句地复制，将执行地命令复制。默认采用此法，效率高。2、基于行的复制。将改变的内容复制3、混合类型的复制复制过程：master在日志中记录改变，并通知存储引擎提交，slave将master的日志复制到中继日志，slave从中继日志读取事件并更新，使其与master一致。2、mysql读写分离：只在主服务器上写，只在从服务器上读分类：1、基于程序代码内部实现2、

MySQL

主从复制

读写分离

原创 2018-03-25 14:35:00 591 阅读 1点赞

使用Haproxy搭建Web群集

1、Haproxy是目前比较流行的一种群集调度工具，同类群集调度工具有很多，如Nginx，LVS相比较而言，LVS性能最好，但是搭建相对复杂，Nginx的upstream模块支持群集功能，但是对集群节点健康检查功能不强，性能没有Haproxy好。2、Haproxy：搭建简单，可进行访问控制，支持健康检查LVS：性能最好，搭建复杂Nginx：通过upstream模块，性能稍差3、HTTP请求：两种方

haproxy

搭建

Web

原创 2018-03-22 14:15:25 538 阅读

LVS负载均衡集

1、群集：cluster多台主机对外表现为一个整体类型：1、负载均衡群集（LB）以提高应用系统的响应能力，尽可能处理更多的访问请求、减少延迟为目标，获得高并发、高负载（LB）的整体能力。2、高可用群集（HA）以提高应用系统的可靠性、尽可能的减少中断时间为目标，确保服务的连续性，达到高可用（HA）的容错效果。3、高性能运算群集（HPC）以提高应用系统的CPU运算速度、扩展硬件资源和分析能力为目标，获

LVS

均衡集

原创 2018-03-14 20:19:59 641 阅读 1点赞 1评论

部署KVM虚拟化平台

kvm

部署

原创 2018-03-11 13:29:55 619 阅读

部署Tomcat及其负载均衡

1、Tomcat：Java语言开发的Web站点首页为index.jsp性价比高、开源、轻量级服务器，适用小企业主要用于处理jsp的动态网页2、Tomcat的安装1、必须先安装JDK以支持java语言2、启动命令：startup.sh关闭命令:shutdown.sh端口号：80803、Tomcat的配置bin：存放脚本conf：存放配置文件webapps:存放网页配置文件：server.xml主配置

tomcat

负载均衡

原创 2018-03-08 14:20:56 554 阅读

Nginx网站服务

1、Nginx：高性能、轻量级网站服务器稳定、资源消耗低并发能力强不能直接支持动态网页2、Nginx的安装--with-http_stub_status_module添加状态统计模块检查nginx语法：nginx-t启动nginx：nginx重新加载nginx：killall-sHUPnginx退出nginx：killall-sQUITnginx杀死nginx：kiallall-sKILLngin

nginx

网站服务

原创 2018-03-06 13:08:46 978 阅读

Squid代理服务器

1、squid代理：缓存网页，减少重复请求，加快访问速度，隐藏真实ip代理的分类：传统代理：适用internet和内网，客户端需明确指定代理服务器。透明代理：适用于内网访问外网，不需要指定代理服务i去，但必须指定网关，网关配置iptables策略，将端口重定向到代理服务器端口。2、squid的安装./configure--prefix=/usr/local/squid--sysconfidir=/

squid

服务器

原创 2018-03-04 15:04:32 8723 阅读

rsync远程同步

1、rsync：快速增量备份工具，实现远程同步，可使用ssh和rsync备份源rsync服务器：备份源，提供一个目录供客户端上传或下载2、rsync的配置：建立rsync的配置文件：/etc/rsyncd.confusechroot=yes禁锢在源地址port837默认端口号为873pidfile进程号文件位置hostsallow允许访问客户机地址[wwwroot]共享名path=/路径真正的文件

rsync

远程同步

原创 2018-02-27 11:30:18 851 阅读

iptables防火墙(二)

1、SNAT:源地址转换实现内网访问外网，修改源IP地址，使用POSTROUTING命令：iptables-tnat-APOSTROUTING-s192.168.1.0/24-jSNAT--to-source202.1.1.12、MASQUERADE:地址伪装适用于外网IP地址非固定的情况将SNAT规则改为MASQUERADE即可命令：iptables-tnat-APREROUTING-s192.

iptables

防火墙

原创 2018-02-06 14:36:14 510 阅读 1收藏

iptables防火墙（一）

1、防火墙：内核中具有包过滤体系内核态：netfilter用户态：iptables管理工具工作在网络层：可以对ip地址、端口、协议等信息进行处理2、规则链：规则的集合五种链：（必须大写）INPUT：入站OUTPUT：出站FORWARD：转发POSTROUTING：路由后转换PREROUTING：路由前转换3、规则表：规则链的集合有4个表：Raw：状态跟踪Mangle：设置标记Nat：地址转换Fil

防火墙

iptables

原创 2018-02-04 16:42:13 697 阅读 1收藏

远程访问及控制

1、ssh协议：用于远程登录，端口号：22/tcp配置文件：1、服务器端口：/etc/ssh/sshd_config2、客户端：/etc/ssh/ssh_config2、服务器监听选项：UseDNSno：禁用DNS反向解析PermitRootLogin：允许Root登录PermitEmyptPasswords：是否允许空密码AllowUsers/DenyUsers:允许/拒绝用户访问，不可同时使用

ssh

远程

访问

原创 2018-02-04 16:40:28 1078 阅读

系统安全及应用

1、账号安全系统账号清理将非登录用户shell设为/sbin/nologin2、锁定长期不使用的账号3、删除无用的账号锁定账号文件passwd、shadow锁定:chattr+i/etc/passwd/etc/shadow解锁;chattr-i/etc/passwd/etc/shadow查看:lsattr/etc/passwd/etc/shadow密码安全:设置密码有效期:2种方式:对新建用户设置

Linux

系统

安全

原创 2018-01-30 14:18:23 530 阅读

Shell 脚本应用(for、while、case语句应用)

1、for:读取不同的变量值，逐个执行同一组命令，直到取值完毕退出，变量值以空格分隔语法:for变量值in取值列表do命令done2、while:重复测试某个条件，成立则执行，进入下一个循环，直到条件不成立为止语法:while[条件测试]do命令添加更改测试条件语句done批量添加用户:i=QSWhile[$i-le$JS]douseradd$BM$iecho“123456"Ipassw

shell

脚本

原创 2018-01-27 15:09:18 621 阅读

Shell脚本应用（if语句的结构）

1、测试：检测表达式是否成立，成立则返回值为0，否则为非0方法：1）test表达式2）【表达式】2、文件测试：-d：是否为目录-f：是否为文件-e：是否存在-r：是否有读取权限-w：是否有写入权限-x：是否有执行权限3、整数值比较：-eq：等于-ne：不等于-gt：大于-lt：小于-ge：大于等于-le：小于等于4、字符串比较：=：字符串内容相同！=：字符串内容不相同-z：字符串内容为空5、逻辑测

脚本

脚本应用

原创 2018-01-25 14:46:28 986 阅读

Shell脚本应用（shell脚本基础与shell变量）

1、shell：命令解释器1）可支持的shell保存在/etc/shells中2）默认shell为/bin/bash2、shell脚本编写：1）使用vi编辑器2）每行一条命令，依次执行3）赋予可执行权限（x）3、执行方式：1）脚本文件路径：有两种，相对和绝对路径，必须有x权限2）Sh脚本文件路径：无须x权限，相对和绝对路径都可以，在子shell上3）Source（或.）脚本文件路径：无须x权限，在

shell

脚本应用

原创 2018-01-23 15:08:24 998 阅读

LAMP平台部署及应用

1、LAMP的构成LinuxApacheMySQLPHP/Perl/PythonLAMP的优势:(1)成本低廉、全部是开源软件(2)可定制、易于开发(3)方便易用、安全和稳定2、编译安装PHP软件(1)准备工作:卸载rpm方式安装的php及相关依赖包rpm-ephp--nodeps(2)安装数据加密工具:libmcryptmhashmcrypt(3)编译安装PHP:cd/mediatarzxfph

LAMP

平台部署

应用

原创 2018-01-18 12:27:43 495 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

Free_1