ycwyong的博客_大数据

大数据之----hadoop中各pid进程号之快速定位

经常管理和监控，需要进行shell编程，直接对进程kill或者重启操作。我们需要进行快速定位到每个进程的pid号pid默认存储在/tmp目录pid内容为进程号ps-ef|grephadoop出现PIDA,B,C可能误杀B,C[hadoop@hadoop000sbin]$cathadoop-daemon.sh|greppid#HADOOPPIDDIRThepidfilesarestored./tmp

shell

hadoop

快速定位

原创 2018-05-21 16:17:24 3356 阅读

大数据之---Hive全网最详细的编译tar及部署终极篇

1、软件环境 RHEL6 角色 jdk-8u45hadoop-2.8.1.tar.gz apache-maven-3.3.9 mysql-5.1xx.xx.xx.xx ip地址 NN hadoop01xx.xx.xx.xx ip地址 DN hadoop02xx.xx.xx.xx ip地址 DN hadoop03xx.xx.xx.xx ip地址 DN hadoop04xx.xx.xx.xx

大数据

Hive

原创 2018-05-17 14:59:51 2222 阅读 1点赞 1评论

大数据之---hadoop伪分布式部署(HDFS)全网终极篇

1、软件环境RHEL6jdk-8u45hadoop-2.8.1.tar.gzsshxx.xx.xx.xxip地址hadoop1xx.xx.xx.xxip地址hadoop2xx.xx.xx.xxip地址hadoop3xx.xx.xx.xxip地址hadoop4xx.xx.xx.xxip地址hadoop5本次部署只涉及伪分布式部署只是要主机hadoop12.伪分布式部署伪分布式部署文档参考官方网站ha

伪分

布式部

hadoop

原创 2018-05-15 17:08:54 1068 阅读 1点赞 1收藏

大数据之----部署安装编译打包hadoop终极篇

------------------------------软件版本-------------------------------------- RHEL6.8 hadoop2.8.1 apache-maven-3.3.9 findbugs-1.3.9 protobuf-2.5.0.tar.gz jdk-8u45 ------------------------------软件版本--

大数据

Hadoop

原创 2018-05-15 15:38:44 1804 阅读 1点赞 1收藏

rhel6.3上安装有道晕笔记

最近一直用有道作笔记，一个很方便很好用的在线笔记本，有道笔记客户端已经非常好用，但是工作中一直在用linux 平台，网页版的很不好友。网易公司没有推出linux 版本的客户端。在rhel6.3上安装windows的客户软件，安装其他的windows软件到linux 上方法一样。linux下使用有道，必须通过wine。安装它之后才可以安装windows软件。http://www.winehq.org

wine;

原创 2013-01-10 20:37:08 1156 阅读

puppet自动化部署

系统维护不能总是重复一次又一次同样的操作。当然脚本能给我们省去很多重复的工作。但是脚本的运行在不同的平台时，很多时候需要我们去稍作修改，有时一个脚本的编写本身就很费事，而这项工作只需要操作这一次。这时我们为了提高效率、减少重复的事情。减少错误、积累知识、部分自动化工作已经满足不了我们。我们需要彻底的应用自动化软件维护工具。下面我们一起来学习自动化及批量部署的软件。自动化管理及快速的部署软件有很多

自动化部署；puppet；

原创 2013-01-02 14:04:36 1270 阅读 1收藏

linux远程桌面管理

系统自带的vncVNC(Virtual Network Computing,虚拟网络计算机)当本地电脑与操作主机网络断开时，也不影响操作的顺利进行配置vnc的方法：修改文件 /root/.vnc/xstartup 后如下：############################################################!/bin/sh# Uncomment th

vnc;xmanager

原创 2012-12-31 16:52:25 649 阅读

服务管理chkconfig

什么是服务?守护进程(daemon)是一个在后台执行的程序,负责系统上面的某个服务,好让系统可以接受来自使用者或是网络客户端的要求,而加以工作.服务的分类 stand alone服务,独立启动,daemon启动后,会直接常驻内存,响应速度快,常常用在网络服务super daemon服务没有数据包来的时候,该服务不会占用内存,但是反应速度慢查看/etc/xinetd.conf和/etc/x

服务管理；chkconfig

原创 2012-12-31 16:36:16 525 阅读

熟悉rhel6的系统关闭图形下不必要的服务

yum install sysstat -yntsysv --level 234图形界面服务关掉你不必要的服务是最简单的优化5NetwrokManager 是一个自动切换网络连接的后台进程。很多笔记本用户都需要启用该功能，它让你能够在无线网络和有线网络之间切换。大多数台式机用户应该关闭该服务。一些 DHCP 用户可能需要开启它。acpid（全称 Advanc

系统优化服务

原创 2012-12-31 15:58:46 748 阅读

rsync + lsyncd 数据同步

rsync 是一个类unix系统下的远程文件同步和传输工具 rsync 是用"rsync" 算法提供一个客户端和远程文件服务器的文件同步的快速方法 1) 可以镜像保存整个目录树和文件系统。 2) 可以很容易做到保持原来文件的权限、时间、软硬链接等等。 3) 无须特殊

数据备份

数据同步

rsync

lsyncd

原创 2012-09-06 20:42:22 819 阅读

智能DNS(Bind dlz)在企业中的应用

51CTO独家特稿】编者按：在大众网，智能DNS被用在绝大部分二级域名和一些非大众网域名上，一年多来运行的相当稳定。晓辉本次总结了过去一年来部署使用智能DNS过程中的操作步骤和一些经验心得，跟大家分享。去年因为二级域名大量增加、Bind下管理不便的关系，在公司部署了智能DNS（Bind dlz），当时写过一篇部署文档进行了记录。不过在过去一年的使用当中，发现了其中不少的错误，所以本次发布该文档

mysql

复制

休闲

智能dns

bind-dlz

转载精选 2012-04-24 15:39:09 604 阅读

iptables 实战演练

案例公司有三个部门工程部 2.10-2.20 软件部 2.21-2.30 经理办 2.31-2.40 上班时间（周一___周五 08：20：00）工程部 ftp 下班后无限制软件部 http 不允许非法站点sina ，不允许使用迅雷，连接数最多3个，不允许qq，不允许下载电影，不允许浏览图片，下班后无限制经理办公室 http qq 都可以，下班后无限制 dmz区

linux iptables

转载精选 2012-04-23 10:21:07 329 阅读

dump备份

dump 的优点： 1，备份时，文件的权限，宿主，宿组，修改时间等都会被保存 4 增量备份 dump -1u -f /tmp/backup/add_001.dmp /boot &nbs

dump

原创 2012-04-15 15:10:32 966 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

超人归来