51CTO首页
内容精选
博客
学堂
精培
企业培训
CTO训练营
鸿蒙开发者社区
WOT全球技术创新大会
公众号矩阵
移动端
短视频 免费课程 课程排行 直播课 软考学堂
精品班 厂商认证 IT技术 2024年软考 PMP项目管理 软考资讯
在线学习
CTO训练营 技术经理研习营 LeaTech峰会
文章 资源 问答 课堂 专栏 直播
51CTO
开源基础软件社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
开源基础软件社区订阅号
51CTO学堂APP
51CTO学堂企业版APP
开源基础软件社区视频号

用hadoop中的libhdfs和fuse-dfs构建快速云存储

安装版本：OS版本：CentOS 5.4Hadoop版本：0.20.203.0gcc：系统默认4.1.2Jdk：1.6.0.21FUSE：2.7.4环境需求：automake，autoconf，m4，libtool，pkgconfig，fuse，fuse-devel，fuse-libs。需要外部下载ant 1.8.2，在apache网站下载即可安装过程：#wget http://mirror.bj

数据挖掘
hadoop
云存储
hdfs
fuse
原创 推荐 2011-12-28 17:57:16 10000+阅读 5点赞 3评论

基于淘宝Tengine和Scribe的WEB日志收集方案

公司在迁移hadoop到新的集群，涉及到原数据流的迁移，以前是用syslog-ng去push日志，但是配置起来比较麻烦。正好淘宝开发了一个新的tengine，拿过来尝尝鲜，正好利用其pipe功能，可以将日志发送到scribe进行汇总收集，然后就可以舍弃syslog-ng了。反正syslog也是要被Linux抛弃的。按说应该是直接把Scribe的API直接嵌套在程序中，但由于scribe是刚刚开始推

日志
淘宝
nginx
hadoop
scribe
原创 推荐 2011-12-23 19:21:20 10000+阅读 9点赞 1收藏 15评论

Linux与FreeBSD的多网卡绑定增加服务器流量

如果你觉得内网服务器一块千兆网卡已经无法满足你的交换需要，那么这篇文章或可对你有所帮助。其实以前没想过写这篇文章，缘起是前两天国内某知名视频网站约面试，出了这样一个问题：“给你一台服务器，4块千兆网卡，最大输出4G流量如何完成？”当时完成作业也没多想，过了几天部署hadoop集群也用上了，回想起来，还是写出来分享比较好。这可能是很多运维newbie目前遇到的，或者将来可能会遇到的难题。主要也是现在

Linux
绑定
FreeBSD
休闲
多网卡
原创 推荐 2011-12-16 14:42:21 4877 阅读 3点赞 1收藏 5评论

用python编写daemon监控进程并自动恢复(附Shell版)

因为hadoop集群中datanode是大量存在的，那么多机器，什么事都可能发生，最通常的大概就是进程挂掉了。所以为了省事，参考别人的代码写了这个监控进程的daemon。当然，稍加修改就可以用来监控别的必须常驻的进程。只需start，不用后面跟&或者前面加nohup。其实很多人都对进程挂掉很头疼，没事半夜得爬起来上服务器启动进程是一件非常痛苦的事情。每2秒监测一次进程，发现进程消失就重启进

进程
监控
运维
python
自动化
原创 推荐 2011-12-14 19:05:19 10000+阅读 3点赞 2评论

实例讲解hadoop中的hive查询(python语言实现)

条件，假设配置好了hadoop和hive，并可以正常运行首先，要外部查询hive，你需要安装thrift和fb303，或许有别的办法，但我实际应用过程中看来，这是最简单的途径。hive本身提供了thrift的接口。文件在hive解压缩后如下路径中hive/hive-0.7.1/src/service/if/hive_service.thrift然后复制四个文件metastore/if/hive_m

数据挖掘
休闲
python
hadoop
hive
原创 推荐 2011-12-05 16:47:51 10000+阅读 3点赞 2评论

实例讲解hadoop中的map/reduce查询(python语言实现)

条件，假设你已经装好了hadoop集群，配好了hdfs并可以正常运行。$hadoop dfs -ls /data/dw/explorerFound 1 itemsdrwxrwxrwx     - rsync supergroup           

数据挖掘
map
python
hadoop
reduce
原创 推荐 2011-12-02 13:32:52 10000+阅读 6点赞 1收藏 9评论

FreeBSD从零开始---Web服务器搭建（二）

上次我们说到安装nginx和php，那么不能少的就是mysql。以前是LAMP，后来是LNMP。现在，让我们用FNMP构造强壮稳定的服务器。一、Mysql让我们重复以前的操作#cd /usr/ports/#find ./ -name "mysql*"会出来不少路径，数据库，英文database，所以在结果中我们只需要去databases下安装就可以了。这个路径下，除了mysql4.1，5.0，5.

FreeBSD
中国
系统管理员
休闲
webserver
原创 2011-11-22 17:49:45 2379 阅读 1收藏

FreeBSD从零开始---Web服务器搭建（一）

前面我们介绍了FreeBSD的基本安装和网络安全。现在，来吧，搭建你的第一个web应用服务器。当然，作为一个完整系统的优点，就是你不用满internet去找rpm或者源码包。解压缩，指定configure路径参数？完全没有必要。无论你Linux玩的多熟，一旦转向了FreeBSD，你也会为其简单快捷的操作所惊叹。不需要去看./configure --help，只要make就够了。一、我们来装第一台W

FreeBSD
中国
系统管理员
休闲
webserver
原创 推荐 2011-11-21 19:56:24 9441 阅读 4点赞 1收藏 7评论

源码安装scribe的bug说明和解决方案

上篇文章写的是基于FreeBSD的Scribe安装配置和数据分析，其实我不建议用Linux，尤其是CentOS，哪怕Ubuntu Gentoo都可以在半小时内解决问题，在CentOS下安装Scribe真是噩梦一场。我相信很多想在centos下安装scribe的人都遇到了不可思议的问题而放弃。如果你只会使用CentOS，那好吧，我给你解决方案。目前在CentOS 5.4-5.7下可用，要求是64位系

linux
centos
rpm
scribe
thrift
原创 2011-11-17 00:39:48 4908 阅读 4点赞 7评论

实战Scribe日志搜集和数据分析

简单说一下，Scribe是Facebook开源的分布式日志搜集系统，架构简单，日志格式灵活，且支持异步发送消息和队列。非常适合用于用户行为分析的基础数据收集，支持hadoop。配合thrift，可以跨语言和平台进行数据收集，非常优秀，性能也非常卓越。Scribe提供两种不同的架构可供选择，单Server，或C/S。从系统调用上说，Scribe之所以性能卓越，是因为采用了epoll方式，这个就不解释

日志
休闲
挖掘
海量
scribe
原创 推荐 2011-11-14 20:46:59 10000+阅读 8点赞 15评论

FreeBSD从零开始---安装后配置（三）

IPFW和IPF一、IPFWIPFW意思可以理解为ip防火墙，主要作用是拦截设定规则外的ip包。你可以把这个理解为linux下的iptables，但是，ipfw要比iptables简单易用。freebsd系统默认是不安装ipfw或者ipf的，你需要在内核配置文件中启用并重新编译内核。所以，你需要先运行sysinstall-->Distribution->src->选择base,s

职场
FreeBSD
中国
系统管理员
休闲
原创 2011-11-08 15:42:16 4983 阅读 3点赞 4评论

互联网程序员提高价值守则

1.程序员的价值不在于你能写多少行的代码，而在于你对软件的了解是否够广泛，能否提出最快捷解决当前问题的方案。你可以花一个月的时间写一个报表生成的类，但你会发现，别人用开源的代码，一周就完成了。2.如果你的工作涉及很多部门的联合作业，比如会与运维或销售发生交集，那就需要谨慎，不要让对方觉得你在干涉他们的工作。3.你需要不断的学习和了解最新的技术和应用软件，以及服务器技术，因为你的工作全部是基于服务器

职场
程序员
价值
休闲
杂谈
原创 推荐 2011-11-01 18:41:21 3266 阅读 13点赞 8评论

FreeBSD从零开始---安装后配置（二）

系统优化及安全设置上次说了FreeBSD基本的软件安装和配置，接下来会说系统的详细配置和安全性设置一、系统优化设置1.网络相关设置网卡和IP地址设置：如果在安装时没有设置IP地址，那么就需要进入系统后设置，过程如下。#cd /etc#vi rc.conf找到ifconfig_网卡名写入(示例)ifconfig_bce0="inet 192.168.10.125 netmask 255.255.25

职场
FreeBSD
中国
系统管理员
休闲
原创 推荐 2011-11-01 17:51:51 3069 阅读 3点赞 2评论

FreeBSD从零开始---安装后配置（一）

一、安装后配置上次我们说到FreeBSD的安装，这次我们说FreeBSD安装后的配置和简单优化方法。安装完BSD只是服务器提供服务这条万里长征路的开始，还需要一些基本的设定和优化。不过实际上，即便不优化，FreeBSD现在也可以很安全的提供服务，决定权在你。1.安装及更新ports树有些接触过FreeBSD的一定知道portsnap，这是freebsd下软件更新的利器。或者说也是唯一的途径。por

职场
FreeBSD
中国
系统管理员
休闲
原创 2011-10-29 01:16:05 10000+阅读 4点赞 4评论

FreeBSD从零开始---系统安装（三）

4.创建用户除设置root密码外，我建议在这里完成普通用户的创建工作。选择YES，进入下一步操作，然后如下图，选择第二项，添加一个普通用户。添加用户需要特别注意下面这张图，非常重要。刚进入这个界面的时候，用户名，Group和Password部分均是空需要你手动输入。特别要注意Group这项，如果你想这个用户登录后能够su成root，那么你需要在Group这项填入wheel，BSD系统基于安全考虑，

职场
FreeBSD
中国
系统管理员
休闲
原创 2011-10-22 21:41:39 2284 阅读

FreeBSD从零开始---系统安装（二）

3.安装后设置进入配置网卡阶段，通常作为服务器不会选择DHCP方式，所以需要设置服务器IP和网关等，不过这里不设置也没有关系，进入系统后再设置也可以。是否配置IPv6，暂时还不用，所以选择NoDHCP也选择No来配置网卡信息，写入IP和Hostname与域名网关等信息。然后TAB切换到OK处回车。选择是否作为网关。选择是否启用inetd，选择不启用。选择是否启用SSH，这个是必须要启用的，否则无法

操作系统
FreeBSD
中国
系统管理员
休闲
原创 2011-10-22 21:24:46 1783 阅读

FreeBSD从零开始---系统安装（一）

注：本文以FreeBSD 8.2及7.4为范本编写。 BSD的介绍就不说了，有很多的中文资料。其实BSD系统很早就出现了，应该是比Linux还要早，如果不是跟UNIX版权官司的问题，现在很可能Linux是小众的操作系统。虽然同是类Unix操作系统，但差别还是很大的，比如，FreeBSD是个完整的操作系统，只有一个发行版，而Linux有众多发行版，让人眼花缭乱。Linux对最新的硬件支持很好，而F

职场
中国
系统管理员
休闲
原创 推荐 2011-10-22 14:38:00 4028 阅读 4点赞 7评论

FuseFS之sshfs，将远程服务器文件本地化安全管理

服务器数量多了以后，对服务器上的文件管理是一个比较让人头疼并浪费时间的事情。于是人们想了很多办法去减少人类的劳动，fusefs便是其中之一。顾名思义便是混合文件系统，但是要首先要明白，这跟ext2，ext3，UFS这种东西不同，这是一个可以将很多种文件系统进行混合使用的工具。sshfs是这个混合工具中的一个，可以理解为fuse的插件。可以让你通过ssh，将远程服务器上的文件用mount命令挂载到本

职场
休闲
fuse
原创 2011-10-09 13:58:14 3240 阅读

在FreeBSD下架设安全的Mail Server及webmail

一、准备工作1.一台服务器或可充当服务器的电脑2.FreeBSD的安装盘，DVD格式的二、安装步骤1.安装FreeBSD操作系统2.portsnap更新ports树3.编译需要的软件----------------------------------------进入/usr/ports/www/nginx执行make config选择如下[X] FILE_AIO[X] HTTP_MODULE[

邮件
Mail
FreeBSD
Webmail
atmail
原创 推荐 2011-09-15 16:06:10 10000+阅读 2点赞 2评论

为何投奔BSD

选择BSD是朋友推荐的，他是个老BSDer，在这之前，我只是听说过，却没有实际使用过。在使用BSD以前，我一直用Linux，在我开始用Linux的时候，还不存在什么fedora，中关村的颐宾楼一层还在卖饺子。但自从接触到了BSD，并使用了一个月之后，就坚定的转投了BSD阵营。如果不是因为那场恼人UNIX官司，也许服务器操作系统的历史就会被改写了。这也造成了BSD不为大多数人所知并采用的历史原因之一

职场
操作系统
FreeBSD
休闲
介绍
原创 推荐 2011-09-01 16:26:05 3819 阅读 12点赞 14评论

FreeBSD下安装php-fpm并使用root权限

FreeBSD下安装php很简单，只要进入ports目录下去make install就可以了。但是默认情况下，5.2及以前版本php-fpm进程的开启是一个补丁形式，而且不支持root权限启动，在某些情况下，又很需要php使用root权限去调用系统其他进程或shell脚本。那么这样，以php5.2.17安装fpm为例进入/usr/ports/lang/php52，然后直接make，到configu

php
FreeBSD
root
休闲
fpm
原创 2011-08-21 11:13:54 2739 阅读

Dell R410安装FreeBSD 8.2全过程

16号写了一个DELL R410 新raid卡安装FreeBSD的说明，但是不够详细，今天写一个详细版。硬件环境：Dell R410，Raid卡为PERC 6GBps H200/HBA，该Raid卡为Dell向LSI定制的Raid卡，所以通常的BSD驱动mpt.ko不起作用。另外，BSD8.2的merge时间早于该raid卡的发布时间，故无论如何设置，FreeBSD都不会找到硬盘。直到目前的9.0

安装
FreeBSD
驱动
Dell
H200
原创 推荐 2011-08-19 20:30:28 10000+阅读 3点赞 4评论

Dell最新LSI Raid卡驱动for FreeBSD

Dell在2011年出了新的R410，R710等服务器，采用自己定制的LSI 6G芯片，型号大致应包含：SAS2008，H200，H600等。但FreeBSD的8.2Release及之前的版本的merge时间早于Dell的服务器。因此在安装时会出现无法找到硬盘的情况，通常的解决办法包括不设置raid，然后进入load prompt里面，去加载mpt.ko等。但非根本解决办法。可能仍然无法正常启动。

职场
休闲
原创 2011-08-16 17:16:12 6394 阅读 1点赞 1收藏 4评论

网络扩容项目预告

新到一公司，马上要开始web网络整理扩容项目，整个过程将逐步记录下来。放于博客目前状况：web服务器10台，每台一个IP，无DNS，无负载均衡，无日志。扩容目标：完成LVS+Nginx的负载均衡，自建DNS，建立反代，建立数据库存储设备及数据库负载。需要用到的技术：软件方面：linux,freebsd(OpenBSD),LVS,nginx,varnish,python fastcgi,mysql

职场
项目
设计
休闲
拓扑
原创 2011-07-04 23:43:33 851 阅读 1点赞 1评论

Mysql性能优化几步走

Mysql的高负载速度慢一直是运维人员很头疼的问题，如果你的mysql性能上有问题，或许这篇文章会对你有所帮助。一、硬件优化1.服务器的硬件选择：CPU：对于mysql来说，多CPU的并行查询支持的并不好，因为单个查询只会用到1个CPU。因此，用更快的CPU，往往比更多的CPU性能来的要好一点。更多的CPU Cache也会对查询有所帮助。多CPU能用到的就是在线事物处理，但往往这件事，也需要更快的

硬件
mysql
服务器
文章
在线
原创 2011-05-12 12:34:12 1877 阅读 1点赞 2评论

选择服务器操作系统

仅代表个人经验之谈。操作系统纷繁复杂，选择何种操作系统都是每一台服务器需要面对的问题。每个操作系统都有其优势范围。所以面对不同的应用，选择合适的操作系统很重要，或许你的工作用Windows和Linux都可以完成。但基于长期发展的眼光，需要在操作系统中做出抉择，不能说windows系统一定就差，但需要考虑你未来要开发的应用和计算，是否在长期时间段内能够不进行平台迁移，系统的稳定性和坚固性能否让人力和

Unix
服务器
Windows
操作系统
蝴蝶效应
原创 推荐 2011-05-06 21:24:15 5668 阅读 6点赞 3评论

FreeBSD+SNMPD+CACTI配置难点解析

使用版本net-snmp 5.5+，cacti0.8.7g安装就不解释了，主要分析错误和配置难点一、snmpwalk的时候显示timeout可能原因是snmpd没有启动，或测试IP端口不正确默认启动后应该是监听127.0.0.1的udp4 161端口snmpwalk -c public -v 2c 127.0.0.1 if如果显示timeout，先检查ps -aux进程是否有snmpd，再检查ne

分析
错误
SNMP
CACTI
休闲
原创 推荐 2011-05-05 19:46:54 3661 阅读 3点赞 2评论

nginx与lighttpd性能简单对比

闲的没事，拿一台淘汰的2950做了做nginx和lighttpd的性能对比，可以在选择webserver上做个参考。测试环境如下Dell2950 4G内存，FreeBSD 8.2 release#sysctl -a | grep CPUhw.model: Intel(R) Xeon(R) CPU        &nbs

server
web
nginx
BSD
lighttpd
原创 推荐 2011-04-27 16:24:30 10000+阅读 6点赞 7评论

FreeBSD的ports

本文基于BSD8.x，cvsup,svn等安装更新方式不在此范围内，portupgrade也已经被取消掉了。BSD的ports系统是个很棒的发明，因为是编译方式安装软件，所以在可定制性上比yum或apt-get高了不少。yum或者apt-get的优点在于，你需要第一次安装后配置好相关软件的conf文件，以后再安装，都是以rpm包的形式直接安装二进制文件。省事，但缺少新版本的可定制性。BSD的por

更新
休闲
ports
BSD
portsnap
原创 2011-04-13 09:50:42 3272 阅读 1点赞 1评论

创造一个高效安全的网络的核心问题

通常在使用基于网络的应用时，用户除非遇到别无选择的情况，否则都会去寻找速度响应最快，最安全的网络。那么，作为CTO们最头疼的就是服务器宕机或者响应速度过慢。这一点，无论是web应用还是其他基于网络的应用比如ERP，CRM之类的。都会遇到，并且难于解决。如果有大把的钱可以用来点烟抽，那不在本文的议论范围内。干IT很长时间了，接触过很多人和项目，不计其数。从web到wap；从教学网络到ERP，CRM；

职场
休闲
原创 2011-03-16 23:47:28 1513 阅读 3点赞 3评论
  • 1
  • 2

Copyright © 2005-2023 51CTO.COM 版权所有 京ICP证060544号

关于我们
官方博客 全部文章 热门标签 班级博客
了解我们 网站地图 意见反馈
友情链接
开源基础软件社区 51CTO学堂
51CTO 软考资讯 汽车开发者社区