51CTO首页
内容精选
博客
学堂
精培
企业培训
CTO训练营
鸿蒙开发者社区
WOT全球技术创新大会
公众号矩阵
移动端
短视频 免费课程 课程排行 直播课 软考学堂
精品班 厂商认证 IT技术 2024年软考 PMP项目管理 软考资讯
在线学习
CTO训练营 技术经理研习营 LeaTech峰会
文章 资源 问答 课堂 专栏 直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号

用hadoop中的libhdfs和fuse-dfs构建快速云存储

安装版本：OS版本：CentOS 5.4Hadoop版本：0.20.203.0gcc：系统默认4.1.2Jdk：1.6.0.21FUSE：2.7.4环境需求：automake，autoconf，m4，libtool，pkgconfig，fuse，fuse-devel，fuse-libs。需要外部下载ant 1.8.2，在apache网站下载即可安装过程：#wget http://mirror.bj

数据挖掘
hadoop
云存储
hdfs
fuse
原创 推荐 2011-12-28 17:57:16 10000+阅读 5点赞 3评论

基于淘宝Tengine和Scribe的WEB日志收集方案

公司在迁移hadoop到新的集群，涉及到原数据流的迁移，以前是用syslog-ng去push日志，但是配置起来比较麻烦。正好淘宝开发了一个新的tengine，拿过来尝尝鲜，正好利用其pipe功能，可以将日志发送到scribe进行汇总收集，然后就可以舍弃syslog-ng了。反正syslog也是要被Linux抛弃的。按说应该是直接把Scribe的API直接嵌套在程序中，但由于scribe是刚刚开始推

日志
淘宝
nginx
hadoop
scribe
原创 推荐 2011-12-23 19:21:20 10000+阅读 9点赞 1收藏 15评论

Linux与FreeBSD的多网卡绑定增加服务器流量

如果你觉得内网服务器一块千兆网卡已经无法满足你的交换需要，那么这篇文章或可对你有所帮助。其实以前没想过写这篇文章，缘起是前两天国内某知名视频网站约面试，出了这样一个问题：“给你一台服务器，4块千兆网卡，最大输出4G流量如何完成？”当时完成作业也没多想，过了几天部署hadoop集群也用上了，回想起来，还是写出来分享比较好。这可能是很多运维newbie目前遇到的，或者将来可能会遇到的难题。主要也是现在

Linux
绑定
FreeBSD
休闲
多网卡
原创 推荐 2011-12-16 14:42:21 4878 阅读 3点赞 1收藏 5评论

用python编写daemon监控进程并自动恢复(附Shell版)

因为hadoop集群中datanode是大量存在的，那么多机器，什么事都可能发生，最通常的大概就是进程挂掉了。所以为了省事，参考别人的代码写了这个监控进程的daemon。当然，稍加修改就可以用来监控别的必须常驻的进程。只需start，不用后面跟&或者前面加nohup。其实很多人都对进程挂掉很头疼，没事半夜得爬起来上服务器启动进程是一件非常痛苦的事情。每2秒监测一次进程，发现进程消失就重启进

进程
监控
运维
python
自动化
原创 推荐 2011-12-14 19:05:19 10000+阅读 3点赞 2评论

实例讲解hadoop中的hive查询(python语言实现)

条件，假设配置好了hadoop和hive，并可以正常运行首先，要外部查询hive，你需要安装thrift和fb303，或许有别的办法，但我实际应用过程中看来，这是最简单的途径。hive本身提供了thrift的接口。文件在hive解压缩后如下路径中hive/hive-0.7.1/src/service/if/hive_service.thrift然后复制四个文件metastore/if/hive_m

数据挖掘
休闲
python
hadoop
hive
原创 推荐 2011-12-05 16:47:51 10000+阅读 3点赞 2评论

实例讲解hadoop中的map/reduce查询(python语言实现)

条件，假设你已经装好了hadoop集群，配好了hdfs并可以正常运行。$hadoop dfs -ls /data/dw/explorerFound 1 itemsdrwxrwxrwx     - rsync supergroup           

数据挖掘
map
python
hadoop
reduce
原创 推荐 2011-12-02 13:32:52 10000+阅读 6点赞 1收藏 9评论

Copyright © 2005-2023 51CTO.COM 版权所有 京ICP证060544号

关于我们
官方博客 全部文章 热门标签 班级博客
了解我们 网站地图 意见反馈
友情链接
鸿蒙开发者社区 51CTO学堂
51CTO 软考资讯 汽车开发者社区