51CTO首页
内容精选
博客
学堂
精培
企业培训
CTO训练营
鸿蒙开发者社区
WOT全球技术创新大会
公众号矩阵
移动端
短视频 免费课程 课程排行 直播课 软考学堂
精品班 厂商认证 IT技术 2024年软考 PMP项目管理 软考资讯
在线学习
CTO训练营 技术经理研习营 LeaTech峰会
文章 资源 问答 课堂 专栏 直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号

Tornado学习笔记(四)

一、Tornado的语言国际化方法Tornado做国际化折腾了一下下，Tornado这部分的官方文档太poor了。所以自己记录一下如何用tornado结合gettext做国际化。第一步，在项目路径下建立./locales/zh_CN/LC_MESSAGES文件夹。第二步，使用xgettext或poedit在第一步的文件夹下创建一个po文件，比如messages.po，我用poedit创建，比xge

locale
国际化
hadoop
gettext
tornado
原创 2016-01-20 16:26:32 2992 阅读

Hadoop运维记录系列(十七)

上个月通过email，帮朋友的朋友解决了一个Cloudera的Spark-SQL无法访问HBase做数据分析的问题，记录一下。

运维
hadoop
spark
hbase
hive
原创 推荐 2015-11-13 19:00:35 10000+阅读 8点赞 5评论

Hadoop运维记录系列(十六)

应了一个国内某电信运营商集群恢复的事，集群故障很严重，做了HA的集群Namenode挂掉了。具体过程不详，但是从受害者的只言片语中大概回顾一下历史的片段。Active的namenode元数据硬盘满了，满了，满了...上来第一句话就如雷贯耳。运维人员发现硬盘满了以后执行了对active namenode的元数据日志执行了 echo "" > edit_xxxx-xxxx...第二句话如五雷轰顶

记录
运维
系列
hadoop
原创 2015-08-28 17:20:28 9066 阅读 3点赞 1评论

Tornado学习笔记(三)

记录一些Tornado中的常用知识。获取远端IP，直连tornado，用self.request.remote_ip，如果是走nginx反向代理方式，需要在nginx中的Server/Location配置如下                

网站
web
python
tornado
原创 2015-08-11 12:02:04 4036 阅读

阿里云FreeBSD初始化方法

阿里云貌似最近推出了FreeBSD镜像，这是我最喜欢的操作系统，个人看法比Linux好太多了。但是阿里云方面文档没有跟上，无任何挂载硬盘相关的操作说明，所以记录一下在阿里云FreeBSD镜像环境下挂载云磁盘的操作过程。用dmesg查看云硬盘在/dev的设备号，在xen环境的linux里是xvdb1，FreeBSD下通常是xbd1，由于xbd1未按照freebsd标准分区格式化，所以，如直接moun

硬盘
freebsd
挂载
阿里云
原创 2015-07-28 14:15:39 4207 阅读 2点赞 1评论

Tornado学习笔记(二)

我一直用python2.x，python2.x内置的字符编码方式是unicode，这就对中文的处理造成了一些困扰，尤其是在用tornado写json接口的时候，如果不做处理，出来的没有中文，都是\x4d5f之类的东西。所以通常需要这样去处理下。除了正常的#!/usr/bin/env python#coding: utf-8之外import sys reload(sys) sys.setd

python
字符编码
utf8
异步
tornado
原创 推荐 2015-07-13 15:50:31 7477 阅读 2点赞

使用flume替代原有的scribe服务

以前很多业务都是用scribe做日志收集的支撑的，后来fb停止了对scribe的开发支持。而且scribe在机器上编译一次的代价太大了，各种坑，正好后来flume从1.3.0开始加入了对scribe的支持。就可以把原来scribe上面接入的数据转用flume收集了。虽然我很喜欢scribe，但是失去了官方支持毕竟还是很闹心的。agent.channels=c1 agent.channels.c1.

日志
收集
hadoop
flume
scribe
原创 推荐 2015-07-13 14:50:53 10000+阅读 1点赞 1评论

Hadoop运维记录系列(十五)

早期搭建Hadoop集群的时候，在做主机和IP解析的时候，通常的做法是写hosts文件，但是Hadoop集群大了以后做hosts文件很麻烦，每次加新的服务器都需要整个集群重新同步一次hosts文件，另外，如果在同一个域下面做两个集群，做distcp，也需要把两个集群的hosts文件全写完整并完全同步，很麻烦。那么，一劳永逸的办法就是做DNS。DNS我这边已经用了很长时间了，几年前为了学这个还专门买

记录
运维
系列
hadoop
原创 推荐 2015-04-30 13:19:25 8526 阅读

Tornado学习笔记(一)

最近开始用Tornado做开发了，究其原因，主要是Tornado基于Python，一来代码量少开发速度快，二来采用epoll方式，能够承载的并发量很高。在我的i5台式机上用ab测试，不连接数据库的情况下，单用get生成页面，大概平均的并发量在7900左右。这比php或者java能够承载并发量都高很多很多。三来Python代码可维护性相对来说比php好很多，语法结构清晰。四来，tornado的框架设

网站
web
python
tornado
原创 推荐 2015-04-25 23:11:43 10000+阅读 4点赞 2评论

Hadoop运维记录系列(十四)

周末去了趟外地，受托给某省移动公司(经确认更正，是中国移动位置基地，不是省公司)做了一下Hadoop集群故障分析和性能调优，把一些问题点记录下来。该系统用于运营商的信令数据，大约每天1T多数据量，20台Hadoop服务器，赞叹一下运营商乃真土豪，256G内存，32核CPU，却挂了6块2T硬盘。还有10台左右的服务器是64G内存，32核CPU，4~6块硬盘，据用户反馈，跑数据很慢，而且会有失败，重跑

运维
系列
hadoop
原创 推荐 2015-04-20 17:04:42 9785 阅读 15点赞 2收藏 6评论

解决Ubuntu更新nVidia显卡驱动后黑屏问题

跟大数据没关系，自己使用的一个记录。现在已经完全抛弃windows了，完全用ubuntu来干活了。不是windows不好，是中国的windows生态环境太差了，随便装个国产小软件会附带给用户装一堆垃圾的东西，什么各种毒霸，各种手机助手，各种输入法，稍微点错个什么按钮就装一堆的垃圾，到处都是陷阱，就连开源的SourceForge推出的FileZilla安装器，后台还偷偷自动下载Norton 360强

解决
黑屏
驱动
ubuntu
nvidia
原创 推荐 2015-04-09 16:26:23 10000+阅读 11点赞 9评论

OpenWRT嵌入式Linux故障排除一例

跟大数据没关系，只是帮朋友忙排了个错记录一下。以前关系很不错的同事，目前在企业级wifi领域创业，采购了我们的大数据服务，正在给他做平台的搭建和调试。然后这几天他这个CEO在调试路由器的时候遇到一些问题，在搞大数据的同时捎带手解决了一下他这个问题。OpenWRT，嵌入式Linux，主要用在MIPS或ARM设备上。路由器和wifi设备很多会采用这个系统，特点是轻巧。Coova-Chilli，在ope

linux
shell
openwrt
coova
chilli
原创 推荐 2015-01-10 00:20:34 10000+阅读 7点赞 5评论

Hadoop的word co-occurrence实现

Word Co-occurrence一直不知道该怎么正确翻译, 单词相似度?还是共生单词?还是单词的共生矩阵?这在统计里面是很常用的文本处理算法,用来度量一组文档集中所有出现频率最接近的词组.嗯,其实是上下文词组,不是单词.算是一个比较常用的算法,可以衍生出其他的统计算法.能用来做推荐,因为它能够提供的结果是"人们看了这个,也会看那个".比如做一些协同过滤之外的购物商品的推荐,信用卡的风险分析,或

算法
推荐
文本
挖掘
原创 推荐 2014-08-24 16:44:06 5827 阅读 1点赞

Hadoop2的ResourceManager高可用配置

Hadoop 2.2没怎么关注过，太新，bug太多。2.4出来以后关注了一些东西，比如2.4里面直接带了ResourceManager的高可用，这点比较吸引人。之前2.2没注意有没有，貌似是没有，然后CDH自己出了一个解决方案，这次2.4的更新直接自己带了，还不错，这样就全了，Namenode有HA和Federation，RM也有了HA，而且也可以通过ZKFC自动做故障切换。大概从2.4开始，Ha

运维
ha
hadoop
resourcemanager
原创 推荐 2014-06-06 23:04:15 10000+阅读 1点赞

Hadoop运维记录系列(十三)

记录一下在2.x里面不会很常见的报错。只是在测试集群中发生，生产集群大概很少有人会去重启Namenode吧，特别是做了HA的。场景是在2.x里做好了Namenode HA，以Namespace URI方式访问HDFS时，报错，然后两个Namenode貌似都是standby，然后历史任务服务器无法启动，HBase的Master也无法启动。其实这个故障很简单。2014-06-05 17:20

部署
开发
运维
系列
Hadoop
原创 推荐 2014-06-05 17:57:33 10000+阅读

阿姆憨杜普(ARM Hadoop)集群荣获硬蛋大赛奖项

基于arm架构硬件的Hadoop HBase集群参加了首届科通芯城的硬蛋i未来硬件创新大赛，进入决赛，最后拿到了十佳项目。有奖杯为证。背景是FreeBSD的虚拟机关注我博客的人可能知道，其实早在去年年初的时候，就已经拿ARM架构的单片机构建了单机版的Hadoop。后来陆续又搞了几个单片机，逐渐搭起了集群。嵌入式linux还是挺好玩的。后来的集群加入了HBase和Hive，又陆续构建了OpenTSD

比赛
大赛
arm
hadoop
硬蛋
原创 2014-04-20 00:34:37 2924 阅读 8点赞 12评论

给刚玩Hadoop的朋友一些建议

   随着两会中间央视新闻天天说大数据，很多人纷纷开始关注大数据和Hadoop以及数据挖掘和数据可视化了，我现在创业，遇到很多传统数据行业往Hadoop上面去转型的公司和个人，提了很多问题，大多数问题还都是差不多的。所以我想整理一些，也可能是很多人都关注的问题。关于Hadoop版本的选择？    目前为止，作为半只脚迈进Hadoop大门的人，我建议大家还是

部署
开发
运维
建议
Hadoop
原创 推荐 2014-04-17 17:42:16 10000+阅读 30点赞 2收藏 18评论

写几个Hadoop部署用到的小脚本

最近抛弃非ssh连接的hadoop集群部署方式了，还是回到了用ssh key 验证的方式上了。这里面就有些麻烦，每台机器都要上传公钥。恰恰我又是个很懒的人，所以写几个小脚本完成，只要在一台机器上面就可以做公钥的分发了。首先是生成ssh key脚本#!/bin/sh ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa cp ~/.ssh/id_rsa.pub ~/.ss

shell
hadoop
deploy
原创 推荐 2014-03-07 18:44:31 10000+阅读 8点赞 9评论

搭建红外遥控arm-hadoop集群过程

很多人玩开发板用树莓派，树莓派的确很好，但是对于hadoop来说，内存有点小，只有512MB。所以我找了一圈，最后用的是国内一个开源硬件团队的产品叫CubieTruck。内存有2G，板载存储有8G，千兆网口，可以挂载2.5寸机械或SSD硬盘。先简述一下大体步骤。1. 刷系统，做系统由于CubieTruck(以下简称CT)默认系统安装的是安卓4.2，所以需要变更一下。换成ubuntu 的 linar

arm
开发板
hadoop
红外
遥控
原创 推荐 2014-01-04 13:47:41 8601 阅读 1点赞

Hadoop自动化运维之创建deb包

2014第一篇博文，将来也会逐步写成一个系列，新年新气象。将hadoop及其周边生态系统deb/rpm化对于自动化运维来说意义重大，建立好整个生态的rpm和deb然后再创建本地yum或者apt的源，可大大简化hadoop的部署和运维。实际上，cloudera和hortonworks都是这么做的。本来想把rpm和deb都写了，不过估计篇幅不够，还是分开吧，先从deb讲起。deb创建比较容易一些，不需

运维
自动化
rpm
hadoop
deb
生态系统
原创 推荐 2014-01-01 13:27:35 4204 阅读 4点赞 1评论

基于异构arm硬件的Hadoop集群测试

3月份的时候做了单机版的hadoop on arm的测试，最近又买了一个新的arm板子，就考虑把他们串起来组一个hadoop集群。而且由于产品更新换代的问题，硬件上是异构的。 基于arm架构单片机的hadoop服务器尝试 namenode是cubieboard一代，采用单核arm v7架构，1G内存，4G板载flash ROM datanode采用cubietruck，双核armv7，2G内

集群
成本
arm
hadoop
原创 推荐 2013-12-22 21:15:17 10000+阅读 9点赞 20评论

2013 China Hadoop Summit杂记

China Hadoop Summit的前身叫Hadoop In China，后来跟中科院计算所分开，分成两个大会，一个叫CHS，一个叫BDTC。今年哥们作为主持人兼演讲嘉宾参加了CHS大会，这次大会举办的十分隆重和成功，请到了业界很多的大牛，包括Hortonworks的CTO Jeff，HBase的committer Ted Yu等等，介绍了目前Hadoop 2.0上面的很多新鲜玩意，还请到了S

China
Hadoop
2013
Summit
原创 2013-11-30 15:12:55 3680 阅读 6点赞 7评论

Hadoop运维记录系列(十二)

从公司离职有几天了，今天回去看同事，想一起吃饭，没成想摊上大事了。说下午hadoop集群的机房停电了，然后集群就启动不了了，几个人从下午4点多折腾到8点多还没搞定，有几台服务器找不到硬盘，还有内网ping不通的。反正是有10来台服务器起不来datanode和tasktracker了。于是在原公司蹭了个饭，花了20分钟解决了一下。由于这几台服务器挂机，namenode没有达到有效数据块的阀值所以一直

故障
记录
运维
hadoop
宕机
原创 推荐 2013-10-30 00:01:37 9437 阅读 16点赞 16评论

Hadoop运维记录系列(十一)

记录一些Hive的优化点，和能够提升的效率差异。Hive是目前应用最多最广的SQL on Hadoop工具，近期很多专业的大数据公司推出了很多新的，基于列式或者内存热数据的SQL工具，像Impala，Tez，Spark等等，但是Hive仍然是目前使用率最高和普及面最广的SQL on Hadoop的工具。在以前淘宝罗李的报告中，淘宝90%的业务跑在Hive上面。暴风影音的比例更高一些，大概95%以上

系统
性能
调优
hadoop
hive
原创 推荐 2013-09-12 18:19:35 10000+阅读 2点赞 2收藏 3评论

Open×××的路由问题一则

前两天因为集群网段问题，登录管理不便，hivefans就在集群的一台服务器上搭了一个openvpn的server。遇到了一些问题，记录一下。他只搭了一台openvpn，并没有在集群的其他服务器上安装ovpn，他想完成的目标是将集群的内网网段通过ovpn做路由，通过公司可以访问外部机房集群的内网地址。集群的内网地址是192.168.1.0 mask 255.255.0.0，ovpn的server地址

linux
路由
操作系统
openvpn
原创 推荐 2013-09-06 13:15:55 7196 阅读

Hadoop运维记录系列(十)

昨天同事遇到一个hadoop故障，找了半天没看出问题，问到我这里，花了一会解决了一下，估计这是我给暴风的集群解决的最后的故障了，以后就不定给谁解决问题去了。只截下来了Namenode的报错Log，Datanode的刷屏刷过去了，不过都差不多。2013-09-03 18:11:44,021 WARN org.apache.hadoop.hdfs.StateChange: BLOCK* NameSys

记录
运维
hadoop
故障分析
原创 推荐 2013-09-04 16:31:43 9368 阅读 4点赞 5评论

Hadoop运维记录系列(九)

Linux操作系统针对Hadoop的参数和命令调优。对于Hadoop本身的参数调优，写的已经不少了，操作系统方面的不多，记录一下我用的系统参数。先写一点，想起哪个再往里面加。 一、系统内核参数调优sysctl.conf net.ipv4.ip_forward = 0 net.ipv4.conf.default.rp_filter = 1 net.ipv4.conf.default.acce

系统
记录
运维
调优
hadoop
原创 2013-07-22 12:51:52 10000+阅读 2点赞 1评论

Hadoop周边生态软件和简要工作原理(二)

接着Hadoop周边生态软件和简要工作原理(一)Sqoop：sqoop在hadoop生态系统中也是应用率比较高的软件，主要是用来做ETL工具，由yadoo研发并提交给Apache。Hadoop整个生态圈里面，大部分的应用都是Yadoo研发的，贡献非常大。Yahoo里面出来两拨人，分别组建了Cloudera和Hortonworks。所谓ETL，就是数据的抽取(extract)加载(load)转换(t

hadoop
mahout
sqoop
生态
pig
原创 推荐 2013-07-19 16:58:15 4111 阅读 3点赞 1评论

Hadoop运维记录系列(八)

新部署了几个接收服务器，因为以前的老业务都是nginx接收的，没法迁移到scribe或者fluentd上。所以，只能在这些服务器上部署hadoop的client，用fs -put的方法把nginx生成的NCSA日志定时放到HDFS里。也就是在nginx服务器上需要部署hadoop的client。hadoop部署好了之后交给别人做日志的put脚本，然后一会报告我，put失败。而且是一会成功一会失败，

记录
运维
hadoop
故障分析
原创 推荐 2013-07-17 18:56:11 5263 阅读 1点赞 3评论

Apache BigTop试用感想

Bigtop是去年apache基金会推出的一个对Hadoop及其周边生态进行打包，分发和测试的工具。推出的时间不长，加上官方的文档很简单，只告诉你如何用bigtop安装hadoop，其他都不讲。这两天深入的玩了一下，就个人体会来说，Bigtop算是个比较有趣的玩具。实用价值不大，尤其是对准备在hadoop本身上做文章的公司和个人来说，是一个看上去很美，但实际部署是很值得商榷的玩意。Bigtop，本

运维
hadoop
bigtop
生态系统
原创 推荐 2013-07-06 17:55:23 10000+阅读 1点赞

Copyright © 2005-2023 51CTO.COM 版权所有 京ICP证060544号

关于我们
官方博客 全部文章 热门标签 班级博客
了解我们 网站地图 意见反馈
友情链接
鸿蒙开发者社区 51CTO学堂
51CTO 软考资讯 汽车开发者社区