51CTO首页
内容精选
博客
学堂
精培
企业培训
CTO训练营
鸿蒙开发者社区
WOT全球技术创新大会
公众号矩阵
移动端
短视频 免费课程 课程排行 直播课 软考学堂
精品班 厂商认证 IT技术 2024年软考 PMP项目管理 软考资讯
在线学习
CTO训练营 技术经理研习营 LeaTech峰会
文章 资源 问答 课堂 专栏 直播
51CTO
开源基础软件社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
开源基础软件社区订阅号
51CTO学堂APP
51CTO学堂企业版APP
开源基础软件社区视频号

Hadoop的word co-occurrence实现

Word Co-occurrence一直不知道该怎么正确翻译, 单词相似度?还是共生单词?还是单词的共生矩阵?这在统计里面是很常用的文本处理算法,用来度量一组文档集中所有出现频率最接近的词组.嗯,其实是上下文词组,不是单词.算是一个比较常用的算法,可以衍生出其他的统计算法.能用来做推荐,因为它能够提供的结果是"人们看了这个,也会看那个".比如做一些协同过滤之外的购物商品的推荐,信用卡的风险分析,或

算法
推荐
文本
挖掘
原创 推荐 2014-08-24 16:44:06 5827 阅读 1点赞

Hadoop2的ResourceManager高可用配置

Hadoop 2.2没怎么关注过，太新，bug太多。2.4出来以后关注了一些东西，比如2.4里面直接带了ResourceManager的高可用，这点比较吸引人。之前2.2没注意有没有，貌似是没有，然后CDH自己出了一个解决方案，这次2.4的更新直接自己带了，还不错，这样就全了，Namenode有HA和Federation，RM也有了HA，而且也可以通过ZKFC自动做故障切换。大概从2.4开始，Ha

运维
ha
hadoop
resourcemanager
原创 推荐 2014-06-06 23:04:15 10000+阅读 1点赞

Hadoop运维记录系列(十三)

记录一下在2.x里面不会很常见的报错。只是在测试集群中发生，生产集群大概很少有人会去重启Namenode吧，特别是做了HA的。场景是在2.x里做好了Namenode HA，以Namespace URI方式访问HDFS时，报错，然后两个Namenode貌似都是standby，然后历史任务服务器无法启动，HBase的Master也无法启动。其实这个故障很简单。2014-06-05 17:20

部署
开发
运维
系列
Hadoop
原创 推荐 2014-06-05 17:57:33 10000+阅读

阿姆憨杜普(ARM Hadoop)集群荣获硬蛋大赛奖项

基于arm架构硬件的Hadoop HBase集群参加了首届科通芯城的硬蛋i未来硬件创新大赛，进入决赛，最后拿到了十佳项目。有奖杯为证。背景是FreeBSD的虚拟机关注我博客的人可能知道，其实早在去年年初的时候，就已经拿ARM架构的单片机构建了单机版的Hadoop。后来陆续又搞了几个单片机，逐渐搭起了集群。嵌入式linux还是挺好玩的。后来的集群加入了HBase和Hive，又陆续构建了OpenTSD

比赛
大赛
arm
hadoop
硬蛋
原创 2014-04-20 00:34:37 2920 阅读 8点赞 12评论

给刚玩Hadoop的朋友一些建议

   随着两会中间央视新闻天天说大数据，很多人纷纷开始关注大数据和Hadoop以及数据挖掘和数据可视化了，我现在创业，遇到很多传统数据行业往Hadoop上面去转型的公司和个人，提了很多问题，大多数问题还都是差不多的。所以我想整理一些，也可能是很多人都关注的问题。关于Hadoop版本的选择？    目前为止，作为半只脚迈进Hadoop大门的人，我建议大家还是

部署
开发
运维
建议
Hadoop
原创 推荐 2014-04-17 17:42:16 10000+阅读 30点赞 2收藏 18评论

写几个Hadoop部署用到的小脚本

最近抛弃非ssh连接的hadoop集群部署方式了，还是回到了用ssh key 验证的方式上了。这里面就有些麻烦，每台机器都要上传公钥。恰恰我又是个很懒的人，所以写几个小脚本完成，只要在一台机器上面就可以做公钥的分发了。首先是生成ssh key脚本#!/bin/sh ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa cp ~/.ssh/id_rsa.pub ~/.ss

shell
hadoop
deploy
原创 推荐 2014-03-07 18:44:31 10000+阅读 8点赞 9评论

搭建红外遥控arm-hadoop集群过程

很多人玩开发板用树莓派，树莓派的确很好，但是对于hadoop来说，内存有点小，只有512MB。所以我找了一圈，最后用的是国内一个开源硬件团队的产品叫CubieTruck。内存有2G，板载存储有8G，千兆网口，可以挂载2.5寸机械或SSD硬盘。先简述一下大体步骤。1. 刷系统，做系统由于CubieTruck(以下简称CT)默认系统安装的是安卓4.2，所以需要变更一下。换成ubuntu 的 linar

arm
开发板
hadoop
红外
遥控
原创 推荐 2014-01-04 13:47:41 8600 阅读 1点赞

Hadoop自动化运维之创建deb包

2014第一篇博文，将来也会逐步写成一个系列，新年新气象。将hadoop及其周边生态系统deb/rpm化对于自动化运维来说意义重大，建立好整个生态的rpm和deb然后再创建本地yum或者apt的源，可大大简化hadoop的部署和运维。实际上，cloudera和hortonworks都是这么做的。本来想把rpm和deb都写了，不过估计篇幅不够，还是分开吧，先从deb讲起。deb创建比较容易一些，不需

运维
自动化
rpm
hadoop
deb
生态系统
原创 推荐 2014-01-01 13:27:35 4204 阅读 4点赞 1评论

Copyright © 2005-2023 51CTO.COM 版权所有 京ICP证060544号

关于我们
官方博客 全部文章 热门标签 班级博客
了解我们 网站地图 意见反馈
友情链接
开源基础软件社区 51CTO学堂
51CTO 软考资讯 汽车开发者社区