九月朦胧的博客_大数据的海洋_51CTO博客

鸿蒙开发者社区

WOT技术大会

公众号矩阵

移动端

短视频免费课程课程排行直播课软考学堂

全部课程厂商认证 IT技术 24年11月软考 PMP项目管理免费题库

在线学习

文章资源问答课堂专栏直播

51CTO

鸿蒙开发者社区

51CTO技术栈

51CTO官微

51CTO学堂

51CTO博客

CTO训练营

鸿蒙开发者社区订阅号

51CTO软考

51CTO学堂APP

51CTO学堂企业版APP

鸿蒙开发者社区视频号

51CTO软考题库

51CTO博客

首页
关注
排行榜
精品课程
免费直播
软考题库

科目全、试题精、讲解专业，扫码免费刷

搜索历史清空

热门搜索

查看【】的结果
写文章
创作中心
登录注册

# 大数据的海洋

spark-shell开发wordcount程序

编辑要处理的文件vimspark.txt内容如下上传文件到hdfs中hadoopfs-put/spark.txt/查看hadoopfs-ls/进入spark的bin目录执行./spark-shell编写scala代码

spark

shell

开发

原创 2019-01-10 18:00:34 1119 阅读 1点赞

docker中spark+scala安装配置

一、scala安装首先下载scala压缩包wgethttps://downloads.lightbend.com/scala/2.11.7/scala-2.11.7.tgz解压tar-zxvfscala-2.11.7.tgz移动目录mvscala-2.11.7/usr/local/改名cd/usr/local/mvscala-2.11.7scala配置环境变量vim/etc/profileexpo

docker

scala

安

原创 2019-01-10 17:53:00 4872 阅读 1点赞

docker安装hbase1.2

hbase安装1、解压tar-zxvf/hbase-1.2.9-bin.tar.gz-C/usr/localmvhbase-1.2.9hbase2、修改配置文件：conf/hbase-env.shcdhbasevimconf/hbase-env.shexportHBASE_MANAGES_ZK=falseexportJAVA_HOME=/usr/local/jdk1.8exportHBASE_CL

docker

安装

hbase1.2

原创 2019-01-09 17:48:46 4017 阅读 1点赞

docker安装hive1.2

构建数据仓库(Slave1)1、解压数据库tar-zxvfapache-hive-1.2.2-bin.tar.gz/usr/local/cd/usr/local/mvapache-hive-1.2.2hive2、为hive添加环境变量编辑/etc/profile文件，增加hive相关的环境变量配置profile文件编辑完成后，执行下面命令，让配置生效，命令是3、配置hive-site.xmlhiv

docker

安装

hive1.2

原创 2019-01-09 17:05:54 1710 阅读 1点赞

docker安装zookeeper3.4

1、配置主机名到ip的映射vietc/hosts2、修改ZooKeeper配置文件修改ZooKeeper配置文件。在其中master机器上，用tar-zxvf命令解压缩zookeeper-3.4.10.tar.gz。tar-zxvf/zookeeper-3.4.10.tar.gz-C/usr/local/cd/usr/localmvzookeeper-3.4.10zookeeper3、配置文件co

docker

安装

zookeeper

原创 2019-01-09 16:25:46 4873 阅读 1点赞

RSA host key has changed,ssh公钥分发失败

分发公钥时出现下图错误这可能是Linux服务器重新系统、openssh-server重装、更改IP导致的。输入以下命令即可 > ssh-keygen –R adress-ip-du-serveur

大数据

Hadoop

原创 2018-08-28 15:28:58 1321 阅读 1点赞

Hadoop集群环境搭建

第一部分：准备Linux环境创建虚拟机安装系统的步骤在这里就不讲了，详细步骤请看本人其他文章打开建好的虚拟机一、修改Hostname1、临时修改hostnamehostnamebigdata-01.liu.com这种修改方式，系统重启后就会失效2、永久修改hostnamevim/etc/sysconfig/network打开后编辑如下内容NETWORKING=yes#使用网络HOSTNAME=bi

Hadoop集群环境搭建

原创 2018-08-26 20:46:52 4153 阅读 1点赞

master jps 没有namenode问题

在主节点机器上执行命令/opt/modules/app/hadoop-2.7.4/sbin/start-all.sh（相当于执行/opt/modules/app/hadoop-2.5.0/sbin/start-dfs.sh和/opt/modules/app/hadoop-2.5.0/sbin/start-yarn.sh）然后jps发现没有namenode，查看logs日志发现namenode没有格

master

jps

没有

namenod

原创 2018-08-15 19:51:00 10000+阅读 1点赞