wx5caecf2ed0645的博客_Hadoop

寻找数据统治力：比较Spark和Flink

本文首先介绍了Spark和Flink的发展背景、基本架构及其设计特点，然后从数据模型、状态处理和编程模型3个角度进行比较优势和限制，最后介绍Spark和Flink的最新发展。本篇文章属于阿里巴巴Flink系列文章之一。当提及大数据时，我们无法忽视流式计算的重要性，它能够完成强大的实时分析。而说起流式计算，我们也无法忽视最强大的

spark

mapreduce

hadoop

flink

批处理

转载 2022-05-05 09:29:55 129 阅读

dfs.balance.bandwidthPerSec 参数

t-dfs.sh...

hdfs

xml

配置参数

转载 2022-04-11 17:23:00 227 阅读

HDFS——如何将文件从HDFS复制到本地

下面两个命令是把文件从HDFS上下载到本地的命令。get使用方法：Hadoop fs -get [-ignorec

hadoop

java

apache

转载 2022-04-11 15:42:25 8253 阅读

HDFS和本地文件系统文件互导

一、从本地文件系统到HDFS 使用hdfs自带的命令命令：hdfs dfs -copyFromLocal inputPath outputPath inputPath：本地文件目录的路径 outputPath：hdfs文件目录路径，即存储路径二、从HDFS到本地文件系统命令：hdfs dfs -copyToLocal inputPath outputPath inputPath...

hdfs

hive

本地文件

转载 2022-04-11 15:41:11 1077 阅读

Hadoop出现错误：WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... usi

安装Hadoop的时候直接用的bin版本，根据教程安装好之后运行的时候发现出现了

hadoop

apache

java

转载 2022-04-11 15:40:56 463 阅读

MapReduce任务运行到running job卡住

一：如下异常：Starting Job16/06/30 01:15:34 INFO client.RMProxy: Connecting to ResourceManager at master/192.168.10.50:803216/06/30 01:15:35 INFO input.FileInputFormat: Total input paths to process : 2...

mapreduce

.net

重启

转载 2022-04-11 15:40:41 322 阅读

hadoop :java.io.FileNotFoundException: File does not exist:

1.用hadoop的eclipse插件下M/R程序的时候，有时候会报Exception in thread "main" java.lang.IllegalArgumentException: Pathname /D:/hadoop/hadoop-2.2.0/hadoop-2.2.0/share/hadoop/mapreduce/hadoop-mapreduce-client-core-2.2.0

hadoop

java

apache

转载 2022-04-11 15:39:48 1427 阅读

yarn-site.xml相关配置参数

默认值

配置参数

资源调度

转载 2022-04-11 15:39:22 635 阅读

Hbase报错：org.apache.hadoop.hbase.ipc.ServerNotRunningYetException: Server is not running yet

在hadoop的bin目录下输入这个指令：即可解决。（退出hadoop的安全模式）

hadoop

安全模式

转载 2022-04-11 15:38:59 779 阅读

yarn-site.xml and mapred-site.xml 配置以及属性说明

//启用yarn 作为资源管理框架<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property></configurat

mapreduce

hadoop

服务器

转载 2022-04-11 15:38:52 252 阅读

MapReduce任务运行到running job卡住

(1) 环境：ubuntu、JDK1.8、hadoop-yapp.jar data/ncdc/wc data/result可是任务运行到running job就卡住了...

hadoop

mapreduce

xml

转载 2022-04-11 15:38:31 1009 阅读

hadoop进阶---hadoop性能优化(一)---hdfs空间不足的管理优化

Hadoop 空间不足，hive首先就会没法跑了，进度始终是0%。将HDFS备份数降低将默认的备份数3设置为2。步骤：CDH–>HDFS–>配置–>搜索dfs.replication–>设置为2 删除无用HDFS数据和Hbase表格主要使用命令hadoop fs -du，hadoop fs -ls，hadoop fs -rm 空间不足根本的解决办法自然是...

hdfs

hadoop

搜索

转载 2022-04-11 15:37:57 299 阅读

hbase空间清理

hbase空间清理hbase由于未设置TTL，导致磁盘空间占满，需要删除数据，或设置TTL。查看磁盘空间占用情况：$ df -m查看磁盘空间占用情况：$ du -sh *最终发现是hadoop文件夹占用最高，确切说是./hadoop/tmp/dfs/data文件夹占空间最大。根据我们自己的业务情况，容易判断出是hbase不断写入导致的问题，通过查看hdfs得到验证：$ ....

hadoop

hdfs

shell命令

转载 2022-04-11 15:37:48 1303 阅读

hbase_数据备份（快照）

Snapshot（快照）开启快照功能，在hbase-site.xml文件中添加如下配置项：<property><name>hbase.snapshot.enabled</name><value>true</value></property>在hbase shell中使用clone

hdfs

数据

数据迁移

转载 2022-04-11 15:35:04 359 阅读

hbase基于快照的数据迁移

的hbase.snapshot.enabled是否设置为true，确认打开了快...

hdfs

目标集

hadoop

转载 2022-04-11 15:34:11 1295 阅读 1收藏

Hbase集群间数据迁移方法总结（包括不通信集群）

问题导读：1.不同版本间集群是

hadoop

数据

hdfs

转载 2022-04-11 15:33:54 667 阅读

HBase的数据备份容灾迁移方案：Distcp，CopyTable，Export/Import，Snapshot，Replication

HBase的数据备份或者容灾方案有这几种：Distcp，CopyT

数据

apache

hadoop

转载 2022-04-11 15:33:07 2075 阅读 1收藏

Hbase监控搭建

HBase监控主要安装三个组件jmxtrans、InfluxDb、grafana。Jmxtrans：JMX可以对外暴露jvm内部的一些指标，但是要获取那些jvm的内部信息，就还需要自己写java程序调用jmx接口去获取数据，并按照某种格式发送到其他地方（如监控程序Graphite,Zabbix等）。这时jmxtrans就派上用场了，jmx

数据

json

.net

转载 2022-04-11 15:32:53 372 阅读

hbase_使用中遇到的问题（NotServingRegionException）

NotServingRegionException错误系统运行一段时间后：刚开始重复报：table=harve_visited_user, attempt=35/35 failed=1ops, last exception: org.apache.hadoop.hbase.NotServingRegionException: org.apache.hadoop.hbase.NotServingRe

hadoop

数据

f5

转载 2022-04-11 15:31:44 359 阅读

jps 查看HBase 启动的进程

使用jps查看Master和HRegion服务器中的必须的进行是否都启动HBase体系结构HBase的服务器体系结构遵从简单的主从服务器架构，它由HRegion服务器（HRegion Server）群和HBase Master服务器（HBase Master Server）构成。HBase Master服务器负责管理所有的HRegion服务器，而HBase中所有的服务器都是通过ZooKeeper来

服务器

zookeeper

体系结构

转载 2022-04-11 15:28:24 1446 阅读

Hadoop的nodemanager老是启动就挂掉解决方法以及如何查看hadoop日志

在启动hadoop后nodemanager，启动之后就挂掉了，今天找到解决方法了。 1，首先我们可以通过查看日志文件，发现原因： 2，因为是nodemanager出问题，所以就看它的日志： 3，查看信息： 4，做出对应的修改：

解决方法

hadoop

日志文件

转载 2022-04-11 15:28:02 1456 阅读

nodemanager启动后自动关闭

本文参考:://www.aiuxian.com/article/p-2804803.htmlhadoop/hbase/zk正常启动后，slave节点的nodemanager就会自动关闭。查看日志，cd /data/yunva/hadoop-2.7.3/logstail -100f yarn-root-nodemanager-slave2.log如下：2019-03-29 14:5...

hadoop

apache

java

转载 2022-04-11 15:27:03 998 阅读

hbase_使用中遇到的问题（NotServingRegionException）

NotServingRegionException错误系统运行一段时间后：刚开始重复报：table=harve_visited_user, attempt=35/35 failed=1ops, last exception: org.apache.hadoop.hbase.NotServingRegionException: org.apache.hadoop.hbase.NotSer...

hadoop

数据

f5

转载 2022-04-11 15:26:48 165 阅读

HIVE和HBASE区别

1. 两者分别是什么？Apache Hive是一个构建在Hadoop基础设施之上的数据仓库。通过Hive可以使用HQL语言查询存放在HDFS上的数据。HQL是一种类SQL语言，这种语言最终被转化为Map/Reduce. 虽然Hive提供了SQL查询功能，但是Hive不能够进行交互查询--因为它只能够在Haoop上批量的执行Hadoop。Apache HBase是一种Key/V...

hive

sql

数据

转载 2022-04-11 15:22:02 122 阅读

Spark-Hadoop、Hive、Spark 之间是什么关系？

大数据本身是个很宽泛的概念，Hadoop生态圈（或者泛生态圈）基本上都是为了处理超过单机尺度的数据处理而诞生的。你可以把它比作一个厨房所以需要的各种工具。锅碗瓢盆，各有各的用处，互相之间又有重合。你可以用汤锅直接当碗吃饭喝汤，你可以用小刀或者刨子去皮。但是每个工具有自己的特性，虽然奇怪的组合也能工作，但是未必是最佳选择。大数据，首先你要能存的下大数据。传统的文件系统是单机的，不能横跨不同的机...

数据

mapreduce

sql

转载 2022-04-11 15:21:57 458 阅读

Hadoop、Hbase、Hive和zookeeper版本匹配关系

Hadoop平台中各个组件的版本匹配非常重要！不是所有组件都下载最新版本就好，版本不匹配和引发各种问题。Hadoop和Hbase的匹配关系可以查看Hbase官方文档，搜索‘Hadoop version support matrix’：://hbase.apache.org/book.#basic.prerequisitesHadoop和Hive的匹配关系查看Hiv...

hive

hadoop

zookeeper

转载 2022-04-11 15:21:51 732 阅读

HBase Rowkey 设计指南

文章目录1为什么Rowkey这么重要 1.1RowKey 到底是什么 1.2RowKey的作用 1.3Rowkey对查询的影响 1.4Rowkey对Region划分影响 2RowKey设计技巧 2.1避免热点的方法 - Salting 2.2避免热点的方法 - Hashing 2.3避免热点的方法 - Reversing 2.4RowKe...

数据

字符串

hadoop

转载 2022-04-11 15:20:20 160 阅读

关于 HIVE Beeline 问题

1 启动hiveserver2 服务，启动beeline -u jdbc:hive2:// 正常，启动beeline -u jdbc:hive2://127.0.0.1:10000 包如下错误Error: Failed to open new session: java.lang.RuntimeException: org.apache.hadoop.ipc.RemoteExcept...

hadoop

apache

hdfs

转载 2022-04-11 15:19:33 258 阅读

Hive的内置服务和hiveserver/hiveserver2的比较

一：Hive的几种内置服务执行bin/hive --service help 如下：[master@master1 hive]$ bin/hive --service helpls: 无法访问/opt/spark/lib/spark-assembly-*.jar: 没有那个文件或目录Usage ./hive <parameters> ...

hive

hadoop

jar

转载 2022-04-11 15:19:10 573 阅读

beeline通过HiveServer2访问Hive的配置和操作

１.　前言作为数据仓库的工具，hive提供了两种ETL运行方式

hive

hadoop

用户名

转载 2022-04-11 15:19:02 1042 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

wx5caecf2ed0645的博客