怒放de每一天的博客_大数据

如何在浏览器上在线看hdfs的数据

文章目录问题点击链接点击download出现问题解决办法效果问题如图在上面的浏

hadoop

hdfs

xml

映射关系

原创 2022-07-06 19:26:13 330 阅读

hadoop伪分布式部署(4）

目录伪分布式部署规划伪分布式部署规划咋规划啊，就一个电脑，但是部署的内容还是知道的，

hadoop

伪分布式部署

大数据

hdfs

xml

原创 2022-07-06 19:23:14 89 阅读

hadoop完全分布式环境搭建实操(6)

目录完全分布式环境搭建实操1.前提条件2.修改伪分布式环境的几个hadoop的配置文件完全分布式环

hadoop

完全分布式

mapreduce

xml

原创 2022-07-06 19:23:10 140 阅读

hadoop之hdfs概念(7)

目录HDFS1.概念2.组成3.HDFS 文件块大小HDFS1.概念HDFS，它是一个文件系统，全称：Hadoop Distributed File S

hadoop

hdfs

linux

原创 2022-07-06 19:23:02 150 阅读

java.lang.UnsatisfiedLinkError:org.apache.hadoop.util.NativeCrc32.nativeComputeChunkedSumsByteArray

/** * 上传 */ @Test public void putHDFS() throws IOException, URISyntaxException, InterruptedException { //创建配置信息 Configuration conf = new Configuration(); //...

hadoop

上传

hdfs

原创 2022-07-06 19:22:54 134 阅读

hadoop之HDFS工作机制(9)

目录HDFS 工作机制1.HDFS写数据流程①剖析文件写入又到了一堆理论时间了，可是不知道理论，只会无脑复制拷贝请求第一个 b...

hadoop

hdfs工作机制

hdfs

客户端

转载 2022-07-06 19:22:51 247 阅读

hadoop之mapreduce的wordcount程序(10)

目录MapReduce入门1.MapReduce定义2.MapReduce优缺点优点缺点3. MapReduce核心思想4.MapR

hadoop

mapreduce

序列化

转载 2022-07-06 19:22:23 122 阅读

HDFS和YARN集群新增节点

目录静态新增动态新增Hadoop HDFS 数据自动平衡脚本使用方法静态新增静态新增的方式，相

大数据

hdfs

hadoop

数据

转载 2022-07-06 19:21:59 234 阅读

Hadoop Mapreduce分区、分组、连接以及辅助排序（也叫二次排序）过程详解

目录1、MapReduce中数据流动2、Mapreduce中Partition的概念以及使用。1）Partition的原理和作用2）Partition的使

hadoop

mapreduce

自定义

数据

原创 2022-07-06 19:21:52 82 阅读

hadoop之数据压缩(12)

目录hadoop雅俗概述MR支持的压缩编码压缩方式选择1.Gzip压缩2.Bzip2压缩3.Lzo压缩4.Snappy压缩5

hadoop压缩

hadoop

apache

mapreduce

原创 2022-07-06 19:21:27 121 阅读

win10中docker安装kafka环境和操作

文章目录1. 安装zookeeper2.安装kafka操作1.如何进入kafka终端命令行:2.创建 topic3.查看 topic4.查看日志文件目录5.查看zook

kafka

zookeeper

docker

原创 2022-07-06 19:08:23 335 阅读

图解hdfs常用api

hadoop

hdfs

原创 2022-07-06 19:01:33 58 阅读

cloudera-scm-server: Access denied for user ‘scm‘@‘192.168.157.11‘ (using password: YES)

、

cloudera

mysql

数据库

访问权限

原创 2022-07-06 18:51:35 207 阅读

hadoop完全分布式环境搭建知识准备（5）

目录hadoop完全分布式环境搭建1.集群规划2.机器上需要配置的内容hadoop完全分布式环

hadoop

完全分布式

xml

主机名

原创 2022-07-06 18:34:39 88 阅读

hadoop之操作window下HDFS API编程(8)

目录代码操作HDFS1.准备:window10下配置hadoop环境配置环境变量拷贝2个文件到HADOOP_HOME/bin下2.pom相关的依赖3.通过API操作HDFS1) HDFS获取文件系统2）HDFS文件上传3）HDFS文件下载4）HDFS目录创建5)HDFS文件夹删除6）HDFS文件名更改

hadoop

api

hdfs

文件系统

原创 2022-07-06 18:23:01 117 阅读

大数据技术之 -- flume

文章目录1.Flume简介2.Flume角色2.1、Source2.2、Channel2.3、Sink2.4、Event3.Flume传输过程4.Flume部署及使用4.1、文件配置案例案例一:监控端口数据案例二：实时读取本地文件到HDFS案例三：实时读取目录文件到HDFS案例四：Flume

flume

大数据

hdfs

数据

时间戳

原创 2022-07-06 17:39:02 80 阅读

OutputFormat接口实现类案例

目录OutputFormat接口实现类1）文本输出TextOutputFormat2）SequenceFileOutputForm

hadoop

mapreduce

apache

原创 2022-07-06 17:32:34 88 阅读

mapreduce辅助排序和序列化的实例练习

目录需求数据思路码代码beanmap分组比较器（辅助排序）分区reduce测试job任务查看结

hadoop

mapreduce

ide

apache

数据

原创 2022-07-06 17:19:47 244 阅读

hadoop之yarn的工作机制（14）

目录yarn的工作机制yarn的工作机制

hadoop

yarn

mapreduce

优先级

原创 2022-07-06 17:19:19 165 阅读

hadoop之Map join和Reduce join (13)

目录Map join（Distributedcache分布式缓存）使用场景解决方案具体办法：采用distributedcac

hadoop

mapreduce

map join

reduce join

apache

原创 2022-07-06 17:19:03 210 阅读

hadoop之多job串联(倒排索引案例）(15)

目录需求原始数据期待的结果:思路码代码0.封装一个测试类1.job12.job2需求需求：有大量的文

hadoop

倒排索引

mapreduce

apache

原创 2022-07-06 17:18:21 75 阅读

InputFormat接口实现类案例

目录1）TextInputFormat2）KeyValueTextInputFormat3）NLineInputFormat4.自定义InputFormat1）概

hadoop

mapreduce

apache

原创 2022-07-06 17:18:03 61 阅读

yarn的节点和作用

一图以蔽之

yarn

大数据

原创 2022-07-06 17:16:35 461 阅读

rsa 免密登录原理

免密登录原理一图以蔽之

git

rsa

免密码登录

原创 2022-07-06 17:13:20 65 阅读

springboot使用Cassandra组合查询数据

springboot使用Cassandra组合查询数据在application.yml中配置cassandrapom中引入Cassandra封装Cassandra的通用类具体使用实现

Cassandra

springboot

spring

java

ide

原创 2022-07-06 17:11:39 58 阅读

hadoop运行环境搭建准备(2)

目录1.准备:2.环境配置关闭防火墙关闭Selinux（可选）修改IP1. vi /etc/sysconfig/network-scripts/ifcf

hadoop

大数据

linux

主机名

java

原创 2022-07-06 17:06:10 94 阅读

hadoop分布式部署准备之免密码登录（3）

目录需求操作1.在xshell上设置一键控制3个窗口2.生成公钥和私钥3.将公钥拷贝到要免密登录的目标机器

免密登录

hadoop

大数据

菜单栏

命令行

原创 2022-07-06 17:05:55 48 阅读

hadoop概论(1)

1.项目起源• Hadoop由 Apache Software Foundation 公司于 2005 年秋天作为Lucene的子项目Nut

hadoop

大数据

数据

mapreduce

转载 2022-07-06 17:05:52 28 阅读

MapReduce框架--InputFormat数据输入--切片优化(11)

目录MapReduce框架原理1.MapReduce工作流程2.InputFormat数据输入1)Job提交流程和切片

hadoop

mapreduce

数据

自定义

原创 2022-07-06 17:02:53 119 阅读

mapreduce案例实战-排序和二次排序案例

目录1.数据:2.需求3.代码1）序列化的bean对象，用于保存展示数据2）mapper3）redu

大数据

mapreduce

hadoop

apache

ide

转载 2022-07-06 17:02:36 67 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

12476320

如何在浏览器上在线看hdfs的数据

hadoop伪分布式部署(4）

hadoop完全分布式环境搭建实操(6)

hadoop之hdfs概念(7)

java.lang.UnsatisfiedLinkError:org.apache.hadoop.util.NativeCrc32.nativeComputeChunkedSumsByteArray

hadoop之HDFS工作机制(9)

hadoop之mapreduce的wordcount程序(10)

HDFS和YARN集群新增节点

Hadoop Mapreduce分区、分组、连接以及辅助排序（也叫二次排序）过程详解

hadoop之数据压缩(12)

win10中docker安装kafka环境和操作

图解hdfs常用api

cloudera-scm-server: Access denied for user ‘scm‘@‘192.168.157.11‘ (using password: YES)

hadoop完全分布式环境搭建知识准备（5）

hadoop之操作window下HDFS API编程(8)

大数据技术之 -- flume

OutputFormat接口实现类案例

mapreduce辅助排序和序列化的实例练习

hadoop之yarn的工作机制（14）

hadoop之Map join和Reduce join (13)

hadoop之多job串联(倒排索引案例）(15)

InputFormat接口实现类案例

yarn的节点和作用

rsa 免密登录原理

springboot使用Cassandra组合查询数据

hadoop运行环境搭建准备(2)

hadoop分布式部署准备之免密码登录（3）

hadoop概论(1)

MapReduce框架--InputFormat数据输入--切片优化(11)

mapreduce案例实战-排序和二次排序案例