Java海洋的博客_Hadoop

kafka原理分析

实现、应用场景、性能等方面深度解析Kafka。背景介绍Kafka创建

数据

Group

消息队列

转载 2023-01-02 16:53:31 51 阅读

监控组合ganglia和nagio安装步骤

本帖最后由 pig2 于 2014-5-20 09:39 编辑Ganglia是伯克利开发的一个集群监控软件。可以监视和显示集群中的节点的各种状态信息

ios

php

数据

转载 2023-01-01 09:57:55 107 阅读

flume 性能优化

如图1所示，一个flume-ng agent主要包括source，channel和sink三部分，三部分运

hdfs

hadoop

java

转载 2022-11-16 13:48:34 295 阅读

HBase总结（十九）数据导入方式

*). Client API实现借助HBase的Client API来导入, 是最简易学的方式.Configuration config

jar

hive

hdfs

转载 2022-11-03 19:16:33 110 阅读

Hadoop架构和设计要点

一、前提和设计目标1、硬件错误是常态，而非异常情况，HDFS可能是有成

hdfs

数据

客户端

转载 2022-11-02 08:52:14 99 阅读

Flume学习（一）Flume初始

一、FLUME介绍Flume是一个分布式、可靠、和高

数据

hdfs

日志文件

转载 2022-09-23 20:48:23 193 阅读

HBase总结（十七）Ganglia监控hadoop、hbase集群

1. 在主节点上安装ganglia-webfrontend和ganglia-monitorsudo

hadoop

apache

sed

转载 2022-09-23 20:47:18 152 阅读

Centos6.5源码编译安装Hadoop2.5.1

[plain] view plaincopy Centos6.5(64bit) jdk7 ant1.9.4 ma

html

java

hadoop

转载 2022-09-23 20:46:30 41 阅读

Hive总结（六）hive入门经典

Hadoop. It provides tools

hive

数据

数据库

转载 2022-09-23 20:46:09 194 阅读

Storm学习(一)Storm介绍

场景伴随着信息科技日新月异的发展，信息呈现出爆发

实时计算

hadoop

数据

转载 2022-09-23 20:45:28 128 阅读

亿级Web系统搭建——单机到分布式集群

【导读】徐汉彬曾在阿里巴巴和腾讯从事4年多的

负载均衡

数据库

数据

转载 2022-09-23 20:45:06 33 阅读

使用Ambari快速部署Hadoop大数据环境

前言做大数据相关的后端开发工作一年多来,随着Hadoop社

hadoop

ambari

hive

转载 2022-09-23 20:41:07 240 阅读

Eclipse查看hadoop源代码出现Source not found

在我们hadoop编程中，经常遇到像看看hadoop的某个类中函数的功能。但是我们会遇到一种情况就是Source not found

hadoop

hadoop开发

html

转载 2022-09-12 01:10:11 234 阅读

hadoop函数说明图

前端

原创 2022-09-12 01:10:08 175 阅读

外国技术牛人对Hadoop的认识

在本次虚拟座谈会中，InfoQ采访了多位Hadoop提供商和用户，他们就Hadoop的现在和将来发表了看法，并讨论了Hadoo

hadoop

数据

apache

转载 2022-09-12 01:09:21 96 阅读

Hbase总结（四）- Hbase与传统数据库的区别

在说HBase之前，我想再唠叨几句。做互联网应用的哥们儿应该都清楚，互联网应用这东西，你没办法预测你的系统什么时候会被多少人访问

数据库

数据

数据模型

转载 2022-09-12 01:06:21 232 阅读

HBase总结（九）Bloom Filter概念和原理

Bloom Filter是一种空间效率很高的随机数据结构，它利用位数组很简洁地表示一个集合，并能判断一个元素是否属于这个集合

数组

数学期望

最小值

转载 2022-09-12 01:06:16 130 阅读

HBase总结（七）LSM理解

讲LSM树之前，需要提下三种基本的存储引擎，这样才能清楚LSM树的由来：哈希存储引擎是哈希表的持久化实现，支持增、删、改以及随机读取操作

数据

存储引擎

存储系统

转载 2022-09-12 01:06:16 106 阅读

Hadoop压缩与解压

1 压缩一般来说，计算机处理的数据都存在一些冗余度，同时数据中间，尤其是相邻数据间存在着相关性，所以可以通过一些有别于原

hadoop

apache

数据

转载 2022-09-12 01:06:05 608 阅读

使用Sqoop把Oracle表导入Hive

安装环境：Hive: hive-0.11.0Hadoop: Hadoop 1.2.1Sqoop: sqoop-1.4.4.bin__hadoop-1.0.0Oralce driver: ojdbc6.jar 软件下

sqoop

hadoop

hive

转载 2022-09-12 01:06:03 658 阅读

Hive总结（一）hive初始

1.没有接触，不知道这个事物是什么，所以不会产生任何问题。2.接触了，但是不知道他是什么，反正我每天都在用。3.有一定的

hive

hadoop

mapreduce

转载 2022-09-12 01:05:59 72 阅读

Hive总结（三）hive组件和执行过程

对Hive的基本组成进行了总结：1、组件：元存储（Metastore ）－存储“系统目录以及关于表、列、分区等的元数据”的组件。

hive

数据

编译器

转载 2022-09-12 01:05:56 147 阅读

HBase总结（十六）HBase原理讲解

前提是大家至少了解HBase的基本需求和组件。从大家最熟悉的客户端发起请求开始讲起吧，这样大家能够深有体会的逐步了解原

数据

客户端

get请求

转载 2022-09-12 01:05:36 106 阅读

Hive总结（十二）Hive查询进阶

通过Hive提供的order by子句可以让最终的输出结果整体有序。但是因为Hive是基于Hadoop之上的，要生成这种整体有序的结果

hive

子查询

分隔符

转载 2022-09-12 01:05:24 127 阅读

Hive中分组取前N个值

背景假设有一个学生各门课的成绩的表单，应用hive取出每科成绩前100名的学生成绩。这个就是典型在分组取Top N的需求。

hive

i++

jar

转载 2022-09-12 01:05:22 277 阅读

HBase phoenix二级索引

1. 为什么需要用二级索引?对于HBase而言，如果想精确地定位到某行记录，唯

java

apache

hadoop

转载 2022-08-20 00:00:22 660 阅读

开源日志系统比较：scribe、chukwa、kafka、flume

1. 背景介绍许多公司的平台每天会产生大量的日志（一般为流式数据，如，搜索引擎的pv，

数据

hdfs

存储系统

转载 2022-08-20 00:00:17 2618 阅读

hive常用函数

字符串函数字符串长度函数：length Java代码语法: length(string A) 返回值: int

hive

字符串

java代码

转载 2022-08-20 00:00:14 52 阅读

Hadoop之DFS扩容

不经意，实验室的Hadoop集群也运行了一年多了，数据量和log都在日增。最近准备开始新的项目

hdfs

hadoop

hadoop集群

转载 2022-08-17 15:15:07 111 阅读

HDFS之Qurom Journal Manager（QJM）实现机制分析

1.前言1.1背景自从hadoop2版本开始，社区引入了NameNode高可用方案。NameNode

日志文件

数据

hdfs

转载 2022-08-17 15:13:49 349 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客