云原生总监的博客_hadoop

Apache Pig的一些基础概念及用法总结

转载必须注明出处：http://www.codelast.com/本文可以让刚接触pig的人对

数据

Pig

字段

转载 2023-08-10 13:39:06 146 阅读

Hadoop平台优化综述

1. 概述随着企业要处理的数据量越来越大，MapReduce思想越来越受到重视。Hadoop是MapReduce的一个开源实现，由于其良好的扩展性和容错性，已得到越来越广泛的应用。Hadoop作为一个基础数据处理平台，虽然其应用价值已得到大家认可，但仍存在很多问题，以下是主要几个：（1） Namenode/jobtracker单点故障。 Hadoop采用

Hadoop

数据

HDFS

转载 2023-01-01 14:01:54 140 阅读

Impala1.1.1 安装使用

palad的实例之间的信息关系。选择集群中一个节点安装.impala-

hadoop

JAVA

hive

转载 2023-01-01 14:00:26 209 阅读

hive函数参考手册

博客分类： hive nosql 官方定义见： https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF .内置运算符 1.1关系运算符运算符类型说明 A = B 所有原始类型如果A与B相等,返回TRUE,否则返回FALSE A == B 无失败，因

字符串

运算符

unix

转载 2023-01-01 13:59:03 91 阅读

scala 开发spark程序

Spark内核是由Scala语言开发的，因此使用Scala语言开发Spark应用程序是自然而然的事情。如果你对Scala语言还不太

Text

hadoop

Scala

转载 2022-12-27 21:52:15 177 阅读

kafka java示例

我使用的kafka版本是：0.7.2jdk版本是：1.6.0_20http://kafka.apache.org/07/quickstart.html官方给的示例并不是很完整，以下代码是pyimport java

kafka

java

zookeeper

转载 2022-12-27 21:50:57 139 阅读

HBase 常用Shell命令

进入hbase shell console$HBASE_HOME/bin/hbase shell如果有kerberos认证，需要事先使用相应的keyt

hadoop

数据

删除表

转载 2022-12-27 21:48:52 89 阅读

Hue安装

Table of Contents1. Introduction2. Hue Installation Instructions2.1. Install Hue2.2. Install

hadoop

Hadoop

xml

转载 2022-12-16 23:45:45 227 阅读

pig分析脚本

课程内容：各种k8s部署方式。包括minikube部署，kubeadm部署，kubeasz部署，rancher部署，k3s部署。包括开发测试环境部署k8s，和生产环境部署k8s。腾讯课堂连接地址https://ke.qq.com/course/478827?taid=4373109931462251&tuin=ba64518腾讯课堂连接地址https://ke.qq.com/course/

jar

.net

apache

原创 2022-12-16 23:43:31 127 阅读

hbase大规模数据写入的优化历程

业务背景：由于需要将ngix日志过滤出来的1亿+条用户行为记录存入Hbase于hbase实际的写

建表

数据

堆内存

转载 2022-12-16 20:14:10 94 阅读

flume 1.4 安装

flume-ng 1.4的安装flume-ng是一个分布式、高可靠和高效的日志收集系统，具体说明参看flume-ng使用指南：javascript:void(0)flume-ng是flume的新版本的意思，其中“ng”意为new generate(新一代)，目前来说，flume-ng 1.4是最新的版本1.下载安装包可以到官网http://www.apache.org/d

zookeeper

数据

xml

转载 2022-12-16 19:13:48 95 阅读

shark 安装

本文介绍在计算机集群上如何启动和运行Shark。如果对Amazon EC2上运行Shark感

hadoop

hive

spark

转载 2022-12-16 17:55:47 197 阅读

Hadoop pig进阶语法

本文来自与作者阅读 Programming Pig 所做的笔记，转载请注明出处 http://www.cnblo

ide

转义

sed

转载 2022-12-16 17:54:42 206 阅读

ChainMapper和ChainReducer

Text

apache

hadoop

转载 2022-12-16 17:53:22 32 阅读

adoop深入学习：InputFormat组件

在本节里，我们着重学习MapReduce编程接口模型中的InputForamt组件。 InputFormat主要用于描述输入数据的格式，提供了以下两个

数据

Java

HDFS

转载 2022-12-16 17:52:06 87 阅读

User Defined Functions

Introduction Writing Java UDFs Eval Functions Load/Store Functions Advanced Topics Writing Python UDFs Registering the UDF Decorators and Schemas Example Scripts Advanced Topics

jar

java

ide

转载 2022-11-15 13:43:30 85 阅读

DataFu在Apache进入孵化状态

该项目创建于2012年1月，早期的定位是作为Pig项目的用户定义函数

apache

项目创建

mapreduce

转载 2022-11-15 13:41:10 69 阅读

大数据入门：各种大数据技术介绍

了解大数据各种技术之间的关系，选择合适的语言。我们可以带着下面问题来阅读本文章：1....

hadoop

数据

cloudera

转载 2022-10-20 23:23:58 81 阅读

hadoop1.2.1安装配置

环境：ubuntu13使用的用户为普通用户。如：用户rujdk安装略1、安装ssh(1)Java代码 sudo apt-get install openssh-server (2)配置ssh

hadoop

xml

hdfs

转载 2022-10-10 14:30:17 46 阅读

ambari安装

1.安装JDK（可选）2.安装Ambari2.1配置Ambari的yum repocd /etc/yum.repos.d/ wget http://public-repo-1.hortonworks.com/ambari/centos6/1.x/updates/1.4.1.25/ambari.repo2.2安装Ambari Server在Server节点安装Amba

ambari

oracle

用户名

转载 2022-10-10 14:29:01 162 阅读

RHive

安装RHiveinstall.packages("RHive")library(RHive)Loading required package: rJavaLoading required p

hive

hdfs

hadoop

转载 2022-10-10 14:28:09 45 阅读

java 访问hdfs

读数据使用hadoop url读取比较简单的读取hdfs数据的方法就是通过java.net.URL打开一个流，不过在这之前先要预先调用它

java

hadoop

apache

转载 2022-10-10 14:26:06 68 阅读

zookeeper安装

Zookper是一种分布式的，开源的，应用于分布式应用的协作服务。它提供了一些简单的操作，使得分布式应用可以基于这些接口实现诸如同步、配置维护和分集群或者命名的服务。网上有很多的安装教程，有些确实很不错，但总有一些比较坑的，误导了大家的安装，这次把自己亲身经历，安装的步骤和在安装中遇到的一些问题发布出来，供大家共同学习。首先，当然是下载zookeeper的安装包。下载地址：htt

zookeeper

hadoop

html

转载 2022-10-10 14:25:36 25 阅读

hbase 安装

一、安装zookeeper在安装好分布式hadoop的环境下，继续安装zookeeper-3.4.5。$ wget ht

zookeeper

hadoop

java

转载 2022-10-10 14:24:38 18 阅读

HiveQL详解

HiveQL详解HiveQL是一种类似SQL的语言, 它与大部分的SQL语法兼容, 但是并不完全支持SQL标准, 如HiveQL不支持更新操作, 也不支持索引和事

hive

数据

hadoop

转载 2022-10-10 14:23:49 217 阅读

kafka 安装

kafka

zookeeper

下载地址

转载 2022-10-10 14:21:47 52 阅读

Hadoop监测工具——Splunk安装与使用

Splunk对于各种日志的监测非常好用，个人感觉它与Ganglia的最大不同点在于：Ganglia只是采集实时的数据并显示，不会对这。当然，你可以根据需要认

hadoop

数据

免费版

转载 2022-10-10 14:21:27 314 阅读

RHadoop安装

*实验环境：*********************************************************************************hadoop集群（virtualBox虚

hadoop

zookeeper

hdfs

转载 2022-10-10 14:20:59 52 阅读

hbase所谓的三维有序存储

hbase所谓的三维有序存储的三维是指：rowkey（行主键），column key(columnFamily+qualifier)，timestamp(时间戳)三部分组成的三维有序存储。1.rowkey，我们知道rowkey是行的主键，而且hbase只能用个rowkey，或者一个rowkey范围即scan来查找数据。所以 rowkey的设计是至关重要的，关系到你应用层的查询效率。我们知道

数据

字典排序

时间戳

转载 2022-09-05 15:17:43 50 阅读

java客户端操作Hbase

java客户端操作Hbase 首先，配置好 hadoop+hbase 环境后，确保 hbase 正常启动。1. 搭建开发环境

hadoop

apache

java

转载 2022-09-05 15:16:57 113 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

云原生总监