陈小哥cw的博客_大数据

apache

hadoop

sql

sed

spark

原创 2021-09-01 16:31:17 581 阅读

apache

spark

官网

下载地址

spark安装

原创 2021-09-01 16:08:47 119 阅读

HAProxy页面参数解释

QueueCur: current queued requests //当前的队列请求数量Max：max queued requests //最大的队列请求数量Limit： //队列限制数量Session rate(每秒的连接回话)列表scur: current sessions //每秒的当前会话的限制数量smax: max sessions //每秒的新的最大的会话数量slim: sessions limit ...

后端服务

redis

服务器

字节数

权重

原创 2021-09-01 16:08:45 232 阅读

nginx-nginx和反向代理概念

1.nginx-nginx和反向代理概念1.1 代理概念代理（英语：Proxy），也称网络代理，是一种特殊的网络服务，允许一个网络终端（一般为客户端）通过这个服务与另一个网络终端（一般为服务器）进行非直接的连接。一些网关、路由器等网络设备具备网络代理功能。一般认为代理服务有利于保障网络终端的隐私或安全，防止攻击。提供代理服务的电脑系统或其它类型的网络终端称为代理服务器（英文：Proxy Se...

nginx

html

服务器

虚拟主机

客户端

原创 2021-09-01 15:59:19 849 阅读

Spark面试题(持续更新)

一、RDD中reduceBykey与groupByKey哪个性能好，为什么？reduceByKey：reduceByKey会在结果发送至reducer之

spark

数据

mapreduce

资源管理

资源调度

原创 2021-09-01 15:58:56 421 阅读

spark算子 reduce,reduceByKey和groupByKey的区别

reduce和reduceByKey的区别reduce(binary_function)reduce将RDD中元素前两个传给输入函数，产生一个新的return值，新产生的return值与RDD中下一个元素（第三个元素）组成两个元素，再被传给输入函数，直到最后只有一个值为止。具体过程，RDD有1 2 3 4 5 6 7 8 9 10个元素，1+2=33+3=66+4=1010+5=15...

数据

自定义函数

外链

自定义

编程

原创 2021-09-01 15:54:30 1837 阅读

HBase shell常见命令

一,具体实践1.1 基本操作1.进入HBase客户端命令行[root@node1 hbase]$ bin/hbase shell2.查看帮助命令hbase(main):001:0> help# 查看指定命令帮助help "命令名"3.查看当前数据库中有哪些表hbase(main):002:0> list1.2 表的操作1.创建表hbase(main):00...

表数据

数据

表名

时间戳

创建表

原创 2021-09-01 15:51:30 429 阅读

卸载虚拟网卡命令

卸载虚拟网卡命令：yum install -y libguestfs-toolsyum install -y virt-installvirsh net-listvirsh net-destroy defaultvirsh net-undefine default

编程

原创 2021-09-01 15:51:28 1292 阅读

HBase与Hive的集成

HBase 虽然可以存储数亿或数十亿行数据，但是对于数据分析来说，不太友好，只提供了简单的基于 Key 值的快速查询能力，没法进行大量的条件查询。不过，Hive 与 HBase 的整合可以实现我们的这个目标。不仅如此，还能通过 Hive 将数据批量地导入到 HBase 中。Hive 与 HBase 整合的实现是利用两者本身对外的 API 接口互相通信来完成的，其具体工作交由 Hive 的 li...

hive

jar

数据

h5

hadoop

原创 2021-09-01 15:51:28 310 阅读

HBase API(Java)之对HBase表,命名空间等的操作

一,环境准备具体代码在GitHub: https://github.com/cw1322311203/hbaseapi新建项目后在pom.xml中添加依赖：<dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-server</artifactI...

数据

时间戳

apache

hadoop

创建表

原创 2021-09-01 15:51:24 1517 阅读 1点赞 1收藏

hbase删除标记和注意事项

hbase删除有三种标记Delete标记: 删除特定列列指定的版本DeleteFamily标记: 删除特定列族所有列DeleteColumn标记: 删除特定列的所有版本指定rowkey: 使用DeleteFamily标记不加时间戳表示删除指定rowkey的所有数据加时间戳表示删除指定rowkey中时间戳版本小于或等于指定时间戳的所有数据指定rowkey+columnFamil...

时间戳

数据

新版本

生产环境

编程

原创 2021-09-01 15:51:24 1057 阅读

hadoop,hbase,hive,spark遇到无权限问题Permission denied: user=root, access=WRITE解决

在hadoop,hbase,hive执行某些命令时,可能遇到以下问题Permission denied: user=root, access=WRITE, inode="/user":hdfs:supergroup:drwxr-xr-x这是因为root用户没有相应权限导致的解决方法有以下几种1.第一种解决方案在hdfs上/user目录下创建root目录,需要在HDFS上有一个用户主目录...

hdfs

hadoop

解决方案

主目录

解决方法

原创 2021-09-01 15:51:23 5205 阅读

MapReduce和HBase集成(Apache版本和CDH版本)

hadoop

apache

mapreduce

jar

h5

原创 2021-09-01 15:51:22 307 阅读

使用MapReduce对HBase中表数据进行分析并存入MySQL中

目标:对HBase中的student表数据的value值进行wordcount,并写入MySQL前置准备:在maven中加入MySQL jdbc驱动包<dependency> <groupId>mysql</groupId> <artifactId>mysql-connector-java</artifactId>...

mysql

hadoop

apache

java

mapreduce

原创 2021-09-01 15:51:21 565 阅读

HBase协处理器实现两个表数据的同步插入步骤

具体代码和配置文件见GitHub:https://github.com/cw1322311203/hbasedemo/tree/master/hbase-coprocesser1.协处理器实现两个表数据的同步插入步骤可以使用协处理器来实现两个表数据的同步插入协处理器(Hbase自己的功能)实现两表的同步数据插入步骤:创建类,继承BaseRegionObserver重写方法:pos...

apache

数据

hadoop

上传

创建表

原创 2021-09-01 15:51:20 337 阅读

CDH各个版本组件版本及常见cdh链接

5.x的CDH各个组件版本信息https://www.cloudera.com/documentation/enterprise/release-notes/topics/rg_cdh_vd.html6.x的CDH各个组件版本信息https://www.cloudera.com/documentation/enterprise/6/release-notes/topics/rg_cdh_62...

cloudera

hive

h5

html

oracle

原创 2021-09-01 15:51:19 3062 阅读

sqoop安装和命令介绍

一,sqoop介绍1.1 sqoop简介Sqoop是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql…)间进行数据的传递，可以将一个关系型数据库（例如： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。Sqoop项目开始于2009年，最早是作为Hadoop...

sqoop

hive

mysql

hdfs

hadoop

原创 2021-09-01 15:51:17 1201 阅读

HDFS命令操作和高可用

1.HDFS的命令行操作查看所有HDFS的命令[root@node01 ~]# hdfs dfs #也可使用hadoop dfs创建HDFS的文件夹，如果父目录不存在，则创建(-p)/user目录是用户父目录，用户名做子目录，、/user/root代表用户家目录如果使用hdfs shell 缺省hdfs路径的时候，使用该目录[root@node01 ~]# hdfs df...

zookeeper

hdfs

hadoop

java

xml

原创 2021-09-01 15:48:38 658 阅读

impala的架构

无主模型,没有主从的概念HiveMetaStore和HDFS NameNode是外部系统,StateStore和Catalog是impala的内部系统Impala是一个长服务计算。而MapReduce是一个临时的计算，什么时候提交作业什么时候才会计算。Spark：启动服务后一直计算知道所有计算结束，进程拉起后执行完所有计算任务才会销毁。MapReduce：启动服务后执行作业的计算，计算...

元数据

hive

客户端

缓存

启动服务

原创 2021-09-01 15:48:35 737 阅读

hive函数之日期函数

以下就是Hive内置支持的日期函数返回类型函数表达式描述stringfrom_unixtime(bigint unixtime[, string format])将unix时间戳（1970-01-01 00:00:00 UTC）的秒数转换为一个字符串，该字符串表示当前系统时区中该时刻的时间戳，格式为“ 1970-01-01 00:00： 00”。bigintun...

时间戳

hive

字符串

unix

java

原创 2021-09-01 15:48:32 518 阅读

hive常见问题

1.hive几种去重方式Distinct用法：对select 后面所有字段去重，并不能只对一列去重(1) 当distinct应用到多个字段的时候，distinct必须放在开头，其应用的范围是其后面的所有字段，而不只是紧挨着它的一个字段，而且distinct只能放到所有字段的前面(2) distinct对NULL是不进行过滤的，即返回的结果中是包含NULL值的(3) 聚合函数中的DISTI...

字段

表名

聚合函数

hive

窗口函数

原创 2021-09-01 15:48:31 602 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

12892538

大数据相关资源网址

大数据相关资源网址

HAProxy页面参数解释

nginx-nginx和反向代理概念

Spark面试题(持续更新)

spark算子 reduce,reduceByKey和groupByKey的区别

HBase shell常见命令

卸载虚拟网卡命令

HBase与Hive的集成

HBase API(Java)之对HBase表,命名空间等的操作

hbase删除标记和注意事项

hadoop,hbase,hive,spark遇到无权限问题Permission denied: user=root, access=WRITE解决

MapReduce和HBase集成(Apache版本和CDH版本)

使用MapReduce对HBase中表数据进行分析并存入MySQL中

HBase协处理器实现两个表数据的同步插入步骤

CDH各个版本组件版本及常见cdh链接

sqoop安装和命令介绍

HDFS命令操作和高可用

impala的架构

hive函数之日期函数

hive常见问题