大数据处理点滴笔记一般来说，根据数量级，两千万以内用MySQL, 两千万以上用Mongodb ,亿级别的用Hadoop。几十亿的数据hbase.用来做统计，Mongodb还是有一定的优势-----------------------------------------------------------------------------------------------------
原创
2023-04-25 21:21:21
70阅读
1. 背景随着大数据时代来临，人们发现数据越来越多。但是如何对大数据进行存储与分析呢？ 单机PC存储和分析数据存在很多瓶颈，包括存储容量、读写速率、计算效率等等，这些单机PC无法满足要求。2. 为解决这些存储容量、读写速率、计算效率等等问题，google大数据技术开发了三大革命性技术解决这些问题，这...
转载
2015-09-16 15:41:00
383阅读
2评论
一、Hadoop部署,Hadoop之父------》Doug cutting (1)Cloudera 25%(2)Hortonworks 15%
原创
2022-11-03 14:26:42
50阅读
#2018-07-19#1.同步集群时间2.数据导入flume使用 flume 收集 nginx 服务器的日志到 hdfs （1）配置代理[root@master1 ~]# vim /etc/flume/conf/flume.conf添加：# #配置Agenta1.sources = r1a1.sinks = k1a1.channels = c1# # 配...
原创
2021-06-04 19:20:01
560阅读
第28章 HIVEQLHIVEQL(HIVEQuery Language:Hive查询语言)是一种查询语言，该语言为Hive处理并分析Metastore的结构数据。
原创
2022-06-15 17:39:17
94阅读
第24章分区 Hive组织table进入分区。该方法是把一个表分层相关的部分，每个部分基于分区列的值，如日期、城市、部门等。用分区
原创
2022-06-15 17:39:29
81阅读
第25章内置运算符本章用来解释Hive的内置运算符，Hive有四种运算符：关系运算符、算术运算符、逻辑运算符、复杂运算符
原创
2022-06-15 17:40:28
88阅读
第22章数据库操作22.1 创建数据库 Hive是一个数据库技术，该技术可以定义数据库和表用于分析结构数据。结构化数据分析的主题是以表格方式存储数据
原创
2022-06-15 17:40:39
102阅读
第13章 KAFKA基本组成与集群架构13.1 KAFKA的基本组成 在深入学习KAFKA之前，必须知道的专业术语如：主题(topics)
原创
2022-06-15 17:43:41
192阅读
第10章 zookeeper 命令行接口ZooKeeper命令行接口被用于与zookeeperensemble进行交互。调试、带有不同option的工作是非常有用的
原创
2022-06-15 17:43:59
153阅读
如何在zookeeper集群中选举出一个leader,zookeeper使用了三种算法,具体使用哪种算法,在配置文件中是可以配置的,对应的配置项是”electionAlg”,其中1对应的是LeaderElection算法
转载
2022-06-15 17:44:24
52阅读
第二部分 KAFKA学习 该部分，主要对Spark学习笔记进行记录，学习资料翻译自《apache_kafka_tutorial》
原创
2022-06-15 17:44:48
123阅读
第3章 Spark安装Spark是Hadoop的子项目。因此，Spark最好安装在Linux系统。安装步骤如下：Step
原创
2022-06-15 17:45:31
99阅读
第2章 Spark弹性分布数据集2.1 弹性分布式数据集 弹性分布式数据集（Resilient Distributed Datasets(RDD)）是spark的一种基本的数据结构。
原创
2022-06-15 17:46:43
77阅读
1.修改主机名hostnamectl set-hostname masterbash 2.替换本地源pkill -9 yum //杀掉yum进程cd /etc/yum.repos.dcat bigdata.repo //查看本地源rm -rf * //删除wget http://172.19.47. ...
转载
2021-10-20 18:14:00
264阅读
2评论
第33章 HBASE ADMIN APIHBase是Java编写的，因此Java为HBase提供了一个API用来实现与HBase的交互。Java API是与HBase交互最快的方法。下面给出JavaA
原创
2022-06-15 17:37:39
156阅读
