Hadoop是由Apache基金会开发的一个大数据分布式系统基础架构，最早版本是2003年原Yahoo!DougCutting根据Google发布的学术论文研究而来。用户可以在不了解分布式底层细节的情况下，轻松地在Hadoop上开发和运行处理海量数据的应用程序。低成本、高可靠、高扩展、高有效、高容错等特性让Hadoop成为最流行的大数据分析系统，然而其赖以生存的HDFS和MapReduce组件却让
转载
2023-09-27 04:55:34
78阅读
Hadoop：Hadoop生态圈(或者泛生态圈)基本上都是为了处理超过单机尺度的数据处理而诞生的。不是一个工具，也不是一种技术，是一种技术的合称HDFS：分布式文件系统。传统的文件系统是单机的，不能横跨不同的机器。比如你说我要获取/hdfs/tmp/file1的数据，你引用的是一个文件路径，但是实际的数据存放在很多不同的机器上。你作为用户，不需要知道这些，就好比在单机上你不关心文件分散在什么磁道什
转载
2023-07-11 18:57:03
134阅读
一，下面一张图为传统架构和Hadoop的区别主要讲以下横向扩展和扩展横向扩展：（Mpp 是hash分布，具有20节点）添加新的设备和现有的设备一起提供负载能力。Hadoop中系统扩容时，系统平台增加新节点之后，系统自动在所有节点之间均衡数据。纵向扩展：（oracle两个节点）向上扩展，指的是替换掉已经不能满足需求的硬件设备、采购更高性能的硬件设备，从而提升系统的负载能力。二，Hadoop集群是一种
转载
2023-08-11 15:58:28
190阅读
1、什么是大数据？基本概念在互联网技术发展到现今阶段，大量日常、工作等事务产生的数据都已经信息化，人类产生的数据量相比以前有了爆炸式的增长，以前的传统的数据处理技术已经无法胜任，需求催生技术，一套用来处理海量数据的软件工具应运而生，这就是大数据！ 换个角度说，大数据是：1、有海量的数据2、有对海量数据进行挖掘的需求3、有对海量数据进行挖掘的软件工具（hadoop、spark、storm、
转载
2024-07-02 20:28:58
51阅读
对于刚接触大数据的用户来说，要想区分Hive与HBase是有一定难度的。本文将尝试从其各自的定义、特点、限制、应用场景等角度来进行分析，以作抛砖引玉之用。
转载
2023-05-21 15:23:54
175阅读
Python+大数据技术框架和数仓基础(一)分布式和集群的区别分布式 ：分布式的主要工作是分解任务，将职能拆解，多个人在一起做不同的事
集群：集群主要是将同一个业务，部署在多个服务器上 ，多个人在一起做同样的事Hadoop介绍Hadoop是Apache旗下的一个用Java语言实现开源软件框架，是一个存储和计算大规模数据的软件平台。
Hadoop是Apache Lucene创始人 Doug Cu
转载
2023-12-07 06:16:26
51阅读
“ 这是尼萌工作室的第【 9】篇文章。本文正文1830字，阅读完成约5分钟。”说明：目前有sqoop 1和sqoop 2 两个版本，两者不兼容。本文描述对象为sqoop1，若对sqoop2有兴趣的童鞋可到官网查阅。 01 初识Sqoop—Sqoop 是连接传统关系型数据库(支持JDBC的Connector)和 Hadoop 生态系统的桥梁。采用批处理的方式，利用M
转载
2024-01-13 16:29:50
75阅读
引言：Ceph是目前炙手可热的一个统一分布式存储系统，具有优异的性能、可靠性、可扩展性。其可轻松扩展到数 PB 容量， 支持多种工作负载的高性能（每秒输入/输出操作[IOPS]和带宽），具有极其高的可靠性。Ceph对比HDFS优势在于易扩展，无单点。HDFS是专门为Hadoop这样的云计算而生，在离线批量处理大数据上有先天的优势，而Ceph是一个通用的实时存储系统，具有相当好的超大数量小文件处理能
转载
2024-01-04 15:04:50
84阅读
一、摘要：最近在了解Ceph，总想拿它和HDFS来做个比较，一是做个阶段性总结，二是加深自己对两种分布式文件系统的理解。二、回顾：1. HDFS是鉴于Google FS（GFS）发展而来的，起步比较早，是大数据解决方案里常用的分布式文件系统。Hadoop解决方案中的HDFS如下：HDFS架构如下：Namenode 负责文件系统的metadata，datanode负责真正的 数据块。Ceph的设计初
转载
2023-08-18 17:04:28
159阅读
最近在网上又看到有关于Hadoop适用性的讨论[1]。想想今年大数据技术开始由互联网巨头走向中小互联网和传统行业，估计不少人都在考虑各种“纷繁复杂”的大数据技术的适用性的问题。这儿我就结合我这几年在Hadoop等大数据方向的工作经验，与大家讨论一下Hadoop、Spark、HBase及Redis等几个主流大数据技术的使用场景（首先声明一点，本文中所指的Hadoop，是很“狭义”的Hadoop，即在
转载
2023-07-09 22:33:22
13阅读
Hive体系结构:是建立在hadoop之上的数据仓库基础架构.和数据库相似,只不过数据库侧重于一些事务性的一些操作,比如修改,删除,查询,在数据库这块发生的比较多.数据仓库主要侧重于查询.对于相同的数据量在数据库中查询就比较慢一些,在数据仓库中查询的效率就比较快.数据仓库是面向于查询的,并且处理的数据量要远远高于数据库处理的数据量.传统的数据仓库产品,依然有数据存储的瓶颈,那么在这个瓶颈下查询的速
转载
2023-11-08 20:36:08
81阅读
目录1、传统式成熟互联网架构（分布式+Dubbo）2、SpringCloud分布式框架结构3、为什么选择SpringCloud4、Spring Cloud的核心特性 5、Dubbo和SpringCloud的区别1、传统式成熟互联网架构（分布式+Dubbo） 2、SpringCloud分布式框架结构从上图可以看出Spring Cloud各个组件相互配合，合作支持了一套
转载
2024-06-04 10:19:36
152阅读
首先我们来看看Hadoop的相关简短回顾： 1. Hadoop是由Java语言编写，在分布式集群上存储海量数据并运行分布式分析应用框架HDFS为其存储数据的分布式文件系统MapReduceHBase一个基于HDFS的分布式非关系型数据库Yarn作为分布式资源调度框架再来看看Spark： 1. 开发语言 为 ScalaSpark CoreSpark SQL Spark Streaming 5.
转载
2023-06-11 15:05:05
88阅读
问题导读：1.什么是高可用？2.HA和DR有什么关系？3.什么是OpenStack HA?1. 基础知识1.1 高可用 （High Availability，简称 HA）
高可用性是指提供在本地系统单个组件故障情况下，能继续访问应用的能力，无论这个故障是业务流程、物理设施、IT软/硬件的故障。最好的可用性， 就是你的一台机器宕机了，但是使用你的服务的用户完全感
一、简介 Hadoop是一个分布式系统基础架构，由Apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。简单地说来，Hadoop是一个可以更容易开发和运行处理大规模数据的软件平台。（如图1.1所示） （如图1.1）二、核心
转载
2023-09-15 22:07:50
169阅读
如果熟悉 Hadoop MapReduce 中的 shuffle 过程，可能会按照 MapReduce 的思路去想象 Spark 的 shuffle 过程。然而，它们之间有一些区别和联系。从 high-level 的角度来看，两者并没有大的差别。从 low-level 的角度来看，两者差别不小。 Hadoop MapReduce 是 sort-based，进入 combine() 和 r
转载
2024-01-04 09:27:19
61阅读
目录数据库构架MPP和批处理MPP概念MPP的设计缺陷将MPP和Batch进行结合MPP例子 Hadoop解决的问题MPP和Hadoop的区别小结数据库构架数据库构架设计中主要有Shared Everthting、Shared Nothing、和Shared Disk：Shared Everthting:一般是针对单个主机，完全透明共享CPU/MEMORY/IO，并行处理能力是最差的，典
转载
2023-08-21 11:52:19
270阅读
总结:在未来的发展中，随着数据量的增长，企业的不断数字化，不断上云，SpringCloud因为其基于Java为基的特点，生态完整且丰富，能在企业使用占有率中迅速增长。 (题外话，基于国内几乎以java为企业开发的基础)1.类似于Hadoop核心组件的YARN（资源调度器功能）：微服务是通过一个中间件来调
转载
2023-12-25 15:40:29
158阅读
Hive 不是一个引擎，它的框架使用MapReduce、TeZ 或者Spark 引擎去执行查询，而且它并不运行SQL，而是HiveQL，一种类似SQL 的语言，非常接近SQL。“SQL-in-Hadoop” 也不适用，虽然Hive 和Impala 主要使用Hadoop，但是Spark、Drill、HAWQ 和Presto 还可以和各种其他的数据存储系统配合使用。不像关系型数据库，SQL 引擎独立于
转载
2023-07-13 11:21:14
134阅读
1、 GC调整默认自动分配GC、
手动修改的话
hadoop-env.sh
export HDFS_NAMENODE_OPTS="-Dhadoop.security.logger=INFO,RFAS -Xmx1024m"
export HDFS_DATANODE_OPTS="-Dhadoop.security.logger=ERROR,RFAS-Xmx1024m"关于GC的修改参考Namenode
转载
2023-08-20 20:33:17
124阅读
