2.1.1 概述Hadoop 是 Apache 软件基金会旗下的一个开源分布式计算平台，为用户提供了系统底层细节透明的分布式基础架构。Hadoop 是基于 java 语言开发的具有很好的跨平台特性，并且可以部署在廉价的计算集群中。Hadoop 的核心是分布式文件系统 HDFS （Hadoop Distributed File System）和 MapRudce。Hadoop 被公认为行业大数据标准
转载
2023-07-14 20:12:40
119阅读
一 、Hadoop简介（转自百度百科） Hadoop是Apache基金会所开发的分布式系统基础架构。 用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。
&
转载
2023-07-11 21:23:47
89阅读
传统的数据库在处理大数据时会显得性能十分低，所以需要分而治之。这个就是hadoop的精髓，小的数据量存在分布式的环境里，处理的的性能反而会降低。hadoop是面向至少TB,PB级的数据量，才能最大的发挥它的优势。
1TB = 1024G 1PB = 1024T 1EB = 1024P 因此，对于大数据处理两套解决方案1、移动数据，把数据分发到多个计算节点进行计算；
第一种是M
转载
2023-07-06 21:34:51
75阅读
多图技术贴：深入浅出解析大数据平台架构
目录：什么是大数据Hadoop介绍-HDFS、MR、Hbase大数据平台应用举例-腾讯公司的大数据平台架构“就像望远镜让我们能够感受宇宙，显微镜让我们能够观测微生物一样，大数据正在改变我们的生活以及理解世界的方
转载
2023-09-27 21:50:38
66阅读
HDFS（Hadoop Distributed File System）是Hadoop生态系统中的一个分布式文件系统，它是为了解决大规模数据存储和处理问题而设计的。HDFS的设计目标是能够在廉价的硬件上存储和处理大规模数据集，并且具有高容错性、高可靠性和高扩展性。HDFS的架构HDFS的架构由两个主要组件组成：NameNode和DataNode。NameNode是HDFS的中心节点，它负责管理文件
转载
2023-09-26 21:38:10
97阅读
大数据的4V特征Google分布式计算的三驾马车Google File System用来解决数据存储的问题，采用N多台廉价的电脑，使用冗余（也就是一份文件保存多份在不同的电脑之上）的方式，来取得读写速度与数据安全并存的结果。Map-Reduce说穿了就是函数式编程，把所有的操作都分成两类，map与reduce，map用来将数据分成多份，分开处理，reduce将处理后的结果进行归并，得到最终的结果。
转载
2024-08-18 09:43:13
29阅读
HDFS的体系架构 整个Hadoop的体系结构主要是通过HDFS来实现对分布式存储的底层支持，并通过MR来实现对分布式并行任务处理的程序支持。NameNode和若干个DataNode组成的（在最新的Hadoop2.2版本已经实现多个NameNode的配置-这也是一些大公司通过修改hadoop源代码实现的功能，在最新
转载
2023-12-25 07:17:26
108阅读
整个大数据处理的体系，按我的理解可以分为两个部分，一个是分布式存储系统、另一个是分布式计算框架。分布式存储系统主流是HadoopDFS，其他还有Ceph和Swift。分布式计算框架主流是MapReduce，Storm和Spark。
转载
2023-09-03 16:59:14
127阅读
导读：大数据风控业务的开展依赖智能风控平台，智能风控平台的技术基础是大数据技术，智能风控系统技术架构也是以大数据系统技术架构为基础演进而来的。智能风控系统技术架构主要分为访问层、展现层、系统层、大数据平台四部分，其中大数据平台又分为接入层、清洗层、计算层、数据层四部分。本文主要介绍大数据风控平台。智能风控系统技术架构图大数据平台是智能风控系统技术架构的持久层，但又超越了传统的持久层功能，是以持久层
转载
2023-10-13 13:26:08
185阅读
大数据平台的架构和企业级应用的架构是很不一样的，使用的技术也不同。经过多年的发展，业界已孕育出了一些较为成熟的架构模式， 如Lambda架构、Kappa架构及Smack架构。1、Lambda架构Lambda架构是大数据平台里最成熟、最稳定的架构，它的核心思想是：将批处理作业和实时流处理作业分离，各自独立运行，资源互相隔离。 （图片来源于网络）标准的Lambda架构有如下几个层次：（1）B
转载
2023-07-14 15:13:31
195阅读
1.列举Hadoop生态的各个组件及其功能、以及各个组件之间的相互关系，以图呈现并加以文字描述。（1）HDFS（hadoop分布式文件系统） 是hadoop体系中数据存储管理的基础。他是一个高度容错的系统，能检测和应对硬件故障。client：切分文件，访问HDFS，与namenode交互，获取文件位置信息，与DataNode交互，读取和写入数据。namenode：master节点，在hadoop1
转载
2023-07-16 09:42:35
173阅读
一、Hadoop1.HadoopHadoop的初衷是采用大量的廉价机器，组成一个集群，完成大数据的存储和计算。2.hadoop中的组件hadoop 1.x HDFS： 负责大数据的存储 Common: HDFS和MR共有的常用的工具包模块 MapReduce: 负责计算，负责计算资源的申请的调度完成大数据的计算 ①写程序，程序需要复合计算框架的要求。 java---->main-----&g
转载
2023-07-12 12:32:23
132阅读
大数据平台架构基于HBase和Spark构建企业级数据处理平台1.1 一站式数据处理平台架构1.2 典型业务场景1.2.1 爬虫+搜索引擎1.2.2 大数据风控系统1.2.3 构建数据仓库(推荐、风控)基于HBase和Spark构建企业级数据处理平台[基于HBase和Spark构建企业级数据处理平台]：阿里云数据库 李伟(沐远) PPT 演讲稿1.1 一站式数据处理平台架构1.2 典型业...
原创
2021-06-05 14:45:23
1143阅读
[图片][图片][图片][图片][图片][图片][图片][图片][图片][图片][图片][图片]
翻译
2021-01-26 16:55:45
841阅读
前面提到各种大数据技术的原理与架构，大数据计算通过将可执行的代码分发到大规模的服务器集群上进行分布式计算，以处理大规模的数据，即所谓的移动计算比移动数据更划算。但是这样的计算方式必然不会很快，即使一个规模不太大的数据集上的一次简单计算，MapReduce也可能需要几分钟，Spark快一点，也至少需要 ...
转载
2021-10-13 15:14:00
285阅读
2评论
大数据 1、概念 大数据：指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。 大数据主要解决海量数据的采集、存储和分析计算的问题。2、特点 &
转载
2023-07-13 16:21:29
268阅读
大数据分析平台的建设是十分必要了，一方面它可以汇通企业的各个业务系统，从源头打通数据资源，另一方面也可以实现从数据提取、集成到数据清洗、加工、可视化的一站式分析，帮助企业真正从数据中提取价值，提高企业的经营能力。 在搭建数据分析平台之前，要先明确业务需求场景以及用户的需求，通过大数据分析平台，想要得到哪些有价值的信息，需要接入的数据有哪些，明确基于场景业务需求的数据平台要具备的基
转载
2023-07-14 15:37:23
226阅读
