如果你用过Uber，你一定会注意到它的操作是如此的简单。你一键叫车，随后车就来找你了，最后自动完成支付，整个过程行云流水。但是，在这简单的流程背后其实是用Hadoop和Spark这样复杂的基础大数据架构来支撑的。Uber 在现实世界和虚拟世界的十字路口有令人羡慕的一席之地。这令每天在各个城市穿行的数十万司机大军趋之若鹜。当然这也会一个相对浅显的数据问题。但是，就像Uber数据部门的主管 Aaron
转载
2024-10-11 04:56:59
21阅读
目录大数据入门系列文章1.大数据入门-大数据是什么一、概念二、技术详解1.基础架构：Hadoop2.分布式文件系统：HDFS3.数据仓库：Hive4.存储引擎：Kudu5.分布式数据库：HBase6.实时框架：Flink三、其他大数据入门系列文章1.大数据入门-大数据是什么大数据入门系列文章你知道什么是大数据吗，请走传送门。1.大数据入门-大数据是什么1.大数据入门-大数据是什么一、概念大数据技术
转载
2023-08-30 13:17:51
120阅读
大数据技术的体系庞大且复杂，基础的技术包含数据的采集、数据预处理、分布式存储、NoSQL数据库、数据仓库、机器学习、并行计算、可视化等各种技术范畴和不同的技术层面。通用化的大数据处理框架，主要分为下面几个方面：大数据采集与预处理、大数据存储、大数据清洗、大数据查询分析和大数据可视化。一、大数据采集大数据采集，即对各种来源的结构化和非结构化海量数据，所进行的采集。数据库采集：流行的有Sqoop和ET
转载
2023-09-07 12:56:39
65阅读
此文为个人平时学习对大数据的个人理解笔记分享，有不对的地方还请大佬多指正，谢谢。一.什么是大数据技术？大量的数据，等级在TB=1024GB,PB,EB级别主要用于解决大量数据的 处理&分析，两大难题就是 如何存&如何算二. 一般人找大数据工作可以做什么岗位？难度级别（灾难到平民）：平台—》数据挖掘/报表开发—〉实时指标分析性能调优—》数据仓库三。大数据思想和的来源。1.GFS(Go
转载
2023-09-11 17:21:28
75阅读
第1讲 大数据概述 1.1 大数据时代 1.2 大数据概念和影响 1.3 大数据的应用 1.4 大数据的关键技术 1.5 大数据与云计算、物联网第2讲 大数据处理架构Hadoop 2.1 概述 2.2 Hadoop项目结构 2.3 Hadoop的安装与使用 2.4 Hadoop集群的部署和使用第3讲 分布式文件系统HDFS 3.1 分布式文件系统HDFS简介 3.2 HDFS相关概念 3.3 HD
转载
2024-01-27 17:11:38
177阅读
基础官网：http://hadoop.apache.org/1、学习hadoop开发学习参考书目：2、预备知识1）Linux常用命令2）java编程基础Hadoop前世今生：Hadoop源于google三大论文，Google大数据研发三个：MapReduce、BigTable、GFS（做个中文版下载源：http://dl.iteye.com/topics/download/38db9a29-3e1
转载
2024-07-21 01:29:50
119阅读
我们先来看看这张图，这是某公司使用的大数据平台架构图，大部分公司应该都差不多：从这张大数据的整体架构图上看来，大数据的核心层应该是：数据采集层、数据存储与分析层、数据共享层、数据应用层，可能叫法有所不同，本质上的角色都大同小异。所以我下面就按这张架构图上的线索，慢慢来剖析一下，大数据的核心技术都包括什么。一、数据采集数据采集的任务就是把数据从各种数据源中采集和存储到数据存储上，期间有可能会做一些简
转载
2023-07-10 14:08:34
308阅读
架构师的职责确实包括根据现有的资源进行权衡和取舍。架构师的核心任务是设计和规划系统的整体结构，确保系统能够满足业务需求和技术要求。在这个过程中，他们需要考虑各种因素，如性能、可扩展性、安全性、可用性和可维护性等。 由于这些因素往往相互制约，因此架构师需要在这些因素之间进行权衡和取舍。例如，为了提高系统的性能，可能需要在可扩展性方面做出妥协；为了增加安全性，可能需要在可用性方面做出牺牲。 此外，架构
大数据生态圈-Spark理论知识（一）官网地址：http://spark.apache.org/ Apache Spark 是用于大规模数据分布式计算的框架。内存并行计算框架，用来构建大型的、低延迟的数据分析应用程序。扩展了广泛使用的MapReduce计算模型。Spark是MapReduce的替代方案，而且兼容HDFS、Hive，可融入Hadoop的生态系统，以弥补MapReduce的不足。(二)
转载
2024-08-14 17:36:51
0阅读
简介本文介绍完善的大数据中台架构了解这些架构里每个部分的位置，功能和含义及背后原理及应用场景。帮助技术与产品经理对大数据技术体系有个全面的了解。数据中台定义：集成离线数仓与实时数仓，并以多数据源统一整合采集到kafka,再通过kafka进行离线数据仓库及实时数据仓库，并集用户标签，统一数据资产管理(对数据资产目录、元数据、数据质量、数据血缘、数据生命周期等进行管理和展示，以一种更直观的方式展现企业
转载
2023-07-12 10:52:04
61阅读
随着科技的发展和社会的进步，大数据、人工智能等新兴技术开始进入了我们的生活。我们已经从信息时代跨入了大数据时代，而大数据是一个十分火热的技术，现如今大数据已经涉及到了各行各业的方方面面。但是目前而言，很多人对于大数据不是十分清楚，下面我们就给大家讲一讲大数据的架构知识。1.大数据架构的特点一般来说，大数据的架构是比较复杂的，大数据的应用开发过于偏向底层，具有学习难度大，涉及技术
转载
2023-07-11 20:48:06
155阅读
目录（一）通用框架概述（二）数据收集层（三）数据存储层（四）资源管理与服务协调层（五）计算引擎层（六）数据分析层（七）数据可视化层 （一）通用框架概述自底向上，与OSI类似，通用框架下的大数据体系有七层：数据源、数据收集层、数据存储层、资源管理与服务协调层、计算引擎层、数据分析层及数据可视化层。图示如下： （二）数据收集层 数据收集层直接与数据源对接，负责采集产品使用
转载
2023-08-15 22:30:12
167阅读
在讲新一代大数据技术架构前，先讲下大数据特征与大数据技术要解决的问题。1.大数据特征：“大量化(Volume)、多样化(Variety)、快速化(Velocity)、价值密度低（Value）”就是“大数据”显著的4V特征，或者说，只有具备这些特点的数据，才是大数据。2.大数据技术要解决的问题：大数据技术被设计用于在成本可承受的条件下，通过非常快速（velocity）地采集、发现和分析，从大量（vo
转载
2023-08-15 15:06:21
505阅读
大数据的应用开发过于偏向底层，具有学习难度大，涉及技术面广的问题，这制约了大数据的普及。现在需要一种技术，把大数据开发中一些通用的，重复使用的基础代码、算法封装为类库，降低大数据的学习门槛，降低开发难度，提高大数据项目的开发效率。大数据在工作中的应用有三种：与业务相关，比如用户画像、风险控制等；与决策相关，数据科学的领域，了解统计学、算法，这是数据科学家的范畴；与工程相关，如何实施、如何实现、解决
转载
2023-07-07 17:46:38
227阅读
随着多年的大数据的技术发展和积累，越来越多的人发现各个公司所使用的大数据技术大致可以分为两大类，分别是离线处理技术和实时处理技术，要么个别公司只有离线处理技术，要么个别公司只有实时处理技术，但是绝大部分公司基本上都是两种技术架构都带着一起在做，以为我们的业务一、lamda架构基本介绍 1、业务系统基本流程介绍 2、lamda架构基本介绍 lamda架构最早是由storm的创始人，Nat
转载
2023-08-12 15:49:35
224阅读
目录1. Hadoop生态体系2. Hadoop集群硬件架构3. Hadoop体系分层功能架构参考资料 导读： 从资源管理角度来看，当前的大数据系统架构主要有两种：一种是 MPP数据库架构 ，另一种是 Hadoop体系的分层架构。这两种架构各有优势和相应的适用场景。 传统的系统已无法处理结构多变的大数据，而高性能硬件和专用服务器价格昂贵且不灵活，Hadoop因此应运而生。Hadoop使用互连的廉
转载
2023-07-10 16:44:56
215阅读
前言随着大规模搜索引擎(如Google和Yahoo!) 、基因组分析(DNA测序、RNA测序和生物标志物分析)以及社交网络(如Facebook和Twitter)的不断发展，需要生成和处理的数据量已经超过了千万亿字节。为了满足如此庞大的计算需求，我们需要高效、可伸缩的并行算法。MapReduce范式就是解决这些问题的一个 框架。MapReduce是一个软件框架， 可以采用并行、分布式方式处理GB、T
转载
2023-07-21 23:37:04
211阅读
# 大数据架构指南：探索数据的世界
随着信息时代的到来，大数据已经成为现代企业决策的重要基石。本文将探讨大数据架构的基本概念，并通过代码示例进一步解读其原理。
## 什么是大数据架构？
大数据架构是一个系统设计，旨在收集、存储、处理和分析大量的数据。它通常由多个组成部分构成，包括数据源、数据存储、数据处理系统和数据分析工具。以下是一个典型的大数据架构简图：
```
原创
2024-10-24 03:44:39
36阅读
关于大数据和云计算的关系人们通常会有误解。而且也会把它们混起来说，分别做一句话直白解释就是：云计算就是硬件资源的虚拟化;大数据就是海量数据的高效处理。如果做一个更形象的解释，云计算相当于我们的计算机和操作系统，将大量的硬件资源虚拟化之后再进行分配使用;大数据则相当于海量数据的“数据库”。整体来看，未来的趋势是，云计算作为计算资源的底层，支撑着上层的大数据处理，而大数据的发展趋势是，实时交互式的查询
转载
2023-09-26 23:43:22
63阅读
云计算与大数据密切相关，大数据是计算密集型操作的对象，需要消耗巨大的存储空间，云计算的主要目标是在集中管理下使用巨大的计算和存储资源，用微粒度计算能力提供大数据应用，云计算的发展为大数据的存储和处理提供了解决方案，大数据的出现也加速了云计算的发展，基于云计算的分布式存储技术可以有效地管理大数据，借助云计算的并行计算能力可以提高大数据采集和分析的效率。研究机构Gartner定义∶大数据是需要新的处理
转载
2023-12-12 13:51:16
60阅读
