此文为个人平时学习对大数据的个人理解笔记分享，有不对的地方还请大佬多指正，谢谢。一.什么是大数据技术？大量的数据，等级在TB=1024GB,PB,EB级别主要用于解决大量数据的 处理&分析，两大难题就是 如何存&如何算二. 一般人找大数据工作可以做什么岗位？难度级别（灾难到平民）：平台—》数据挖掘/报表开发—〉实时指标分析性能调优—》数据仓库三。大数据思想和的来源。1.GFS(Go
转载
2023-09-11 17:21:28
75阅读
架构师的职责确实包括根据现有的资源进行权衡和取舍。架构师的核心任务是设计和规划系统的整体结构，确保系统能够满足业务需求和技术要求。在这个过程中，他们需要考虑各种因素，如性能、可扩展性、安全性、可用性和可维护性等。 由于这些因素往往相互制约，因此架构师需要在这些因素之间进行权衡和取舍。例如，为了提高系统的性能，可能需要在可扩展性方面做出妥协；为了增加安全性，可能需要在可用性方面做出牺牲。 此外，架构
简介本文介绍完善的大数据中台架构了解这些架构里每个部分的位置，功能和含义及背后原理及应用场景。帮助技术与产品经理对大数据技术体系有个全面的了解。数据中台定义：集成离线数仓与实时数仓，并以多数据源统一整合采集到kafka,再通过kafka进行离线数据仓库及实时数据仓库，并集用户标签，统一数据资产管理(对数据资产目录、元数据、数据质量、数据血缘、数据生命周期等进行管理和展示，以一种更直观的方式展现企业
转载
2023-07-12 10:52:04
61阅读
# 大数据架构指南：探索数据的世界
随着信息时代的到来，大数据已经成为现代企业决策的重要基石。本文将探讨大数据架构的基本概念，并通过代码示例进一步解读其原理。
## 什么是大数据架构？
大数据架构是一个系统设计，旨在收集、存储、处理和分析大量的数据。它通常由多个组成部分构成，包括数据源、数据存储、数据处理系统和数据分析工具。以下是一个典型的大数据架构简图：
```
原创
2024-10-24 03:44:39
36阅读
目录大数据入门系列文章1.大数据入门-大数据是什么一、概念二、技术详解1.基础架构：Hadoop2.分布式文件系统：HDFS3.数据仓库：Hive4.存储引擎：Kudu5.分布式数据库：HBase6.实时框架：Flink三、其他大数据入门系列文章1.大数据入门-大数据是什么大数据入门系列文章你知道什么是大数据吗，请走传送门。1.大数据入门-大数据是什么1.大数据入门-大数据是什么一、概念大数据技术
转载
2023-08-30 13:17:51
120阅读
一, HDFS概述1.1 HDFS的产生背景和定义随着数据量越来越大,我们需要把文件分布存储到多台计算机上,分布式文件管理系统作为一种管理多台机器上文件的系统应运而生, HDFS是其中的一种.HDFS定义:
Hadoop Distributed File System,通过目录树来定位文件分布式的. 很多服务器联合起来实现功能,集群中的服务器有各自的角色.使用场景: 适合一次写入,多次读取的
转载
2023-11-29 20:14:38
67阅读
1. 软件架构设计 大数据平台架构设计沿袭了分层设计的思想，将平台所需提供的服务按照功能划分成不同的模块层次，每一模块层次只与上层或下层的模块层次进行交互（通过层次边界的接口），避免跨层的交互，这种设计的好处是：各功能模块的内部是高内聚的，而模块与模块之间是松耦合的。这种架构有利于实现平台的高可靠性，高扩展性以及易维护性。比如，当我们需要扩容Hadoop集群时，只需要在基础设
转载
2023-08-30 16:26:59
66阅读
在去年5月，在云数据库技术发布了“一张图读懂阿里云数据库架构与选型”。过去了大约10个月时间，阿里云数据库RDS也发布了很多新的特性与能力，包括RDS集群版、Serverless、ARM支持等，另外，之前的版本也缺少了数据库代理，云盘类型等。这里一并进行更新，发布了新的v2版本如下： 原图「云数据库技术」：一图读懂阿里云RDS架构与选型在v1版本发布的时候，详细的介绍了
如果你用过Uber，你一定会注意到它的操作是如此的简单。你一键叫车，随后车就来找你了，最后自动完成支付，整个过程行云流水。但是，在这简单的流程背后其实是用Hadoop和Spark这样复杂的基础大数据架构来支撑的。Uber 在现实世界和虚拟世界的十字路口有令人羡慕的一席之地。这令每天在各个城市穿行的数十万司机大军趋之若鹜。当然这也会一个相对浅显的数据问题。但是，就像Uber数据部门的主管 Aaron
转载
2024-10-11 04:56:59
21阅读
HDFS（Hadoop Distributed File System）是Hadoop生态系统中的一个分布式文件系统，它是为了解决大规模数据存储和处理问题而设计的。HDFS的设计目标是能够在廉价的硬件上存储和处理大规模数据集，并且具有高容错性、高可靠性和高扩展性。HDFS的架构HDFS的架构由两个主要组件组成：NameNode和DataNode。NameNode是HDFS的中心节点，它负责管理文件
转载
2023-09-26 21:38:10
97阅读
前言通过数据湖的建设，用户不再需要到各个源系统调用数据，而是统一从数据湖调用；由于入湖的数据，很零散且都是未经过清洗加工的原始数据，用户很难知道数据之间的关联关系；数据联接分层的建设就显得顺理成章了。数据联接架构1、多维模型设计依据明确的业务关系，建立基于维度、事实表以及相互间连接关系的模型，实现多角度、多层次的数据查询和分析。 多维模型设计主要包括如下4个步骤。确定业务场景分析业务需求，识别需求
转载
2023-08-15 22:54:01
150阅读
前言Flink项目是大数据计算领域冉冉升起的一颗新星。大数据计算引擎的发展经历了几个过程，从第1代的MapReduce，到第2代基于有向无环图的Tez，第3代基于内存计算的Spark，再到第4代的Flink。因为Flink可以基于Hadoop进行开发和使用，所以Flink并不会取代Hadoop，而是和Hadoop紧密结合。Flink主要包括DataStream API、DataSet API、Ta
转载
2023-08-30 11:02:24
242阅读
大数据技术的体系庞大且复杂，基础的技术包含数据的采集、数据预处理、分布式存储、NoSQL数据库、数据仓库、机器学习、并行计算、可视化等各种技术范畴和不同的技术层面。通用化的大数据处理框架，主要分为下面几个方面：大数据采集与预处理、大数据存储、大数据清洗、大数据查询分析和大数据可视化。一、大数据采集大数据采集，即对各种来源的结构化和非结构化海量数据，所进行的采集。数据库采集：流行的有Sqoop和ET
转载
2023-09-07 12:56:39
65阅读
大数据通用处理平台SparkFlinkHadoop分布式存储HDFS资源调度YarnMesos机器学习工具MahoutSpark MlibTensorFlow (Google 系)Amazon Machine LearningDMTK (微软分布式机器学习工具)数据分析/数据仓库(SQL类)PigHivekylinSpark SQL,Spark DataFrameImpalaPhoenixELK8
转载
2023-09-14 16:09:01
77阅读
目前，编程人员面对的最大挑战就是复杂性，硬件越来越复杂，OS越来越复杂，编程语言和API越来越复杂，我们构建的应用也越来越复杂。大数据是庞大或复杂的数据集的广义术语，因此传统的数据处理程序不足以支持如此庞大的体量。在许多情况下，使用SQL数据库存储/检索数据都是很好的选择。而现如今的很多情况下，它都不再能满足我们的目的，这一切都取决于用例的变化。现在来讨论一些不同的非SQL存储/处理数据工具，例如
转载
2023-09-14 16:59:05
40阅读
1.数据的预处理阶段
2.数据的入库操作阶段
3.数据的分析阶段
4.数据保存到数据库阶段
5.数据的查询显示阶段 使用 HBaseAPi查询 （这里就不写了 重要的是上面的离线流程）原始数据：qR8WRLrO2aQ:mienge:406:People & Blogs:599:2788:5:1:0:4UUEKhr6vfA:zvDPXgPiiWI:TxP1eXHJQ2Q:k5Kb1K0zV
转载
2024-01-24 14:59:44
91阅读
在大数据的发展当中，对相关专业人才的需求是在持续增长的，包括大数据开发、数据分析挖掘等不同的数据处理环节，都形成了相应的岗位体系，大家各自负责不同的环节，共同完成大数据处理任务。今天我们主要来讲讲大数据开发就业，了解大数据开发有哪些岗位？首先，大数据开发通常指的是基于大数据产业链的一系列开发任务，涉及到大数据平台开发、大数据应用开发等，另外还包括数据采集产品的开发、数据整理产品的开发等等，如果向上
转载
2023-11-24 13:11:32
78阅读
面对问题插入查询慢、且需要时效性比较强的情况原因MYSQL 容量上千万条以上就会很慢。解决方法分区对应用透明，相对操作比较简单。对主键有要求：所有主键里必须包含分区主键，如果又想用id查，又想用年份查就比较难。查询会受一些影响：批量查时快不了多少，插入可以提速。分库比如不同年份可以放在不同主机上，以加快速度。分表一般都使用分表策略。需要看按什么分，比如按用户id分，或者按年份分表。按时间分：热表
转载
2023-09-19 00:56:37
44阅读
一、概述数据采集渠道：主要采集 Web 端和 App 端日志数据； 数据加工分层理念：操作数据层（Operational Data Store ，ODS）、明细数据层（Data Warehouse Detail，DWD）、汇总数据层（Data Warehouse Summary，DWS）、应用数据层（Application Data Store，ADS）。元数据模型整合及应用主要组成部分
转载
2023-07-20 14:32:58
143阅读
学习大数据，你需要掌握多少种算法？机器学习算法，有数百种算法：NaiveBayes（朴素贝叶斯）LinearRegression（线性回归）LogisticRegression（逻辑回归）K-Meansclustering（k均值聚类算法）DecisionTrees（决策树）NaïveBayes’Classifiers（朴素贝叶斯分类算法）……是不是看到就觉得头昏眼花了~这些还没完，还有各种各样的
转载
2020-12-16 13:09:36
806阅读
点赞
