目录（一）通用框架概述（二）数据收集层（三）数据存储层（四）资源管理与服务协调层（五）计算引擎层（六）数据分析层（七）数据可视化层 （一）通用框架概述自底向上，与OSI类似，通用框架下的大数据体系有七层：数据源、数据收集层、数据存储层、资源管理与服务协调层、计算引擎层、数据分析层及数据可视化层。图示如下： （二）数据收集层 数据收集层直接与数据源对接，负责采集产品使用
转载
2023-08-15 22:30:12
167阅读
大数据技
原创
2023-06-12 10:59:37
129阅读
大数据技术是在传统数据处理手段无法应对海量数据的实时需求的情况下，采用新的信息技术来应对大数据爆发进行数据处理的技术。大数据技术一般可以包括基础架构支持、数据采集、数据存储、数据计算和数据展现交互等。 大数据技术的分类大数据技术涵盖的范围十分广阔。基础架构支持方面主要包括了支撑大数据处理的基础架构级数据中心管理、云计算平台、云存储设备及技术、网络技术、资源监控等技术。而为了处理数据，则需要有大规
转载
2024-01-28 06:13:19
35阅读
SQL索引在数据库优化中占有一个非常大的比例， 一个好的索引的设计，可以让你的效率提高几十甚至几百倍，在这里将带你一步步揭开他的神秘面纱。 1.1 什么是索引？聚集索引和非聚集索引，索引主要目的是提高了SQL Server系统的性能，加快数据的查询速度与减少
引言：
随着数据量的不断增长，大数据技术在过去几年中取得了巨大的进步。在这个领域中，Hadoop和Spark是两个备受瞩目的框架。本文将探讨它们的演进，以及它们在大数据处理中的作用。我们将深入了解它们的特点、优势，并附上一些示例代码，以便更好地理解它们的工作原理。Hadoop的崛起Hadoop最早于2005年由Apache基金会开发，它是一个开源的分布式存储和计算框架，主要用于处理大规模数据集。H
原创
2023-10-04 23:45:04
304阅读
减少数据生产者和消费者之间的处理延迟，一直是现代计算构架不断演进的主要动力。由此，诞生了实时和低延迟处理的计算构架，如Lambda和Kappa等，这类混合架构取长补短，架起传统的批处理层和交互式层之间连接的桥梁。
原创
2021-07-17 14:57:51
583阅读
当你在搜索引擎的搜索框中输入你想查找的关键词后，首先影响你体验的并非是不相关的搜索结果，而是界面出现“loading”、“服务正在加载中”、“搜索响应失败”等字眼。据统计，搜索页面的加载时间会严重影响用户的搜索体验，进而丢失掉优质用户。如下图： 从图中可发现，搜索加载超过1s就会直接影响页面放弃率，1s是
转载
2024-04-24 23:11:16
27阅读
一、LSM-Tree概述 核心思想就是放弃部分读能力，换取写入能力的最大化。LSM-Tree ，这个概念就是结构化合并树（Log-Structured Merge Tree）的意思，它的核心思路其实非常简单，就是假定内存足够大，因此不需要每次有数据更新（插入、删除）就必须将数据写入到磁盘中，而可以先将最新的数据驻留在内存中，等到积累到
转载
2024-04-07 12:15:18
45阅读
大数据（big data）指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。是需要新处理模式分布式处理技术、存储技术和感知技术从采集、处理、存储到形成结果的整个过程。从而拥有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。那大数据有那些应用领域呢？1.顾客需求分析。2.改善生活。3.业务流程优化。4.客户体验优化。5.医疗优化。6.结果预测。以上只是，我
转载
2024-09-26 23:27:02
42阅读
Hadoop作为大数据处理技术的基石之一，其未来展望充满了机遇与挑战。以下是对Hadoop未来在大数据处理技术持续演进方面的详细分析：一、Hadoop的核心优势与持续演进Hadoop以其分布式文件系统（HDFS）和MapReduce编程模型为核心，提供了高效、可靠的大数据处理能力。随着技术的不断发展，Hadoop也在持续演进，以适应不断变化的大数据需求。例如，Hadoop生态系统中的Hive、Pi
本期作者邱亮哔哩哔哩资深开发工程师2020年加入B站，Apache Spark contributor，Ap
转载
2022-12-11 21:48:18
479阅读
系统架构：简述系统架构的演变
当今技术的发展日新月异，系统架构也跟随技术的发展不断升级和改进，从传统的单一架构演变为如今的微服务分布式架构，我们来看看技术架构的演变过程。一、初期网站架构 网站建设初期，访问人数有限，数据量不大，只需要一台服务器足矣，这时应用程序、
转载
2023-07-10 22:12:29
166阅读
我们先来看看这张图，这是某公司使用的大数据平台架构图，大部分公司应该都差不多：从这张大数据的整体架构图上看来，大数据的核心层应该是：数据采集层、数据存储与分析层、数据共享层、数据应用层，可能叫法有所不同，本质上的角色都大同小异。所以我下面就按这张架构图上的线索，慢慢来剖析一下，大数据的核心技术都包括什么。一、数据采集数据采集的任务就是把数据从各种数据源中采集和存储到数据存储上，期间有可能会做一些简
转载
2023-07-10 14:08:34
308阅读
本文根据7月24日飞天发布时刻产品发布会、7月5日DataFunCon2024·北京站：大数据·大模型.双核时代实录整理而成
原创
精选
2024-08-13 09:42:35
636阅读
Uber大数据平台的演进（2014~2019）过往记忆大数据过往记忆大数据也可以到我个人博客阅读（点击下面阅读原文即可）https://www.iteblog.com/archives/2557.htmlUber致力于在全球市场上提供更安全，更可靠的运输服务。为了实现这一目标，Uber在很大程度上依赖于数据驱动的决策，从预测高流量事件期间骑手的需求到识别和解决我们的驾驶员-合作伙伴注册流程中的瓶颈
原创
2021-03-31 19:24:18
188阅读
点击“蓝字”关注我们来源 |过往记忆大数据Uber 致力于在全球市场上提供更安全，更可靠的运输服务。为了实现这一目标，Uber 在很大程度上依赖于数据驱动的决策，从预测高流量事件期间...
转载
2022-01-05 10:34:29
250阅读
Uber 致力于在全球市场上提供更安全，更可靠的运输服务。为了实现这一目标，Uber 在很大程度上依赖于数据驱动的决策，从预测高流量事件期间骑手的需求到识别和解决我们的驾驶员-合作伙伴注册流程中的瓶颈。自2014年以来，Uber 一直致力于开发大数据解决方案，确保数据可靠性，可扩展性和易用性；现在 Uber 正专注于提高他们平台的速度和效率。本文将介绍 Uber 的大数据平台的演进。第一代：Ube
原创
2021-04-06 09:30:32
100阅读
Uber 致力于在全球市场上提供更安全，更可靠的运输服务。为了实现这一目标，Uber 在很大程度上依赖于数据驱动的决策，从预测高流量事件期间骑手的需求到识别和解决我们的驾驶员-合作伙伴注册流程中的瓶颈。自2014年以来，Uber 一直致力于开发大数据解决方案，确保数据可靠性，可扩展性和易用性；现在 Uber 正专注于提高他们平台的速度和效率。本文将介绍 Uber 的大数据平台的演进。第一代：Ube
原创
2021-04-06 09:23:42
162阅读
随着科技的发展和社会的进步，大数据、人工智能等新兴技术开始进入了我们的生活。我们已经从信息时代跨入了大数据时代，而大数据是一个十分火热的技术，现如今大数据已经涉及到了各行各业的方方面面。但是目前而言，很多人对于大数据不是十分清楚，下面我们就给大家讲一讲大数据的架构知识。1.大数据架构的特点一般来说，大数据的架构是比较复杂的，大数据的应用开发过于偏向底层，具有学习难度大，涉及技术
转载
2023-07-11 20:48:06
155阅读
大数据技术，就是从各种类型的数据中快速获得有价值信息的技术。大数据领域已经涌现出了大量新的技术，它们成为大数据采集、存储、处理和呈现的有力武器。大数据处理关键技术一般包括：大数据采集、大数据预处理、大数据存储及管理、大数据分析及挖掘、大数据展现和应用(大数据检索、大数据可视化、大数据应用、大数据安全等)。一、大数据采集技术数据采集是指通过RFID射频数据、传感器数据、社交网络交互数据及移动互联网数
转载
2024-04-10 13:43:16
42阅读
