大数据（big data）指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。是需要新处理模式分布式处理技术、存储技术和感知技术从采集、处理、存储到形成结果的整个过程。从而拥有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。那大数据有那些应用领域呢？1.顾客需求分析。2.改善生活。3.业务流程优化。4.客户体验优化。5.医疗优化。6.结果预测。以上只是，我
转载
2024-09-26 23:27:02
42阅读
减少数据生产者和消费者之间的处理延迟，一直是现代计算构架不断演进的主要动力。由此，诞生了实时和低延迟处理的计算构架，如Lambda和Kappa等，这类混合架构取长补短，架起传统的批处理层和交互式层之间连接的桥梁。
原创
2021-07-17 14:57:51
583阅读
本文根据7月24日飞天发布时刻产品发布会、7月5日DataFunCon2024·北京站：大数据·大模型.双核时代实录整理而成
原创
精选
2024-08-13 09:42:35
636阅读
目录（一）通用框架概述（二）数据收集层（三）数据存储层（四）资源管理与服务协调层（五）计算引擎层（六）数据分析层（七）数据可视化层 （一）通用框架概述自底向上，与OSI类似，通用框架下的大数据体系有七层：数据源、数据收集层、数据存储层、资源管理与服务协调层、计算引擎层、数据分析层及数据可视化层。图示如下： （二）数据收集层 数据收集层直接与数据源对接，负责采集产品使用
转载
2023-08-15 22:30:12
167阅读
今天给大家带来网易严选数据和算法工程团队负责人左琴所做的分享《网易严选大数据架构演进.pdf》。对大数据、数字化、数据驱动、数据平台、中台、数据产品及算法工程感兴趣的伙伴别错过了！本次分享共包含如下三大部分：1、数据驱动技术体系：数据分析-->数据决策；2、数据中台：DataLake、AutoWarehouse；3、数据平台：智能任务调度、Cloud N ative。本PPT共38页，已收录
原创
2022-11-16 06:20:00
117阅读
点赞
大数据技术是在传统数据处理手段无法应对海量数据的实时需求的情况下，采用新的信息技术来应对大数据爆发进行数据处理的技术。大数据技术一般可以包括基础架构支持、数据采集、数据存储、数据计算和数据展现交互等。 大数据技术的分类大数据技术涵盖的范围十分广阔。基础架构支持方面主要包括了支撑大数据处理的基础架构级数据中心管理、云计算平台、云存储设备及技术、网络技术、资源监控等技术。而为了处理数据，则需要有大规
转载
2024-01-28 06:13:19
35阅读
Uber 致力于在全球市场上提供更安全，更可靠的运输服务。为了实现这一目标，Uber 在很大程度上依赖于数据驱动的决策，从预测高流量事件期间骑手的需求到识别和解决我们的驾驶员-合作伙伴注册流程中的瓶颈。自2014年以来，Uber 一直致力于开发大数据解决方案，确保数据可靠性，可扩展性和易用性；现在 Uber 正专注于提高他们平台的速度和效率。本文将介绍 Uber 的大数据平台的演进。第一代：Ube
原创
2021-04-06 09:30:32
100阅读
Uber大数据平台的演进（2014~2019）过往记忆大数据过往记忆大数据也可以到我个人博客阅读（点击下面阅读原文即可）https://www.iteblog.com/archives/2557.htmlUber致力于在全球市场上提供更安全，更可靠的运输服务。为了实现这一目标，Uber在很大程度上依赖于数据驱动的决策，从预测高流量事件期间骑手的需求到识别和解决我们的驾驶员-合作伙伴注册流程中的瓶颈
原创
2021-03-31 19:24:18
188阅读
点击“蓝字”关注我们来源 |过往记忆大数据Uber 致力于在全球市场上提供更安全，更可靠的运输服务。为了实现这一目标，Uber 在很大程度上依赖于数据驱动的决策，从预测高流量事件期间...
转载
2022-01-05 10:34:29
250阅读
Uber 致力于在全球市场上提供更安全，更可靠的运输服务。为了实现这一目标，Uber 在很大程度上依赖于数据驱动的决策，从预测高流量事件期间骑手的需求到识别和解决我们的驾驶员-合作伙伴注册流程中的瓶颈。自2014年以来，Uber 一直致力于开发大数据解决方案，确保数据可靠性，可扩展性和易用性；现在 Uber 正专注于提高他们平台的速度和效率。本文将介绍 Uber 的大数据平台的演进。第一代：Ube
原创
2021-04-06 09:23:42
162阅读
导读：大数据风控业务的开展依赖智能风控平台，智能风控平台的技术基础是大数据技术，智能风控系统技术架构也是以大数据系统技术架构为基础演进而来的。智能风控系统技术架构主要分为访问层、展现层、系统层、大数据平台四部分，其中大数据平台又分为接入层、清洗层、计算层、数据层四部分。本文主要介绍大数据风控平台。智能风控系统技术架构图大数据平台是智能风控系统技术架构的持久层，但又超越了传统的持久层功能，是以持久层
转载
2023-10-13 13:26:08
185阅读
作者:王知无大数据技术与架构点击右侧关注，大数据开发领域最强公众号！暴走大数据点击右侧关注，暴走大数据！声明:本文参考了淘宝/滴滴/美团发表的关于大数据平台建设的文章基础...
转载
2021-06-10 21:54:16
533阅读
引言：
随着数据量的不断增长，大数据技术在过去几年中取得了巨大的进步。在这个领域中，Hadoop和Spark是两个备受瞩目的框架。本文将探讨它们的演进，以及它们在大数据处理中的作用。我们将深入了解它们的特点、优势，并附上一些示例代码，以便更好地理解它们的工作原理。Hadoop的崛起Hadoop最早于2005年由Apache基金会开发，它是一个开源的分布式存储和计算框架，主要用于处理大规模数据集。H
原创
2023-10-04 23:45:04
304阅读
OPPO大数据离线计算平台演进道路上，遇到了很多经典的大数据问题，比如说：shuffle失败、小文件问题、元数据切分、多集群资源协调、spark 任务提交门户建设。OPPO大数据离线计算平台团队依托自身的资源和技术，不断探索，务实的解决平台发展中遇到的各种问题。本文围绕前面提到的五个问题，逐步介绍我们的大数据平台演进之路。
推荐
原创
2021-12-22 15:32:33
5205阅读
从「深圳市腾讯计算机系统有限公司」注册成立，到成为服务用户最多的中国互联网
原创
2023-06-12 11:10:21
249阅读
作者:王知无大数据技术与架构点击右侧关注，大数据开发领域最强公众号！暴走大数据点击右侧关注，暴走大数据！声明:本文参考了淘宝/滴滴/美团发表的关于大数据平台建设的文章基础...
转载
2021-06-10 21:54:15
1103阅读
我们开发的离线和实时任务，都需要集群提供计算资源来保障作业运行，如何充分协调作业资源，发挥集群最大计算能力正是资源调度框架要解决的问题。本篇将重点介绍资源调度框架YARN及其在OPPO的实践。
推荐
原创
2021-12-27 15:01:13
7067阅读
从稳定性改进，平台治理，性能调优，异构计算来说 58大数据架构。
原创
2021-07-27 11:13:19
1815阅读
