大数据技
原创
2023-06-12 10:59:37
129阅读
目录（一）通用框架概述（二）数据收集层（三）数据存储层（四）资源管理与服务协调层（五）计算引擎层（六）数据分析层（七）数据可视化层 （一）通用框架概述自底向上，与OSI类似，通用框架下的大数据体系有七层：数据源、数据收集层、数据存储层、资源管理与服务协调层、计算引擎层、数据分析层及数据可视化层。图示如下： （二）数据收集层 数据收集层直接与数据源对接，负责采集产品使用
转载
2023-08-15 22:30:12
167阅读
大数据技术是在传统数据处理手段无法应对海量数据的实时需求的情况下，采用新的信息技术来应对大数据爆发进行数据处理的技术。大数据技术一般可以包括基础架构支持、数据采集、数据存储、数据计算和数据展现交互等。 大数据技术的分类大数据技术涵盖的范围十分广阔。基础架构支持方面主要包括了支撑大数据处理的基础架构级数据中心管理、云计算平台、云存储设备及技术、网络技术、资源监控等技术。而为了处理数据，则需要有大规
转载
2024-01-28 06:13:19
35阅读
大数据（big data）指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。是需要新处理模式分布式处理技术、存储技术和感知技术从采集、处理、存储到形成结果的整个过程。从而拥有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。那大数据有那些应用领域呢？1.顾客需求分析。2.改善生活。3.业务流程优化。4.客户体验优化。5.医疗优化。6.结果预测。以上只是，我
转载
2024-09-26 23:27:02
42阅读
引言：
随着数据量的不断增长，大数据技术在过去几年中取得了巨大的进步。在这个领域中，Hadoop和Spark是两个备受瞩目的框架。本文将探讨它们的演进，以及它们在大数据处理中的作用。我们将深入了解它们的特点、优势，并附上一些示例代码，以便更好地理解它们的工作原理。Hadoop的崛起Hadoop最早于2005年由Apache基金会开发，它是一个开源的分布式存储和计算框架，主要用于处理大规模数据集。H
原创
2023-10-04 23:45:04
304阅读
减少数据生产者和消费者之间的处理延迟，一直是现代计算构架不断演进的主要动力。由此，诞生了实时和低延迟处理的计算构架，如Lambda和Kappa等，这类混合架构取长补短，架起传统的批处理层和交互式层之间连接的桥梁。
原创
2021-07-17 14:57:51
583阅读
本文根据7月24日飞天发布时刻产品发布会、7月5日DataFunCon2024·北京站：大数据·大模型.双核时代实录整理而成
原创
精选
2024-08-13 09:42:35
636阅读
Hadoop作为大数据处理技术的基石之一，其未来展望充满了机遇与挑战。以下是对Hadoop未来在大数据处理技术持续演进方面的详细分析：一、Hadoop的核心优势与持续演进Hadoop以其分布式文件系统（HDFS）和MapReduce编程模型为核心，提供了高效、可靠的大数据处理能力。随着技术的不断发展，Hadoop也在持续演进，以适应不断变化的大数据需求。例如，Hadoop生态系统中的Hive、Pi
架构挑战1、对现有数据库管理技术的挑战。2、经典数据库技术并没有考虑数据的多类别（variety）、SQL（结构化数据查询语言），在设计的一开始是没有考虑到非结构化数据的存储问题。3、实时性技术的挑战：一般而言，传统数据仓库系统，BI应用，对处理时间的要求并不高。因此这类应用通过建模，运行1-2天获得结果依然没什么问题。但实时处理的要求，是区别大数据应用和传统数据仓库技术、BI技术的关键差别之一。
转载
2024-05-21 07:24:59
90阅读
前期 中期 后期 计划...
转载
2022-05-13 17:14:39
438阅读
今天给大家带来网易严选数据和算法工程团队负责人左琴所做的分享《网易严选大数据架构演进.pdf》。对大数据、数字化、数据驱动、数据平台、中台、数据产品及算法工程感兴趣的伙伴别错过了！本次分享共包含如下三大部分：1、数据驱动技术体系：数据分析-->数据决策；2、数据中台：DataLake、AutoWarehouse；3、数据平台：智能任务调度、Cloud N ative。本PPT共38页，已收录
原创
2022-11-16 06:20:00
117阅读
点赞
大数据概述： 大数据的发展历程：第一阶段：萌芽期（20世纪90年代至21世纪初） 第二阶段：成熟期（21世纪前十年） 第三阶段：大规模应用期（2010年以后） 大数据的特点（简称4V）：数据量大 数据类型多 处理速度快 价值密度低 大数据的特征：全面而非抽样 效率而非精确 相关而非因果 在科学研究上的四种范式： 实验科学、理论科学、计算科学、数据密集型科学大数据技术 主要包括数据采集与预处理、数据
转载
2023-11-16 09:55:28
135阅读
看过来！！！2017年，大数据已经从概念走向落地；2019年，中低端IT工程师紧随浪潮加速向大数据转型，企业对大数据人才争夺直接进入白热化阶段。因此，对于想学IT技术的、想月入过万不是梦的人而言，我建议，直接选择学习大数据技术是符合潮流和就业需求的选择。一、大数据是什么？1、大数据简介一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的
转载
2024-05-08 10:47:21
192阅读
8 大数据技术8.1 大数据及其特征典型大数据应用中的数据在如下的一个或多个（4V）方面与传统技术面对的数据表现出显著不同：数据量（Volume）大、类型（Variety）多样、速度（Velocity）快、价值（Value）高而密度稀疏。大数据技术的目标乃是简单、高效并安全地共享大数据，支持大数据应用。大数据技术的关键需求包括：①可伸缩性，能够有效处理越来越多的数据和越来越多的访问。②可靠性，能够
转载
2023-08-31 15:13:16
224阅读
2018年注定是大数据的时代，很多企业都纷纷向数据转型，对于大数据技术人才也是求贤若渴。对于大数据工程师岗位，我们需要掌握哪些技术才能胜任？今天给大家分享的是大数据工程师的技能树，让你对大数据工程师有一个基本的了解。1. 什么是大数据工程师数据工程师这个概念其实很模糊，不同的人和公司对它赋予的含义也区别很大，在这里，我们大概聊一下一般意义上的大数据工程师在工作中会做什么?集群运维：安装、测试、运维
转载
2024-07-30 13:47:42
71阅读
随着互联网的不断发展，越来越多的企业和用户都开始接触和学习大数据技术，它与机器学习、人工智能、区块链、物联网和增强现实等其他技术密切相关。因此，许多行业已经在大数据分析技术方面作了投入，比如银行、离散制造和流程制造等行业。 目前比较常见的一些大数据技术都有哪些类型？今天我们就一起来了解一下，目前比较常见的一些大数据技术都有哪些类型。 1.数据湖 数据湖
转载
2024-05-12 16:56:48
138阅读
大数据生态系统不断涌现，新技术迅速出现，其中许多根据IT行业的需求而扩展。这些技术可确保协调工作，通过这些工具和技术，大数据可以实现飞跃式发展。什么是大数据技术？首先，需要了解什么是大数据，其实大数据是一种特定的描述，用于描述庞大的数据集合，这些数据的规模巨大，并且随着时间呈指数增长。它只是指定了难以使用常规管理工具进行存储，查询和转换的大量数据。实际上，大数据技术是一种结合了数据挖掘，数据存储，
转载
2024-02-26 21:55:34
83阅读
系统架构：简述系统架构的演变
当今技术的发展日新月异，系统架构也跟随技术的发展不断升级和改进，从传统的单一架构演变为如今的微服务分布式架构，我们来看看技术架构的演变过程。一、初期网站架构 网站建设初期，访问人数有限，数据量不大，只需要一台服务器足矣，这时应用程序、
转载
2023-07-10 22:12:29
166阅读
DATABASE TECHNOLOGY CONFERENCE CHINA 中国数据库技术大会 而现在DTCC绝
原创
2023-02-26 10:43:53
132阅读
前言：学习了好久了，也没有系统的整理过这些东西，感觉再这么下去算是荒废了，懒惰加上不
原创
2023-02-19 09:09:26
183阅读
