数据量不断增加，企业需要灵活快速地处理这些数据。处理器主频和散热遇到瓶颈，多核处理器成为主流，并行化计算应用不断增加。开源软件的成功使得大数据技术得以兴起。互联网技术的发展让大多数企业能够积累大量的数据，而企业需要灵活快速地从这些数据中提取出有价值的信息来服务用户或帮助企业自身决策。然而处理器的主频和散热遇到了瓶颈，CPU难以通过纵向优化来提升性能，所以多核这种横向扩展成为了主流。也因此，开发者需
转载
2021-03-29 22:14:04
235阅读
背景数据量不断增加，企业需要灵活快速地处理这些数据。处理器主频和散热遇到瓶颈，多核处理器成为主流，并行化计算应用不断增加。开源软件的成功使得大数据技术得以兴起。互联网技术的发展让大多数企...
转载
2021-06-11 09:31:26
408阅读
# 大数据平台主流技术架构
随着互联网的迅猛发展，数据量呈指数级增长。大数据技术应运而生，旨在解决数据存储、处理和分析的各种挑战。在这些技术中，主流架构通常包括数据采集、存储、处理和可视化四个部分。本文将具体阐述大数据平台的主要技术架构，并提供代码示例。
## 1. 数据采集
数据采集是大数据平台的第一步，通常使用工具如 **Apache Nifi** 或 **Kafka**。这些工具能够实
原创
2024-10-07 03:16:09
147阅读
背景
数据量不断增加，企业需要灵活快速地处理这些数据。
处理器主频和
转载
2022-06-16 15:53:24
519阅读
RDD（弹性分布式数据集）是一组不可变的JVM对象的分布集，这些对象允许作业非常快速地执行计算，是Apache Spark的核心。本文主要结合简单的例子介绍下RDD的基本操作。一、创建RDD在PySpark中，有两种方式可以创建RDD，一种是用.parallelize()集合（数组[]，或者tuple()）创建RDD，另一种是通过引用位于本地或外部的某个文件（支持.txt、.csv、parquet
现实世界的数据常常是不完全的、有噪声的、不一致的。数据清洗过程包括遗漏数据处理，噪声数据处理，以及不一致数据处理。本节介绍数据清洗的主要处理方法。遗漏数据处理假设在分析一个商场销售数据时，发现有多个记录中的属性值为空，如顾客的收入属性，则对于为空的属性值，可以采用以下方法进行遗漏数据处理。1）忽略该条记录若一条记录中有属性值被遗漏了，则将此条记录排除，尤其是没有类别属性值而又要进行分类数据挖掘时。
转载
2024-08-27 16:04:35
133阅读
MapReduce编程模型的提出为大数据分析和处理开创了一条先河，其后涌现出一批知名的开源大数据技术。
原创
2022-12-09 21:30:30
1541阅读
点赞
数据结构算法(0)--大数运算总结并记录学习数据结构过程中遇到的问题及算法.一些常见算法：Note:大数四则运算.加法#include <iostream>
#include<string>
#include<stdio.h>
using namespace std;
#define MAXSIZE 1000
int num1[MAXSIZE], num2[M
转载
2023-07-01 10:20:03
48阅读
一.业务分析此次案例中，我们面临的业务需求时，有一张mysql表里存储了千万级别的数据，每次业务流程结束，这张表中就会增加至少8万条数据，而我们的系统要做的就是把这些数据按不同的需求统计展示，在代码中有大量的复杂计算和复杂sql语句，，并且该系统的业务会经常发生变化，这让整个系统变得缓慢和难以维护，即使在使用redis作为我们的缓冲层，也无法很好的解决查询效率问题，毕竟第一次加载真的太慢了，在面临
转载
2024-06-06 11:25:35
30阅读
Table of Contents1. 大数据时代1.1 大数据时代为什么会到来？1.1.1 大数据产生的技术支撑(3个)1.1.2 数据产生方式的变革2. 大数据概念2.1 大量化2.2 多样化2.3 快速化2.4 价值密度低3. 大数据的影响3.1 “计算”和“数据”的区别是什么？3.2大数据时代在思维层面有什么影响呢？（3方面影响）4. 大数据关键技术4.1 数据采集4.2 数据存
转载
2023-08-11 11:07:02
91阅读
大数据分析--淘宝美食产品数据分析一、选题背景随着网络技术的不断发展，大数据技术影响着人们生活的方方面面，人们可以利用大数据技术从海量的数据中提取有价值的信息。并且现在是一个信息爆炸的时代，我们可以通过电商购物平台网站购买商品，所以说电商平台对商品信息传播的作用不可忽视。各大电商平台商品评论中携带大量信息，如果浏览大量评论会浪费很多时间，所以对评论文本关键信息整合变得尤为重要。为了选择出自己喜欢的
转载
2023-07-17 19:51:45
212阅读
我们先来看看这张图，这是某公司使用的大数据平台架构图，大部分公司应该都差不多：从这张大数据的整体架构图上看来，大数据的核心层应该是：数据采集层、数据存储与分析层、数据共享层、数据应用层，可能叫法有所不同，本质上的角色都大同小异。所以我下面就按这张架构图上的线索，慢慢来剖析一下，大数据的核心技术都包括什么。一、数据采集数据采集的任务就是把数据从各种数据源中采集和存储到数据存储上，期间有可能会做一些简
转载
2023-07-10 14:08:34
308阅读
随着科技的发展和社会的进步，大数据、人工智能等新兴技术开始进入了我们的生活。我们已经从信息时代跨入了大数据时代，而大数据是一个十分火热的技术，现如今大数据已经涉及到了各行各业的方方面面。但是目前而言，很多人对于大数据不是十分清楚，下面我们就给大家讲一讲大数据的架构知识。1.大数据架构的特点一般来说，大数据的架构是比较复杂的，大数据的应用开发过于偏向底层，具有学习难度大，涉及技术
转载
2023-07-11 20:48:06
155阅读
大数据技术，就是从各种类型的数据中快速获得有价值信息的技术。大数据领域已经涌现出了大量新的技术，它们成为大数据采集、存储、处理和呈现的有力武器。大数据处理关键技术一般包括：大数据采集、大数据预处理、大数据存储及管理、大数据分析及挖掘、大数据展现和应用(大数据检索、大数据可视化、大数据应用、大数据安全等)。一、大数据采集技术数据采集是指通过RFID射频数据、传感器数据、社交网络交互数据及移动互联网数
转载
2024-04-10 13:43:16
42阅读
云计算与大数据密切相关，大数据是计算密集型操作的对象，需要消耗巨大的存储空间，云计算的主要目标是在集中管理下使用巨大的计算和存储资源，用微粒度计算能力提供大数据应用，云计算的发展为大数据的存储和处理提供了解决方案，大数据的出现也加速了云计算的发展，基于云计算的分布式存储技术可以有效地管理大数据，借助云计算的并行计算能力可以提高大数据采集和分析的效率。研究机构Gartner定义∶大数据是需要新的处理
转载
2023-10-23 14:41:33
0阅读
随着多年的大数据的技术发展和积累，越来越多的人发现各个公司所使用的大数据技术大致可以分为两大类，分别是离线处理技术和实时处理技术，要么个别公司只有离线处理技术，要么个别公司只有实时处理技术，但是绝大部分公司基本上都是两种技术架构都带着一起在做，以为我们的业务一、lamda架构基本介绍 1、业务系统基本流程介绍 2、lamda架构基本介绍 lamda架构最早是由storm的创始人，Nat
转载
2023-08-12 15:49:35
224阅读
目录（一）通用框架概述（二）数据收集层（三）数据存储层（四）资源管理与服务协调层（五）计算引擎层（六）数据分析层（七）数据可视化层 （一）通用框架概述自底向上，与OSI类似，通用框架下的大数据体系有七层：数据源、数据收集层、数据存储层、资源管理与服务协调层、计算引擎层、数据分析层及数据可视化层。图示如下： （二）数据收集层 数据收集层直接与数据源对接，负责采集产品使用
转载
2023-08-15 22:30:12
167阅读
近日，反复拜读了前国家档案局局长杨冬权先生今年6.9档案日的大作《从“选时代”到“全时代”——智慧社会档案工作的历史性转折》，作为档案信息化从业者那真是倍感振奋，壮怀激烈！ 这篇文章绝对可以用气势磅礴、高屋建瓴这样的词语来形容，体现出作者俯瞰全局的站位和洞悉全场的眼光，让笔者深深折服。但是笔者对于文中提到的“全时代”中的“立档单位对所形成电子档案的全归档”这一观点还是存在不同
原创
2023-02-14 10:52:21
177阅读
一个多层的大数据平台技术栈概览
目录技术栈全貌1. 采集层和传输层SqoopFlumeCanalLogstashKafkaRocketMQ2. 存储层HBaseAlluxio/Redis/IgniteTiDBHDFSCephKudu3. 计算层HiveKylinDruid 为监控而生的数据库连接池。SparkSQLImpalaSparkStormFlin
转载
2024-05-14 16:53:24
153阅读
# 数据仓库主流技术科普文章
数据仓库(DW, Data Warehouse)是用于存储大量数据的系统，旨在为分析和报告提供支持。随着大数据时代的到来，数据仓库技术也在不断演进，以满足企业对于数据处理、存储和分析的需求。本文将介绍数据仓库主流技术，包括星型模式、雪花模式及数据抽取、转换和加载(ETL)过程，并提供Python代码示例。
## 一、数据仓库架构
数据仓库的架构通常分为三层：数据
