一.业务分析此次案例中，我们面临的业务需求时，有一张mysql表里存储了千万级别的数据，每次业务流程结束，这张表中就会增加至少8万条数据，而我们的系统要做的就是把这些数据按不同的需求统计展示，在代码中有大量的复杂计算和复杂sql语句，，并且该系统的业务会经常发生变化，这让整个系统变得缓慢和难以维护，即使在使用redis作为我们的缓冲层，也无法很好的解决查询效率问题，毕竟第一次加载真的太慢了，在面临
转载
2024-06-06 11:25:35
30阅读
# 大数据平台主流技术架构
随着互联网的迅猛发展，数据量呈指数级增长。大数据技术应运而生，旨在解决数据存储、处理和分析的各种挑战。在这些技术中，主流架构通常包括数据采集、存储、处理和可视化四个部分。本文将具体阐述大数据平台的主要技术架构，并提供代码示例。
## 1. 数据采集
数据采集是大数据平台的第一步，通常使用工具如 **Apache Nifi** 或 **Kafka**。这些工具能够实
原创
2024-10-07 03:16:09
147阅读
大数据分析--淘宝美食产品数据分析一、选题背景随着网络技术的不断发展，大数据技术影响着人们生活的方方面面，人们可以利用大数据技术从海量的数据中提取有价值的信息。并且现在是一个信息爆炸的时代，我们可以通过电商购物平台网站购买商品，所以说电商平台对商品信息传播的作用不可忽视。各大电商平台商品评论中携带大量信息，如果浏览大量评论会浪费很多时间，所以对评论文本关键信息整合变得尤为重要。为了选择出自己喜欢的
转载
2023-07-17 19:51:45
212阅读
mysql基本架构图如图所示：MySQL 可以分为 Server 层和存储引擎层两部分
（1）Server 层包括连接器、查询缓存、分析器、优化器、执行器等，涵盖 MySQL 的大多数核心服务功能，以及所有的内置函数（如日期、时间、数学和加密函数等），
所有跨存储引擎的功能都在这一层实现，比如存储过程、触发器、视图等。
（2）存储引擎层负责数据的存储和提取。其架构模式是插件式的，支持 InnoDB
转载
2023-06-30 20:14:45
54阅读
1.背景随着数据量的暴增和数据实时性要求越来越高，以及大数据技术的发展驱动企业不断升级迭代，传统数仓经历了以下发展过程：传统数仓架构 -> 离线大数据架构 -> Lambda架构 -> Kappa架构 -> 新一代实时数仓。（大部分网上文章最后一个时代竟然写的是Unifield混合架构，笔者非常不赞同，因为Unifield加了机器学习、IOTA架构加了物联网边缘计算的概念。
转载
2023-08-09 23:50:59
309阅读
现实世界的数据常常是不完全的、有噪声的、不一致的。数据清洗过程包括遗漏数据处理，噪声数据处理，以及不一致数据处理。本节介绍数据清洗的主要处理方法。遗漏数据处理假设在分析一个商场销售数据时，发现有多个记录中的属性值为空，如顾客的收入属性，则对于为空的属性值，可以采用以下方法进行遗漏数据处理。1）忽略该条记录若一条记录中有属性值被遗漏了，则将此条记录排除，尤其是没有类别属性值而又要进行分类数据挖掘时。
转载
2024-08-27 16:04:35
133阅读
一、大数据关键技术 大数据特点：4V，数据量大、数据类型多、处理速度快、价值密度低。 大数据的关键技术包括：数据采集、 数据存储和管理、 数据的分析和处理、数据的隐私和安全。其中，分布式存储和分布式处理是大数据技术的核心。 大数据计算模式： 批处理计算 &
数据量不断增加，企业需要灵活快速地处理这些数据。处理器主频和散热遇到瓶颈，多核处理器成为主流，并行化计算应用不断增加。开源软件的成功使得大数据技术得以兴起。互联网技术的发展让大多数企业能够积累大量的数据，而企业需要灵活快速地从这些数据中提取出有价值的信息来服务用户或帮助企业自身决策。然而处理器的主频和散热遇到了瓶颈，CPU难以通过纵向优化来提升性能，所以多核这种横向扩展成为了主流。也因此，开发者需
转载
2021-03-29 22:14:04
235阅读
背景数据量不断增加，企业需要灵活快速地处理这些数据。处理器主频和散热遇到瓶颈，多核处理器成为主流，并行化计算应用不断增加。开源软件的成功使得大数据技术得以兴起。互联网技术的发展让大多数企...
转载
2021-06-11 09:31:26
408阅读
背景
数据量不断增加，企业需要灵活快速地处理这些数据。
处理器主频和
转载
2022-06-16 15:53:24
519阅读
废话不多说先上图 大数据开发常见框架数据传输组件：①Kafka是用Scala编写的分布式消息处理平台。②Logstash是用JRuby编写的一种分布式日志收集框架。③Flume是用Java编写的分布式实时日志收集框架。数据存储组件：HDFS (Hadoop Distributed File System)用Java编写，是谷歌的GFS（Google File S ystem）的一种
转载
2023-07-20 21:08:44
893阅读
大数据分析是现在十分火热的话题，从农业到工业、从金融到体育、从传统企业到初创公司，各行各业都在积极应用大数据分析，似乎你的企业不和大数据沾点边就会显得没有逼格一样。随着大数据分析的持续走红，大数据分析工具也呈现出了遍地开花的态势，我们今天要说的Hadoop就是其中之一。Hadoop是Apache开发的一个开源项目，短短几年的时间，我们就见证了Hadoop从无到有、从简陋到稳定的转变。目前Hadoo
转载
2023-07-24 09:19:04
51阅读
大数据的应用开发过于偏向底层，具有学习难度大，涉及技术面广的问题，这制约了大数据的普及。现在需要一种技术，把大数据开发中一些通用的，重复使用的基础代码、算法封装为类库，降低大数据的学习门槛，降低开发难度，提高大数据项目的开发效率。 大数据在工作中的应用有三种：与业务相关，比如用户画像、风险控制等； 与决策相关，数据科学的领域，了解统计学、算法，这是数据科学家的范畴；
转载
2023-10-03 08:10:56
193阅读
当前的大数据系统架构主要有两种：一种是MPP数据库架构，另一种就是Hadoop体系的分层架构。这两种架构各有优势和适合的场景。另外随着光纤网络通信技术的发展，大数据系统架构正在向着存储与计算分离的架构和云化架构方向发展。 Hadoop体系的分层架构解读见：大数据系统架构——Hadoop体系本文从并行硬件架构的发展讲起，进一步介绍基于并行硬件架构的数据库一体机系统与基于MPP架构的数据库软件系统。
转载
2023-08-15 13:19:39
150阅读
# 数据库主流架构的探讨
在现代软件开发及数据管理中，数据库的架构设计至关重要。随着数据种类与规模的不断增长，各种数据库架构应运而生，以满足不同的需求。本文将探讨几种主流的数据库架构，并通过简单的代码示例为读者提供更直观的理解。
## 一、关系型数据库架构
关系型数据库（RDBMS）是最传统的数据存储方式，以表格的形式存储数据。数据以行和列的形式组织，使用标准的SQL语言进行查询和操作。常见
原创
2024-09-03 03:25:24
20阅读
揭秘数据中心1.数据中心历史ENIAC：1946年，世界第一台电子计算机ENIAC诞生，该计算机是美国军方为了计算弹道而研制的TRADIC: 1954年，世界第一台由晶体管组成的电子计算机TRADIC研制成功大型机: 继TRADIC之后，1960s，IBM的大型机实现了突破性进展，电子计算机开始商用，但主要为政府和军队使用。虚拟化: 随着对系统性能的更高要求，人们希望同一个系统能提供额外的性能及资
大数据入门知识总结一、大数据部门及流程二、数据仓库1、数据仓库的基本概念2、数据仓库的主要特征3、数据仓库与数据库区别5、数据仓库——ETL三、Hadoop——HDFS分布式存储系统1、Hadoop简介2、HDFS、Yarn、MapReduce3、Hadoop集群搭建4、HDFS的概述5、HDFS的Shell命令6、HDFS的基准测试四、Hive1、什么是Hive2、Hive的特点3、Hive架
转载
2023-08-30 12:38:46
134阅读
1、传统大数据架构优点缺点使用场景简单，易懂，对于BI系统来说，基本思想没有发生变化，变化的仅仅是技术选型，用大数据架构替换掉BI的组件1、没有BI下如此完备的Cube架构，虽然目前有kylin，但是kylin的局限性非常明显，远远没有BI下的Cube的灵活度和稳定度，因此对业务支撑的灵活度不够， 2、存在大量报表，或者复杂的钻取的场景，需要太多的手工定制化 3、同时该架构依旧
转载
2023-08-16 19:14:45
88阅读
各位好：回首10年多的科研工作历程，也是中国经济高速发展的10多年，中国高铁、核电、航空、互联网、云计算、大数据、人工智能等领域无不铭刻着“中国名片”，这就是科技是第一生产力的实践验证！12年前，获得北邮计算机工学硕士后信心满满的踏上了科研之路，一干就是十多年，有苦有泪有艰辛，但收获的是一种为国防科技发展能奉献和敢担当的责任感。今天，更一次站在了移动互联网这个朝阳产业的跑道上，和诸多大数据和人工智
转载
2024-06-25 10:08:17
31阅读
Lambda架构Lambda架构提供了一个结合实时数据和Hadoop预先计算（离线计算批处理层）的数据环境的混合平台， 以提供一个实时的数据试图。分层架构：批处理层（离线处理数据），实时处理层（与批处理层数据采集点击和访问的行为），服务层（收集用户信息等）：把批处理曾的数据进行处理，进行前端的互动。一 批处理层：通过HDFS进行数据的存储，然后mapreduce进行计算(也可换成可用spark计算
转载
2023-08-30 06:50:17
175阅读
