随着多年的大数据的技术发展和积累，越来越多的人发现各个公司所使用的大数据技术大致可以分为两大类，分别是离线处理技术和实时处理技术，要么个别公司只有离线处理技术，要么个别公司只有实时处理技术，但是绝大部分公司基本上都是两种技术架构都带着一起在做，以为我们的业务一、lamda架构基本介绍 1、业务系统基本流程介绍 2、lamda架构基本介绍 lamda架构最早是由storm的创始人，Nat
转载
2023-08-12 15:49:35
224阅读
按照大数据应用层次划分，可以把大数据相关技术分为数据收集、数据存储、资源管理、计算框架、数据分析和数据展示这六类，各类代表性组件如下图：
原创
2021-09-28 19:52:16
3898阅读
点赞
1评论
在大数据开发中会接触到很多的集群，各种各样的技术，那么这些技术如何组合来完成架构呢？？？ 大数据技术分类：存储、计算、资源管理最基本的存储技术是HDFS。比如在企业应用中，会把通过各种渠道得到的数据，比如关系数据库的数据、日志数据、应用程序埋点采集的数据、爬虫从外部获取的数据， 统统存储到HDFS上，供后续的统一使用。HBase作为NoSQL类非关系数据库的代表性产品，从分类上可以划分到存储类别，
转载
2024-09-25 16:21:53
34阅读
Hadoop生态圈 一 ，采集，数据从哪里来？主要包括flume等；一 ，存储，海量的数据怎样有效的存储？主要包括hdfs、Kafka；二，计算，海量的数据怎样快速计算？主要包括MapReduce、Spark、storm等；三，查询，海量数据怎样快速查询？主要为Nosql和Olap，Nosql主要包括Hbase、 Cassandra 等，其中olap包括kylin、impla等，其中Nosql主
转载
2024-05-01 21:14:08
76阅读
一、什么是大数据？大数据是不能用传统的计算技术处理的大型数据集的集合。它不是一个单一的技术或工具，而是涉及的业务和技术的许多领域。 二、大数据的数据类型：大数据包括体积庞大，高流速和可扩展的各种数据。它的数据为三种类型。结构化数据：关系数据。半结构化数据：XML数据。非结构化数据：Word, PDF, 文本，媒体日志。 三、大数据两大技术：
操作大数据 这些包括像MongoDB系统，提供
转载
2024-04-09 19:52:32
89阅读
一、大数据简介
1、基础概念
大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据技术则主要用来解决海量数据的存储和分析。2、特点分析
大数据的5V特点（IBM提出）：Volume（大量）、Velocity（高速）、Variety（多样）、Value（低价值密度）、Ver
推荐
原创
2022-08-12 09:12:23
643阅读
一、大数据简介1、基础概念大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据技术则主要用来解决海量数据的存储和分析。2、特点分析大数据的5V特点（IBM提出）：Volume（大量）、Velocity（高速）、Variety（多样）、Value（低价值密度）、Veracity（真实性）。3、发展过程Google在2004年前后发表的三篇论文，分别是文件系统G
原创
2021-06-08 10:00:11
688阅读
本文源码：GitHub·点这里||GitEE·点这里一、大数据简介1、基础概念大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据技术则主要用来解决海量数据的存储和分析。2、特点分析大数据的5V特点（IBM提出）：Volume（大量）、Velocity（高速）、Varie
原创
2020-09-15 09:12:47
801阅读
我们先来看看这张图，这是某公司使用的大数据平台架构图，大部分公司应该都差不多：从这张大数据的整体架构图上看来，大数据的核心层应该是：数据采集层、数据存储与分析层、数据共享层、数据应用层，可能叫法有所不同，本质上的角色都大同小异。所以我下面就按这张架构图上的线索，慢慢来剖析一下，大数据的核心技术都包括什么。一、数据采集数据采集的任务就是把数据从各种数据源中采集和存储到数据存储上，期间有可能会做一些简
转载
2023-07-10 14:08:34
308阅读
数据分析之决策树ID3算法什么是分类算法？ 分类算法跟之前的聚类都是让不同对象个体划分到不同的组中的。但是分类不同之处在于类别在运算之前就已经是确定的。 分类是根据训练数据集合，结合某种分类算法，比如这篇讲的ID3算法来生成最终的分类规则，这样当提供一个对象的时候我们可以根据它们的特征将其划分到某个分组中。 决策树ID3算法是分类中的经典算法，决策树的每一层节点依照某一确定程度比较高的属性向
转载
2024-01-16 15:34:50
55阅读
随着科技的发展和社会的进步，大数据、人工智能等新兴技术开始进入了我们的生活。我们已经从信息时代跨入了大数据时代，而大数据是一个十分火热的技术，现如今大数据已经涉及到了各行各业的方方面面。但是目前而言，很多人对于大数据不是十分清楚，下面我们就给大家讲一讲大数据的架构知识。1.大数据架构的特点一般来说，大数据的架构是比较复杂的，大数据的应用开发过于偏向底层，具有学习难度大，涉及技术
转载
2023-07-11 20:48:06
155阅读
大数据技术，就是从各种类型的数据中快速获得有价值信息的技术。大数据领域已经涌现出了大量新的技术，它们成为大数据采集、存储、处理和呈现的有力武器。大数据处理关键技术一般包括：大数据采集、大数据预处理、大数据存储及管理、大数据分析及挖掘、大数据展现和应用(大数据检索、大数据可视化、大数据应用、大数据安全等)。一、大数据采集技术数据采集是指通过RFID射频数据、传感器数据、社交网络交互数据及移动互联网数
转载
2024-04-10 13:43:16
42阅读
云计算与大数据密切相关，大数据是计算密集型操作的对象，需要消耗巨大的存储空间，云计算的主要目标是在集中管理下使用巨大的计算和存储资源，用微粒度计算能力提供大数据应用，云计算的发展为大数据的存储和处理提供了解决方案，大数据的出现也加速了云计算的发展，基于云计算的分布式存储技术可以有效地管理大数据，借助云计算的并行计算能力可以提高大数据采集和分析的效率。研究机构Gartner定义∶大数据是需要新的处理
转载
2023-10-23 14:41:33
0阅读
目录（一）通用框架概述（二）数据收集层（三）数据存储层（四）资源管理与服务协调层（五）计算引擎层（六）数据分析层（七）数据可视化层 （一）通用框架概述自底向上，与OSI类似，通用框架下的大数据体系有七层：数据源、数据收集层、数据存储层、资源管理与服务协调层、计算引擎层、数据分析层及数据可视化层。图示如下： （二）数据收集层 数据收集层直接与数据源对接，负责采集产品使用
转载
2023-08-15 22:30:12
167阅读
1、用./bin/spark-shell启动spark时遇到异常：java.net.BindException: Can't assign requested address: Service 'sparkDriver' failed after 16 retries!解决方法：add export SPARK_LOCAL_IP="127.0.0.1" to spark-env.sh2、java
原创
2017-07-04 17:01:46
2289阅读
一个多层的大数据平台技术栈概览
目录技术栈全貌1. 采集层和传输层SqoopFlumeCanalLogstashKafkaRocketMQ2. 存储层HBaseAlluxio/Redis/IgniteTiDBHDFSCephKudu3. 计算层HiveKylinDruid 为监控而生的数据库连接池。SparkSQLImpalaSparkStormFlin
转载
2024-05-14 16:53:24
153阅读
大数据培训开发本身是一种现象而不是一种技术。大数据技术是一系列使用非传统的工具来对大量的结构化、半结构化和非结构化数据进行处理，从而获得分析和预测结果的数据处理技术。 大数据价值的完整体现需要多种技术的协同。大数据关键技术涵盖数据存储、处理、应用等多方面的技术，根据大数据的处理过程，可将其分为大数据 ...
转载
2021-09-16 14:06:00
266阅读
2评论
# 大数据挖掘中的分类技术
在当今社会，大数据已经成为一种重要的资源。企业、政府和科研机构都在努力挖掘数据中的价值。大数据挖掘涵盖了许多技术和方法，其中“分类”是一个关键的技术。本文将介绍大数据挖掘中的分类，包含代码示例以及图示，帮助大家更好地理解这一概念。
## 什么是分类
分类是一种监督学习的过程，目的是根据已标记的训练数据为新的、未知的数据实例分配分类标签。常见的分类方法包括决策树、支
原创
2024-10-23 06:06:04
77阅读
安装Hadoop下载安装 Hadoop# 下载，移动目录wget https://apachemirror.sg.wuchna.com/hadoop/common/hadoop-3.1.4/hadoop-3.1.4.tar.gztar -xzvf hadoop-3.1.4.tar.gzsudo mv hadoop-3.1.4/ /usr/local/ sudo ln -sf /usr/local/hadoop-3.1.4 /usr/local/hadoopsudo chown -R tqc
原创
2021-08-04 10:50:21
260阅读
架构挑战1、对现有数据库管理技术的挑战。2、经典数据库技术并没有考虑数据的多类别（variety）、SQL（结构化数据查询语言），在设计的一开始是没有考虑到非结构化数据的存储问题。3、实时性技术的挑战：一般而言，传统数据仓库系统，BI应用，对处理时间的要求并不高。因此这类应用通过建模，运行1-2天获得结果依然没什么问题。但实时处理的要求，是区别大数据应用和传统数据仓库技术、BI技术的关键差别之一。
转载
2024-05-21 07:24:59
90阅读
