说大数据的技术还是要先提Google，Google 新三辆马车，Spanner, F1, DremelSpanner：高可扩展、多版本、全球分布式-
原创
2023-07-07 17:48:23
92阅读
1、大数据流程图
2、大数据各个环节主要技术
2.1、数据处理主要技术
Sqoop：（发音：skup）作为一款开源的离线数据传输工具，主要用于Hadoop(Hive) 与传统数据库（MySql,PostgreSQL）间的数据传递。它可以将一个关系数据库中数据导入Hadoop的HDFS中，
也可以将HDFS中的数据导入关系型数据库中。
转载
2018-08-06 16:37:00
243阅读
2评论
说起大数据，很多人都能聊上一会，但要是问大数据核心技术有哪些，估计很多人就说不上一二来了。从机器学习到数据可视化，大数据发展至今已经拥有了一套相当成熟的技术树，不同的技术层面有着不同的技术架构，而且每年还会涌现出新的技术名词。面对如此庞杂的技术架构，很多第一次接触大数据的小白几乎都是望而生畏的。其实想要知道大数据有哪些核心技术很简单，无非三个过程：取数据、算数据、用数据。这么说可能还是有人觉得太空
转载
2024-01-01 06:15:19
66阅读
本篇从大数据架构的角度全面解析大数据技术及算法，探讨大数据的发展和趋势，全面介绍大数据的相关技术、算法和一些应用场景，帮助读者培养大数据的技术选型和系统架构能力。不仅对大数据相关技术及算法做了系统性的分析和描述，梳理了大数据的技术分类，如基础架构支持、大数据采集、大数据存储、大数据处理、大数据展示及交互，还融合了大数据行业的最新技术进展和大型互联网公司的大数据架构实践，努力为读者提供一个大数据的全
转载
2023-12-06 20:33:17
75阅读
本书系统介绍了大数据的相关知识，分为大数据基础篇、大数据存储与管理篇、大数据处理与分析篇、大数据应用篇。全书共15章，内容包含大数据的基本概念、大数据处理架构Hadoop、分布式文件系统HDFS、分布式数据库HBase、NoSQL数据库、云数据库、MapReduce、Spark、流计算、图计算、数据可视化以及大数据在互联网、生物医学领域和其他行业的应用。本书在Hadoop、HDFS、HBase、M
转载
2024-01-10 09:46:56
63阅读
架构选择：简单离线场景用 “离线批处理架构”，纯实时场景用 “实时流处理架构”，复杂业务优先选 “批流融合架构”（Flink+Spark 组合）。技术选型：采集用 Flume/Kafka，存储用 HDFS/HBase/Redis，计算用 Spark（离线）+Flink（实时），应用用 Tableau/Grafana，这套组合是企业最通用、性价比最高的方案。业务驱动：所有设计和开发都围绕业务价值，避免技术炫技。分层清晰：严格按 ODS→DWD→DWS→DM 分层，每层职责单一。数据质量优先。
### 大数据技术及架构
随着信息技术的飞速发展，数据的生成和存储量急剧增加，传统的数据处理技术已无法满足新的需求。大数据技术应运而生，旨在解决大规模数据的存储、处理和分析问题。本文将探讨大数据的基本架构和常用技术，并给出相应的代码示例。
#### 大数据架构概述
大数据架构通常分为多个层次，包括数据采集层、数据存储层、数据处理层和数据可视化层。下面是一个简单的架构图示：
```merma
原创
2024-08-20 07:09:37
20阅读
大数据技术的体系庞大且复杂，基础的技术包含数据的采集、数据预处理、分布式存储、NoSQL数据库、数据仓库、机器学习、并行计算、可视化等各种技术范畴和不同的技术层面。首先给出一个通用化的大数据处理框架，主要分为下面几个方面：数据采集与预处理、数据存储、数据清洗、数据查询分析和数据可视化。一、数据采集与预处理对于各种来源的数据，包括移动互联网数据、社交网络的数据等，这些结构化和非结构化的海量数据是零散
转载
2023-08-10 00:09:02
296阅读
# Java相关的大数据存储技术
## 1. 引言
在当今大数据时代，数据的规模和复杂性日益增加，因此，如何高效地存储和处理大数据成为了一个关键的问题。Java作为一种强大的编程语言，提供了许多解决大数据存储的技术和工具。本文将介绍一些Java相关的大数据存储技术，并给出相应的代码示例。
## 2. Hadoop
Hadoop是一个开源的分布式存储和处理大数据的框架。它基于MapReduc
原创
2023-10-19 03:56:20
73阅读
分组WordCount倒排索引（不考）Linux基本指令cd：切换目录。 切换到：移动或重命名文件。 移动文件； 重命名文件。rm：删除文件或目录。 删除文件； 递归删除目录； 提示确认删除。cat：显示文件内容。 显示文件内容； 合并文件内容
数据特征：巨大、非结构化、并行处理分布式文件系统 NoSQL数据库 分布式数据库 云数据3.2 分布式文件系统3.2.1分布式文件系统概念：文件系统管理的无物理存储资源不仅在本地节点上，还可以通过网络连接存储在非本地节点上，可解决备份、安全、可拓展等难题评价一个分布式文件系统因素： （1）数据的存储方式，即文件数据在各节点之间的分布策略 （2）数据的读取速率 （3）安全机制3.2.1.1 常见的分
转载
2024-05-17 14:31:19
110阅读
大数据建表语句模板这篇文章主要写一些大数据数据库所用到建表语句，以备后用
原创
2022-07-18 15:17:22
51阅读
大数据时代已经到来，社区最近组织了“大数据时代企业的精准化和个性化管理及服务实践线上交流探讨”，并邀请专家陈星星撰写了《大数据时代背景教育企业的精准化和个性化管理及服务实践》（点击标题可阅读），为广大会员提供大数据应用相关实践借鉴，以下由陈星星将活动中提出的难点问题及解答进行总结，供更多读者参考。Q1、传统数仓转向大数据平台的必要性？如题，或者什么场景的的传统数仓适合转向大数据平台。转向大数据平台
原创
2021-04-24 08:26:42
491阅读
一、 大数据平台组件搭建。 要求在Hadoop集群上搭建1.6.3版本的Spark分布式集群。（提示如下，注意每一步骤的代码与结果需截图在报告中体现） 1.Spark安装包处理，解压到/usr/local目录下，在master节点通过命令“wget -P /opt http://datasrc.ti ...
转载
2021-10-22 09:36:00
115阅读
2评论
当学生问到如何学习大数据技术，每次口头介绍都心中清楚无法清晰讲清楚这些技术名词，简单整理给大家。大数据开发的工具与语言：编程语言（Java，python，R语言等）1、大数据离线处理架构Hadoop（基于JAVA）开源免费，懂JavaSE；2、大数据实时计算的架构storm（基于JAVA）开源免费，懂JavaSE；3、大数据内存计算Spark（基于Scala语言开发）基于JDK开发，本质是Java
转载
2023-07-29 12:37:40
33阅读
1、了解大数据发展的前世今生
2、Hbase原理简介
原创
2022-08-26 14:06:42
725阅读
〇、安装前准备一、Spark 安装1、配置 Spark 环境变量2、修改 Spark 配置文件a、配置 workers（slaves）b、配置 spark-env.下f spark-3.1...
笔记1：笼统介绍笔记1：笼统介绍大数据应用：决策支持、效率提升、精准营销数据收集（sqoop、flume...）——> 数据预处理：提取、清洗、转化、加载（sqoop、kettle、mapreduce...）——> 数据分析：统计、建模、挖掘（hive、spark、flink...）——> 数据可视化（superset、echarts、bi工具...）——> 报告撰写。
大数据系列文章：? 目录 ? 文章目录 〇、安装前准备一、Spark 安装1、配置 Spark 环境变量2、修改 Spark 配置文件a、配置 workers（slave
