HDFS的体系架构整个Hadoop的体系结构主要是通过HDFS来实现对分布式存储的底层支持，并通过MR来实现对分布式并行任务处理的程序支持。
转载
2023-05-06 14:59:54
83阅读
1.什么是大数据1.1 大数据特征我们引用了大数据的4V特征Volume 大数据数据量大，数据量单位为T 或者P级Variety 数据类型多，大数据包含多种数据维度 比如 日志、视频、图片Value 价值密度低，商业价值高 比如监控视频，其中关键1-2秒可能具有极高的价值Velocity 要求处理速度块1.2 大数据的4个关键技术1.3 ETL/ELT的区别ETL 包含的过程是 Extract、T
原创
2021-02-04 19:21:25
279阅读
1.什么是大数据1.1 大数据特征我们引用了大数据的4V特征Volume 大数据数据量大，数据量单位为T 或者P级Variety 数据类型多，大数据包含多种数据维度 比如 日志、视频、图片Value 价值密度低，商业价值高 比如监控视频，其中关键1-2秒可能具有极高的价值Velocity 要求处理速度块1.2 大数据的4个关键技术1.3 ETL/ELT的区别ETL 包含的过程是 Extract、T
原创
2021-04-06 13:39:15
370阅读
在信息技术日新月异的今天，软考（计算机技术与软件专业技术资格考试）作为国内最具权威性的IT专业认证考试之一，越来越受到广大IT从业者的关注和重视。特别是在大数据领域，软考的相关认证无疑为专业人士提供了一条标准化、系统化的职业发展路径。为了满足广大考生的学习需求，市面上涌现出大量【软考大数据讲解视频】，这些视频资源以其直观、高效的学习方式受到了广大考生的欢迎。
【软考大数据讲解视频】通常涵盖了大数
原创
2024-05-08 16:05:32
66阅读
大数据聚类分析是数据科学领域中的关键技术之一，它能够帮助我们从庞大而复杂的数据集中提取有意义的信息和模式。在这篇博文中，我们将深入探讨大数据聚类分析的概念、方法、应用和挑战。1. 聚类分析的基本概念1.1 什么是聚类分析？聚类分析是一种将数据分成具有相似特征的组的技术。其目标是使组内的数据点相似度最大化，而组间的相似度最小化。这有助于发现数据中的隐藏结构和模式，为进一步的分析和决策提供基础。在聚类
原创
精选
2024-02-11 09:22:47
305阅读
hdfs 读数据的流程1、跟namenode通信查询元数据，找到文件块所在的datanode服务器。2、挑选一台datanode（就近原则，然后随机）服务器，请求建立socket流。3、datanode开始发送数据（从磁盘里面读取数据放入流，以packet为单位来做校验）。4、客户端以packet为单位接收，现在本地缓存，然后写入目标文件。hdfs 写数据的流程1、根nameno...
原创
2022-01-21 09:45:40
78阅读
个人觉得IT十年的大数据系列的博文非常干货。对于希望
原创
2023-08-04 16:36:02
86阅读
hdfs 读数据的流程1、跟namenode通信查询元数据，找到文件块所在的datanode服务器。2、挑选一台datanode（就近原则，然后随机）服务器，请求建立socket流。3、datanode开始发送数据（从磁盘里面读取数据放入流，以packet为单位来做校验）。4、客户端以packet为单位接收，现在本地缓存，然后写入目标文件。hdfs 写数据的流程1、根nameno...
原创
2021-07-02 13:42:57
380阅读
在信息技术迅猛发展的今天，软件行业作为国家经济发展的重要支柱，其专业性和技术性日益受到广泛重视。而在这个行业中，软考（计算机软件技术水平考试）作为衡量从业人员技术水平的重要标准，更是备受关注。特别是随着大数据技术的兴起，软考大数据方向的知识体系成为了众多考生和从业者关注的焦点。本文将以“软考大数据讲解视频教程”为关键词，探讨软考大数据方向的重要性、学习方法以及视频教程在学习过程中的作用。
一、软
原创
2024-05-08 12:34:21
55阅读
近日，Ramesh Dontha 在 DataConomy 上连发两篇文章，扼要而全面地介绍了关于大数据的 75 个核心术语，这不仅是大数据初学者很好的入门资料，对于高阶从业人员也可以起...
转载
2021-06-11 09:37:24
124阅读
听到谓词下推这个词，是不是觉得很高大上，找点资料看了半天才能搞懂概念和思想，借这个机会好好学习一下吧。引用范欣欣大佬的博客中写道，以前经常满大街听到谓词下推，然而对谓词下推却总感觉懵懵懂懂...
转载
2021-11-13 13:48:22
10000+阅读
文章目录一、基础1.1、Linux1.2、shell1.3、Hadoop1.4、Hive二、采集2.1、Sqoop2.2、datax2.3、Flume（3件事）2.4、maxwell三、离线处理3.1、Spark四、实时处理4.1、Flink五、存储六、消息队列6.1、Kafka七、协调7.1、Zookeeper八、调度器8.1、Azkaban8.2、ds 海豚调度器8.3、Ooize十三、从0
转载
2024-03-15 08:37:03
156阅读
【AI大数据计算原理与代码实例讲解】数据湖关键词：AI、大数据、数据湖、计算框架、核心算法、项目实战、代码实例摘
4.1、利用内部比较器/***/}}}}}@Override'}';}@Override}}/***///这是main方法，
原创
2022-08-28 00:47:37
283阅读
Hadoop完全分布式平台搭建：集群机器三台机器：一个作为master，另外两个作为slave1。分别执行ifconfig命令获取每台机器的IP地址2。执行sudo vim /etc/hostname 修改主机名，主机修改为master，另外两个分别修改为slave1，slave2。当然这只是为了方便，其实也可以不用修改 3。三台机器分别执行sudo vim /etc/hosts 修改host
转载
2023-11-07 11:26:26
32阅读
文章目录从Hadoop框架讨论大数据生态1.hadoop是什么？2.hadoop发展历史3. hadoop 发行版本4.hadoop 的优势（4高）5.hadoop 组成5.1 HDFS 架构概述5.2 yarn 架构概述5.2 MapReduce 架构概述6.大数据技术生态体系推荐系统项目框架从Hadoop框架讨论大数据生态1.hadoop是什么？i.hadoop 是由apche 基金会所开发的一个分布式系统基础框架ii.主要解决数据存储和数据分析（海量的数据）iii.更广泛的说hadoop是指
原创
2021-07-09 17:26:05
838阅读
作者 |无精疯来源 | 首发自订阅号「大数据肌肉猿」一、写作背景二、开始淘宝2.1 推荐系统（导购员）2.2 大数据平台开发（店里监控布局）2.3 实时计算（收银员）2...
转载
2021-08-16 14:00:20
115阅读
