经常有同学问我，基于Hadoop生态圈的大数据组件有很多，怎么学的过来呢，毕竟精力有限，我们需要有侧重点，我觉得下面这几个组件至关重要，是基础组件，大部分人都需要会的，其它组件可以用的时候再去查查资料学习。hadoopHbaseHiveSparkFlinkKafkaHadoop是大数据的基础组件，很多组件都需要依赖它的分布式存储、计算；主要包括Hdfs、MR、Yarn三部分，这个需要找一些好的资料
### Hive是什么结构化的数据文件映射成为一张数据库表，并提供类SQL的查询功能。可以将sql语句转化为MapReduce任务进行运行。Hive提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。### 为什么使用Hive1.） 直接使用hadoop所面临的问题人员学习成本太高项目周期要求太短M
转载
2024-03-12 07:38:40
57阅读
# 使用Java NIO读取大数据的指南
在处理大数据时，我们需要使用更高效的方式来读取文件。Java NIO（非阻塞输入输出）提供了比传统IO更优的性能。本文将逐步指导你如何使用Java NIO读取大文件。
## 读取大数据的流程
我们可以将整个读取大文件的过程分为以下几个步骤：
| 步骤 | 描述 |
|------|------|
| 1 | 创建一个`Path`对象，指向要读
原创
2024-08-06 11:42:08
30阅读
Flink是一个非常灵活的处理框架，它支持多种不同的部署场景，还可以和不同的资源管理平台方便地集成集群搭建：集群规划：节点服务器hadoop102hadoop103hadoop104角色JobManager,TaskManagerTaskManagerTaskManager下载解压安装包eg：flink-1.17.0-bin-scala_2.12.tgzvim flink-conf.yamljob
<script type="text/javascript">show_ads_zone(112);</script> <script language="JavaScript" src="," type="text/javascript"></script>
超大型数据库的大小常常达到数百GB，有时甚
转载
2023-12-11 09:49:44
119阅读
这是一本2013年出版的书，当时是大数据的预测；在5年后的中国，已经变成了大数据的事实。
书的作者为英国人维克托.迈尔-舍恩伯格(Viktor Mayer-SchÖnberger)和美国人肯尼思.库克耶(Kenneth Cukier)。 这本书的主要内容，体现于其完整的书名：《大数据时代–生活、工作与思维的大变革》(BIG DATA – A Revolution That Will T
原创
2021-08-27 08:33:58
518阅读
ASTER GDEM（先进星载热发射和反射辐射仪全球数字高程模型）是美国航天局（NASA）与日本经济产业省（METI）共同推出了最新的地球电子地形数据，该数据是根据NASA的新一代对地观测卫星Terra的详尽观测结果制作完成的。目前，可以在网上免费获取ASTER GDEM数据。下载地址：http://www.gdem.aster.ersdac.or.jp/search.jsphttp://data
转载
2024-09-11 12:43:11
113阅读
一、下载MySQL二、SQLSQL，一般发音为sequel，SQL的全称Structured Query Language)，SQL用来和数据库打交道，完成和数据库的通信，SQL是一套标准。但是每一个数据库都有自己的特性，别的数据库没有,当使用这个数据库特性相关的功能,这时SQL语句可能就不是标准了.(90%以上的SQL都是通用的)三、认识数据库数据库，通常是一个或一组文件，保存了一些符合特定规格
转载
2023-08-09 10:10:06
54阅读
序道德经阐述:道生一，一生二，二生三，三生万物。1964年美国科学家盖尔曼提出中
原创
2023-06-07 09:40:47
56阅读
什么是MySQLMySQL（官方发音为英语发音：/maɪ ˌɛskjuːˈɛl/ My S-Q-L，但也经常读作英语发音：/maɪ ˈsiːkwəl/ My Sequel）原本是一个开放源代码的关系数据库管理系统（DBMS），原开发者为瑞典的MySQL AB公司，该公司于2008年被昇阳微系统（Sun Microsystems）收购。2009年，甲骨文公司（Oracle）收购昇
转载
2023-07-17 22:51:33
1035阅读
自从我第一次接触这个单词（简写）我就一直纳闷怎么发音，因为旁边的人一直在念circle/'sɜːk(ə)l/，但是我百度了一下，倒是没看到统一的标准。这次找到讲SQL发音历史的一篇文章，我翻译过来看个乐呵SQL存在了几十年了，支撑数十亿美元的市场，但还是有许多人（比如我）纠结其发音，到底是Ess-cue-ell，还是sequel/'siːkw(ə)l/2（外国人根本没发过circle这个音…） ？
在科学计算和气象数据处理中，常常会碰到.nc（NetCDF）格式的数据。这是一种常用于存储多维科学数据的文件格式。许多科研人员和工程师可能会遇到需要在 Python 中读取这些.nc 数据的需求。本文记录了解决“如何在 Python 中读取.nc 数据”的过程，整理了整个问题背景、错误现象、根因分析、解决方案、验证测试和预防优化等重要环节。
## 问题背景
在进行气象数据分析时，我们从在线数据
区块链的结构应该如何完善，怎么去完善司阶段。以下这个图片会更加的形象。
原创
2023-06-08 17:49:24
395阅读
有很多人把阻塞认为是同步，把非阻塞认为是异步；个人认为这样是不准确的，当然从思想上可以这样类比，但方式是完全不同的，下面说说在JAVA里面阻塞IO和非阻塞IO的区别 在JDK1.4中引入了一个NIO的类库，使得Java涉及IO的操作拥有阻塞式和非阻塞式两种，问一下阻塞IO与非阻塞IO有什么区别？有什么优缺点？在阻塞模式下，若从网络流中读
# Java读大数据Excel表时注意事项
在实际开发中，我们可能会遇到需要读取大数据Excel表格的场景。在Java中，我们可以使用Apache POI库来实现对Excel文件的读取操作。然而，在处理大数据Excel表时，需要注意一些细节，以保证程序的性能和稳定性。本文将介绍在Java中读取大数据Excel表时需要注意的问题，并给出相应的代码示例。
## 注意事项
### 1. 内存占用
原创
2024-06-06 03:19:50
28阅读
文章目录第一篇：Google File System第二篇：Google Bigtable第三篇：Google MapReduce三篇论文看完后的想法第一篇：Google File System论文地址本论文设计并实现了 Google GFS 文件系统，一个面向大规模数据密集型应用的、可伸缩的分布式文件系统。GFS 与传统的分布式文件系统有着很多相同的设计目标，比如，性能、可伸缩性、可靠性...
原创
2021-07-13 11:24:51
817阅读
我在B站读大学，大数据专业
原创
2021-11-25 10:45:10
8364阅读
点击上方蓝色字体，选择“设为星标”回复”面试“获取更多惊喜前言 本篇文章是《我在B站读大学，大数据专业》的姊妹篇。我在2021年中旬写过一篇文章《八千里路云和月|从零到大数据专家学习路径指...
原创
2021-12-31 09:14:16
10000+阅读
目前大数据行业异常火爆，不少人都对大数据充满了兴趣，其中有大部分人都是之前没有接触过计算机技术的，对编程语言也不太了解，那是不是这部分零基础的朋友就学不了大数据了呢？答案当然是否定的。大数据学习并不是高深莫测的，虽然它并没有多简单，但是通过努力，零基础的朋友也是完全可以掌握大数据的。零基础学习大数据一般有以下几步：一、了解大数据理论要学习大数据你至少应该知道什么是大数据，大数据一般运用在什么领域。
原创
2018-08-01 18:07:40
1331阅读
SQL Server逻辑读-预读-物理读SQL Server 存储数据的方式 1.页是最小的操作单元，也就是说从磁盘读取数据库的时候最少读取一页，每一页的大小是8KB，SQL SERVER对于页的读取是原子性，要么读完一页，要么完全不读，不会有中间状态 2.区是8个连续的页组成的，区是最小的分配
转载
2023-10-08 19:19:20
97阅读
