# Spark 不需要 HDFS
Apache Spark 是一款快速、通用的集群计算系统，它提供了丰富的API来支持大规模数据处理。许多人误以为 Spark 必须依赖于 HDFS（Hadoop Distributed File System），但实际上，Spark 并不需要依赖于 HDFS。
## Spark 的存储模型
Spark 的存储模型主要包括两部分：**RDD（Resilient
原创
2024-05-11 07:20:41
103阅读
Spark 在 6 月份取得了激动人心的成绩。在圣何塞举办的 Hadoop 峰会上，Spark 成了人们经常提及的话题和许多演讲的主题。IBM 还在 6 月 15 号宣布，将对 Spark 相关的技术进行巨额投资。这一声明帮助推动了旧金山Spark 峰会的召开。在这里，人们会看到有越来越多的工程师在学习 Spark，也有越来越多的公司在试验和采用 Spark。对 Spark 的投资和采用形成了一个
转载
2023-10-13 23:07:20
36阅读
## HBase 存储不需要 HDFS
HBase 是一个分布式的、面向列的开源数据库，它是在分布式文件系统 Hadoop HDFS 的基础上构建的。但是，HBase 存储并不需要 HDFS，这是因为 HBase 使用了一种称为 HFile 的数据存储格式。
在这篇文章中，我们将介绍 HBase 存储不需要 HDFS 的原因，并通过代码示例来说明这个过程。
### HBase 存储架构
H
原创
2024-02-16 03:44:38
128阅读
# 理解为什么 Spark 不需要排序
在大数据处理过程中，排序是一个常见的操作。然而，在使用 Apache Spark 的时候，我们可以发现很多情况下并不需要显式地进行排序。接下来，我将为你详细讲解这一点，并展示如何在 Spark 中处理数据而不需要排序。
## 整体流程概述
我们可以将整个处理过程概括为以下几个步骤：
| 步骤 | 描述 |
|------|------|
| 1
步骤即把压缩包放入Linux环境里 /home/hadoop/下解压3.4.9.tar.gz包tar -zxvf zookeeper-3.4.9.tar.gz -C /home/hadoop/hadoop_home 然后配置环境变量export ZOOKEEPER_HOME=/home/hadoop/hadoop_home zookeeper-3.4.9
转载
2024-08-01 16:31:07
20阅读
1.Hadoop 生态圈组件Hadoop是一个分布式系统基础架构，具备可靠、高效、可伸缩等特点。它的核心设计是HDFS、MapReduce。1.1.HDFS（分布式文件系统） HDFS是整个hadoop体系的基础，负责数据的存储与管理。HDFS有着高容错性（fault-tolerant）的特点，并且设计用来部署在低廉的（low-cost）硬件上。而且它提供高吞吐量（high throughput）
转载
2024-08-06 20:30:44
31阅读
2017计算机二级JAVA要点知识复习采用下述命令编译：javac Test.java则编译器会在当前目录下生成 Test.class 文件， 再在适合位置手动创建一个名为 p1 的子目录，将 Test.class 复制到该 p1 目录下。采用简化的编译命令，就是可以带包编译javac -d destpath Test.java归入该包的类的字节代码文件应放在 java 的类库所在路径的 dest
转载
2023-08-23 10:31:05
210阅读
1.基础环境搭建1.1运行环境说明1.1.1硬软件环境主机操作系统：Windows 64位，四核8线程，主频3.2G，8G内存虚拟软件：VMware Workstation Pro虚拟机操作系统：CentOS7 64位，单核，2G内存 1.1.2集群网络环境集群包含三个节点，节点之间可以免密码SSH访问，节点IP地址和主机名分布如下：序号IP地址机器名核数/内存用户名1192.168.1
在当今的软件开发领域，DevOps已经变得越来越流行和重要。然而，在某些情况下，可能并不需要使用DevOps来实现开发和部署。其中一个典型的例子就是红帽（Red Hat）。
红帽作为一家以Linux操作系统和开源软件为主的公司，很多人可能会认为他们一定在采用最先进的DevOps实践来管理他们的软件开发和部署流程。然而，红帽却展示了一个与众不同的例子：不需要严格的DevOps实践来实现高效的软件开
原创
2024-03-21 10:45:29
89阅读
一、编译型vs解释型编译型 优点：编译器一般会有预编译的过程对代码进行优化。因为编译只做一次，运行时不需要编译，所以编译型语言的程序执行效率高。可以脱离语言环境独立运行。 缺点：编译之后如果需要修改就需要整个模块重新编译。编译的时候根据对应的运行环境生成机器码，不同的操作系统之间移植就会有问题，需要根据运行的操作系统环境编译不同的可执行文件。解释型 优点：有良好的平台兼容性，在任何环境中都可以运行
转载
2023-09-18 10:36:56
113阅读
tomcat 介绍tomcat 是 web容器（servlet 容器），不管请求是访问静态资源HTML、JSP还是java接口，对tomcat而言，都是通过servlet访问：访问静态资源，tomcat 会交由一个叫做DefaultServlet的类来处理。访问 JSP，tomcat 会交由一个叫做JspServlet的类来处理。访问 Servlet ，tomcat 会交由一个叫做 Invoker
转载
2024-06-18 08:26:14
102阅读
一、前言 SpringBoot内置tomcat使用很方便，打包成可执行jar文件后可以直接运行，然后内置Tomcat配置终究没有外部独立Tomcat方便，并且如果有多个web应用，使用外部独立Tomcat管理起来也更加方便。因此，这边文章介绍一下本人将myblog应用部署到外部Tomcat的过程以及其中遇到的一些问题与解决方法。二、打包成可部署到
转载
2024-06-27 20:29:37
169阅读
什么是python？有什么特点？ python是一种解释性、面向对象、动态数据类型的高级程序设计语言，python在编写时无须定义变量类型，在运行时变量类型强制固定，属于强类型语言，python无需编译，可以在解释器环境下直接运行 特点：是一种解释性语言，因此不需要编译 &nbs
转载
2023-10-11 23:29:20
88阅读
Vuex 是一个很棒的状态管理库。它很简单，并与 Vue 集成的非常好。为什么会有人放弃 Vuex ? 原因可能是即将发布的 Vue3 版本公开了底层的响应式系统，并介绍了构建应用程序的新方法。新的响应式系统非常强大，它可以直接用于集中的状态管理。你需要状态共享吗？ 在某些情况下，多个组件之间的数据流转变得非常困难，因此需要集中的状态管理。这些情况包括:多个组件使用相同数据的组件深嵌套如果以上情况
转载
2024-06-17 19:08:24
431阅读
文章目录三、基本数据类型变量常量数字类型进制转换类型转换常用运算符输入和输出inputprint随机模块编码规范和注释 三、基本数据类型变量python是一种弱类型语言；对于变量的定义，python不需要声明，它可以直接赋值使用；变量命名规则：以字母、下划线开头，不用以数字开头，变量名中不能有空格和标点符号；变量名对英文字母的大小写敏感；不能使用关键字和内置函数作为变量名： 可以在cmd的pyt
转载
2023-08-30 09:17:12
209阅读
解释型语言解释性语言编写的程序不进行预先编译，以文本方式存储程序代码，在运行程序的时候，解释性语言必须先解释再运行，把做好的源程序翻译一句，然后执行一句，直至结束！典型列子：python php与之对应的是：编译型语言把做好的源程序全部编译成二进制代码的可运行程序。编译型语言写的程序执行之前，需要一个专门的编译过程，把程序编译成为机器语言的文件，比如exe文件，以后要运行的话就不用重新翻译了，直接
转载
2023-08-14 23:57:01
222阅读
“数据智能” (Data Intelligence) 有一个必须且基础的环节，就是数据仓库的建设，同时，数据仓库也是公司数据发展到一定规模后必然会提供的一种基础服务。从智能商业的角度来讲，数据的结果代表了用户的反馈，获取结果的及时性就显得尤为重要，快速的获取数据反馈能够帮助公司更快的做出决策，更好的进行产品迭代，实时数仓在这一过程中起到了不可替代的作用。本文主要讲述知乎的实时数仓实践
转载
2024-06-05 00:30:35
103阅读
