1.原理概述1.1理论Spark是用Scala开发的。Spark的Scala代码调用了很多java api。Scala也是运行在JVM中的，所以Spark也是运行在JVM中的。1.2JVM可能会产生的问题 内存不足——RDD的缓存、task运行定义的算子函数，可能会创建很多对象，占用大量的内存。处理不当，可能导致JVM出问题。1.3堆内存作用：存放项目中创建
转载
2024-06-29 08:58:50
32阅读
1.STL基本概念1.1简介
STL(Standard Template Library,标准模板库)，STL 从广义上分为: 容器(container)
算法(algorithm) 迭代器(iterator),容器和算法之间通过迭代器进行无缝连接。STL 几乎
所有的代码都采用了模板类或者模板函数，这相比传统的由函数和类组成的库来说提
供了更好的代码重用机会。
STL六大组件简介：
容器
转载
2024-07-19 20:15:54
46阅读
Spark是一个通用的大规模数据快速处理引擎，一个大数据分布式处理框架。Spark之所以能被迅速的应用到各种大数据处理场景下，与其为Batching processing,Streaming Processing,Ad-hoc Query等三大大数据处理问题提供了近乎完美的解决方案息息相关。在Spark中，使用Spark SQL,Spark Streaming,MLlib,Graphx很好的解决了
spark默认会使用基于derby数据库存储元数据的hive，数据文件存储位置由spark.sql.warehouse.dir参数指定（默认为当前目录）。 比如当我们在/spark/目录下调用spark-shell，并且用Dataset的saveAsTable方法持久化一个表后。会发现在/spark目录下多出了：一个文件：derby.log，记录了derby数据库相关日志信息；一个目录：metas
转载
2023-08-24 19:25:45
184阅读
Docker的组成镜像(image)：Docker镜像就相当于是一个文件系统，通俗来说就是为镜像用来创建容器的容器(Container)：Docker 利用容器 (Container) 独立运行的一个或一组应用，容器是用镜像创建的运行实例，它可以被启动、开始、停止、删除，每个容器都是相互隔离的、保证安全的平台，可以把容器看做是一个简易版的Linux系统,可以简单用一句话来说，容器就是运行起来的镜像
转载
2024-10-12 14:41:58
15阅读
监控系统查看服务器 系统 的相关信息 时刻监控 系统的运行状态psutilpython system and process utilities安装 psutil工具pip3 install psutil进入交互模式查看python3
import psutil 确认模块已经安装好了常见功能获取CPU信息# 获取 CPU信息
# 获取 CPU的核心数
print(psutil.cpu_count
转载
2024-02-22 14:00:38
581阅读
# HDP Spark 版本
## 引言
Apache Spark 是一个快速、通用、可扩展的大数据处理和分析引擎。它提供了一个简单且高效的方式来处理大规模数据集，并且可以在内存中进行迭代计算。HDP（Hortonworks Data Platform）是一个开源的大数据平台，提供了集成的Hadoop、Spark和其他大数据工具。本文将介绍HDP中的Spark版本，并提供代码示例来帮助读者更好
原创
2024-01-31 04:16:34
57阅读
写在前面知识点开始动手UbuntuJavaHADOOP坑们 写在前面一直在上学，所以我接触到的偏工程的项目不是特别多，大部分都是基础而范范的理论。而在这学期的一门大数据系统和大规模数据分析的课程，让我有机会接触到了一部分目前广泛应用于业界的开源项目，这篇文章就是关于第一次课程作业的，也是我的第一篇博文。希望能真真正正的积累一些东西，也算对自己的学习负责。在文章中尽量少涉及概念，主要记录自己的工作
转载
2024-07-16 18:59:40
33阅读
CPU个数即CPU芯片个数，即主板上CPU的插槽个数。CPU的核心数是指物理上，也就是硬件上存在着几个核心。比如，双核就是包括2个相对独立的CPU核心单元组，四核就包含4个相对独立的CPU核心单元组。（逻辑处理器）线程数是一种逻辑的概念，简单地说，就是模拟出的CPU核心数。比如，可以通过一个CPU核心数模拟出2线程的CPU，也就是说，这个单核心的CPU被模拟成了一个类似双核心CPU的功能。我们从任
转载
2023-07-10 17:47:43
617阅读
Python学习第一天CPU 内存 硬盘 操作系统CPU：计算机的运算和计算中心，相当于人类大脑（飞机）内存：暂时存储数据，临时加载数据应用程序。 特点：速度快（高铁）、断电即消失、造价很高硬盘：磁盘，长期存储数据。 特点：骑车，造价相对低。操作系统：一个软件，连接计算机的硬件与所有软件之间的一个软件。2.Python的历史 Python崇尚优美、清晰
转载
2024-04-07 14:39:27
20阅读
目录核心组件关于kubectl、kubeadm、kubeletkubernetes设计架构控制器概述控制器类型详细介绍原理 核心组件Kubernetes集群包含有节点代理kubelet和Master组件(APIs, scheduler, etc)，一切都基于分布式的存储系统。核心组件：
etcd：保存了整个集群的状态
apiserver：提供了资源操作的唯一入口，并提供认证、授权、访问控
转载
2024-04-25 23:47:15
56阅读
在选购计算机时，CPU是需要考虑到核心因素，它决定了电脑的性能等级。CPU从早期的单核，到现在的双核，多核。CPU除了核心数之外，还有线程数之说，下面就来解释一下CPU相关知识：CPU个数：即CPU芯片个数CPU核心数：指物理上，即硬件上存在着几个核心。例：双核就是包括2个相对独立的CPU核心单元组，四核就包含4个相对独立的CPU核心单元组。线程数：一种逻辑的概念，简单地说，就是模拟出的CPU核心
转载
2024-05-10 15:44:56
118阅读
# HDP配置Hive on Spark
在Hadoop生态系统中，Hive是一种数据仓库工具，它提供了一种类似于SQL的语言来查询和分析大规模数据。而Spark是一个快速、通用的数据处理引擎，它提供了强大的数据处理能力和更快的执行速度。
在HDP中，Hive on Spark是一种集成了Hive和Spark的解决方案，它可以让用户在Hive中使用Spark作为计算引擎来执行查询和分析。本文将
原创
2024-02-24 04:12:13
95阅读
Executor参数spark.executor.cores该参数表示每个Executor（任务） 可利用的CPU核心数。其值不宜设定过大，因为Hive的底层以HDFS存储，而HDFS有时对高并发写入处理不太好，容易造成race condition （竞争状态）。根据我们的实践，设定在3~6之间比较合理。 假设我们使用的服务器单节点有32个CPU核心可供使用。考虑到系统基础服务和HDFS等组件的余
转载
2024-09-29 11:20:20
29阅读
SharedPreferences轻量数据存储有时候我们做的App中不需要本地保存数据，但是有些小的配置参数需要记录，如果中Sqlite就感觉有点太重了，也比较麻烦，所以今天我们来看看Android系统中轻量数据存储SharedPreferencesSharedPreferences介绍 微卡智享SharedPreferences内部是以XML的形式进行数据存储的，采用Key/value的方式
转载
2023-08-18 22:14:36
117阅读
# 理解Spark Core中的num和CPU核心
## 引言
在大数据处理领域，Apache Spark是一种广泛使用的分布式计算框架。理解Spark中的“num”和CPU核心的配置是提升性能的关键。在这篇文章中，我将向你展示如何配置Spark的核心参数，以及在实现过程中需要遵循的步骤。
## 流程概览
在开始之前，我们先看一下整个配置的流程。下面是我们要遵循的步骤：
| 步骤 | 描
Docker: 限制容器可用的 CPU
转载
2021-08-12 15:27:56
233阅读
[文章导读]我们在组装电脑选购硬件的时候，大多数的人群更在乎CPU的性能，除了考虑架构、工艺、单核性能等，还需要考虑核心和线程数量，CPU从早期的单核，发展到现在的双核、多核，除了核心数量之外，还有线程数量。那么CPU核数和线程数有什么用?什么意思?下面电脑系统城小编科普一下CPU核数和线程的关系与区别，来学习一下吧。我们在组装电脑选购硬件的时候，大多数的人群更在乎CPU的性能，除了考虑架构、工艺
转载
2024-04-15 10:38:09
52阅读
# HDP中SPARK的使用
## 1. 流程概述
在HDP中使用SPARK主要包括以下步骤：
| 步骤 | 描述 |
| ---- | ---- |
| 步骤1 | 安装HDP和相关组件 |
| 步骤2 | 配置SPARK环境 |
| 步骤3 | 准备数据 |
| 步骤4 | 编写SPARK应用程序 |
| 步骤5 | 提交和执行应用程序 |
下面将详细介绍每个步骤所需的操作和代码。
原创
2024-02-02 07:27:10
177阅读
安装环境 Ubuntu11.10 hadoop2.2.0 Spark0.9.1 Spark的Standalone安装还得很容易的，但是我看他们写的不是很详细，也可能是我太菜了，有些看不懂，然后经过自己的摸索感觉有点感觉了，写下来记录下。 我下载Spark0.9.1版（目前最新版，和之前的0.8.1目录中有些差别），因为环境为Hadoop2.2.0
