Linux CGroup 全称是 Linux Control Group，是 Linux 内核提供的一个用来限制进程资源使用的功能，支持如 CPU, 内存，磁盘 IO 等资源的使用限制。用户可以使用 CGroup 对单个进程或者一组进程进行精细化的资源限制，具体使用方式可以查看参考文档。目前， Yarn NodeManager 能够使用 CGroup 来限制所有 con
经常和处理器的这些概念打交道，每个的意思都蛮熟，但是这个缩写还是时常出现断片情况，总结一下。 首先是更基础的几个概念： socket：就是主板上插cpu的槽的数目，也即管理员说的”路“，一般做server chip说的dual-socket, 就是双路直连的芯片，主要是因为单芯片性能不够，而限于工艺尺寸又没办法放更多的资源在一颗芯片，所以需要多路。 core： 就是我们平时说的”核“，
转载
2024-05-15 06:01:39
536阅读
Yarn是新一代的MapReduce执行框架（简称为MapReduce2)和老版本的MapReduce执行框架（简称为MapReduce1)相比最大的改变是，将MapReduce1的JobTracker分解为两个部分，资源管理器和作业调度器。MapReduce2有一个全局的资源管理器（ResourceManager），负责计算分配集群的计算资源。资源管理器和多
转载
2024-09-10 10:30:06
21阅读
MapReduce和Yarn技术原理一、MapReduce概述MapReduce基于Google---MapReduce论文设计开发基于函数式（mapper和reducer）编程的思想，用于大规模数据集(大于1TB) 的并行计算和离线计算，特点：（1）函数式编程：程序员仅需描述做什么，具体怎么做交由系统的执行框架处理。（2）良好的扩展性：可通过添加节点以扩展集群能力。高容错性：通过计算迁移或数据迁
转载
2024-01-15 21:39:06
36阅读
计算机基础知识普及篇 CPU性能指标中，以下指标代表什么意思？ 外频：CPU的基准频率，CPU与主板之间同步运行的速度，它决定整个主板的运行速率。 前端总线频率：直接影响CPU和内存数据交换的速度。主板的两个芯片分别是什么芯片，如何区分？具备什么作用？ 北桥：离CPU近，负责CPU、内存、显卡之间的通信； 南桥：离CPU远，负责I/O总线之间的通信。BIOS是什么，它与CMOS是什么关系？ BI
转载
2023-11-15 12:38:14
136阅读
目录Yarn (资源调度器)Yarn 基础框架工作机制Yarn 调度器和调度算法FIFO调度算法容量调度器（Capacity Scheduler）公平调度器（Fair Scheduler）常用命令Yarn 生产核心参数Yarn 案例实操(待续) Yarn (资源调度器)Yarn 是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而MapReduce等运算程序则
转载
2024-01-30 23:04:44
203阅读
## Java的线程和CPU的线程有什么关系
在计算机科学中，线程是指程序执行的最小单位，而CPU的线程则是指CPU能够同时执行的任务单元。在Java中，线程是一种轻量级的子进程，可以实现多任务并发执行。那么，Java的线程和CPU的线程之间究竟有什么关系呢？
### Java的线程与CPU的线程
Java的线程和CPU的线程之间存在一定的关系。Java的线程是由Java虚拟机（JVM）负责
原创
2024-03-30 07:11:49
128阅读
yum -y与 yum有什么区别 在linux中，经常使用yum来进行软件的安装，更新与卸载，那我们会发现，在使用yum的时候，通常有下面两种指令模式： ①yum install xxx ②yum -y install xx 那这两种方式有什么不同呢？对于小白来说这是挺容易困惑的事。
转载
2024-02-04 10:01:32
315阅读
最近项目在用kylin，在搭建开发环境和测试环境后，然后在kylin上建cube，kylin建cube实际就是调用集群的MR跑任务(也可以调用spark作为引擎)，在数据量小或者维度(kylin里面的一个概念)少的时候没问题，后来数据量大或维度多了，就经常出现OOM的问题。 其实一开始就知道是并行度过高的问题，也尝试过在kylin里面调试，但并没有用。后来通过jps查看yarnch
转载
2024-04-09 20:38:01
31阅读
简介 Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架，Spark，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是——Job中间输出结果可以保存在内存中，从而不再需要读写HD
转载
2024-04-01 06:44:12
120阅读
概述jvm就是java虚拟机，他是跨平台的核心 jvm运行.class 文件字节码指令并调用操作系统上层API完成动作。这里再强调下另一个概念进程和线程jvm的堆栈之间的关系 是 线程进程针对操作系统来讲的，而jvm中的堆栈是针对数据结构来讲的，所以线程和堆栈是所属关系，线程中拥有堆(对象、数组) 栈(函数名、局部变量名)。详解jvm内容、内存分配、垃圾回收1) jdk、jre、jvm关系：jdk
转载
2023-06-27 22:52:11
129阅读
在Java编程中，线程的概念是非常重要的，而它与CPU中的线程又有着密切的关系。理解这一点对开发高性能的Java应用至关重要。以下是对“Java中的线程和CPU的线程有什么关系”这一问题的整理与分析。
### 背景定位
在现代企业应用中，处理大量并发请求是必不可少的。在电商领域，比如在双十一购物狂欢节期间，用户的请求量会激增，这就需要高效地利用CPU资源来提升系统的响应能力。为此，采用线程编程
基本概念YARN 的参数调优YARN 的架构MR on YARN 执行流程基本概念 作业、job、application、应用 是同一个意思 container：容器，yarn 的组件，是一个虚拟的概念，将一定的内存和 CPU，比如 1G 内存，一个 vcore 抽象为一块地方，来运行任务YARN 的参数调
转载
2023-11-29 15:50:54
769阅读
创建线程的方式：继承thread、实现runable接口(无返回值)，实现callabled接口（有返回值）用实现接口的方式来创建线程，就是创建了一个多线程的任务，内部还是由thread实现new thread(new runable())线程的生命周期：创建，就绪，运行，阻塞，终止状态：new，block, waiting，timed waiting, terminated block
# Hadoop与Zookeeper的关系
Hadoop是一个开源框架，能够处理大规模数据集的分布式存储和处理。这个框架特别适合处理大数据，因为它具有高度的可扩展性和容错性，而Zookeeper则是一个中央化的服务，提供分布式系统所需的协调服务。在这篇文章中，我们将探讨Hadoop与Zookeeper之间的重要关系，并提供相应的代码示例及流程图。
## Hadoop的工作原理
Hadoop由
# UG和Java的关系
在软件开发的领域，UG（Unigraphics，现称为NX）和Java两者看似是完全不同的概念。然而，实际上它们之间有着密切的联系，特别是在工程设计和开发中的应用。本文将探讨UG与Java的关系，并提供一些简单的代码示例来帮助大家理解。
## 什么是UG？
UG，即Unigraphics，最初由Siemens开发，是一个高端CAD/CAM/CAE软件，广泛应用于机械
目 录一、maridb 和mysql在linux系统中广泛应用二、MySQL数据库三、MariaDB数据库四、MariaDB和MySQL有哪些相同点五、MariaDB和MySQL的不同点一、mariadb 和mysql在linux系统中广泛应用
✅作者简介：大家好，我是Leo，热爱Java后端开发者，一个想要与大家共同进步的男人??✨特色专栏：?本文内容：SpringAOP和AspectJ有什么关系？?个人知识库：，欢迎大家访问我们知道现在开发都是Spring，讲的最多的也是SpringAOP，在说springAOP前，先了解下AOP是什么？AOP是通过 “预编译
原创
2024-05-31 11:09:57
68阅读
MySQL 和 PolarDB 之间，其实并不是完全直接的关系。MySQL 是广泛使用的开源数据库，而 PolarDB 则是阿里云推出的一种云原生数据库，其设计目标是提供更高的性能和可扩展性。可以说 PolarDB 是基于 MySQL 进行的一种优化和增强，以满足云计算环境的需求。
为了更好地介绍 MySQL 和 PolarDB 之间的关系，以及如何在真实的项目中实施备份、恢复和灾难恢复策略，我
前言《NPL基于词典分词(一)》中我们实现了块儿不准的词典分词，词典分词无法消歧。给定两种分词结果“商品 和服 务”以及“商品 和 服务”，词典分词不知道哪种更加合理。但生为人类的我们知道“商品 和 服务”更加合理，只因为我们从小到大接触的都是第二种分词，出现的次数多，所以我们判定第二种是正确地选择。这就是利用了统计自然语言处理。语言模型模型指的是对事物的数学抽象，那么语言模型指的就是对语言现象的
