现在OpenCL的Spec是1.1，随着硬件的发展，相信OpenCL会支持更多的并行计算特性。基于OpenCL的并行计算才刚刚起步，…
1、workgroup到硬件线程
OpenCL中，Kernel函数被workgroup中的workitem（线程，我可能混用这两个概念）执行。在硬件层次，workgroup被映射到硬件的cu（compute unit）单元来执行具
转载
2024-04-29 19:03:52
87阅读
Lucene：一个开源的搜索库Engine：屏蔽 Lucene 操作细节的抽象层Http：对外提供 restful api，让不同开发语言的应用都可以接入空节点现在我们屏蔽 Elasticsearch 的底层实现，其实一个 Elasticsearch 实例对于我们来说，就是一个节点，一个可以提供数据搜索和探寻能力的节点：加点东西Mysql 往数据库插入数据之前，需要先创建表，指定字段、主键等等，E
转载
2024-07-24 11:34:13
45阅读
Hadoop简介1 Hadoop是什么2 优势3 Hadoop1.x,2.x,3.x区别4 Hadoop组成4.1 HDFS 架构概述4.2 Yarn架构概述4.3 MapReduce架构概述4.4 HDFS、YARN、MapReduce三者关系5 大数据技术生态体系6 hadoop运行模式7 同步工具7.1 scp（secure copy）安全拷贝7.2 rsync远程同步工具7.3 xsyn
转载
2023-11-29 00:46:54
56阅读
1. Hadoop是什么Hadoop 是一个开源软件框架，用于在商用硬件集群上存储数据和运行应用程序。它为任何类型的数据提供海量存储，巨大的处理能力以及处理几乎无限的并发任务或作业的能力。像IT圈的其他服务一样 Hadoop也有自己的吉祥物，是一个黄色小象 如下2. Hadoop的特点和组件2.1 优点和缺点Hadoop的优点Hadoop通过可用的计算机集群分配数据，完成存储和计算任务，这些集群可
转载
2023-07-14 15:27:21
151阅读
在大规模的生产环境中，实时监控 Kafka 集群的性能指标是确保系统稳定运行的重要手段。本文将介绍如何使用 JMX（Java Mana
原创
2024-06-15 00:25:00
348阅读
随着人工智能大潮的风起云涌， 视频识别，语音识别，图像识别，自然语言翻译，AI画匠等基于GPU的在线预测也在遍地开花。而弹性伸缩对于人工智能服务来说尤为重要，一方面是业务压力峰值时巨大的计算力需求；另一方面当业务空闲时，GPU的空耗成本也是大家很难承受的。同时在与客户的交流中，我们也发现客户对于GPU资源的弹性伸缩也有很强的定制化需求，希望能自主控制触发条件，并在此基础上和自身业务指标相结合等等。
1.CPU（1）CPU指标：CPU的主要指标是主频和线程，当然也有一些其他因素影响，这里仅分析这两个主要的指标。线程：Intel Alder Lake 12代采用大小核架构，P核/大核 基于Golden Cove架构，最多8个；E核/小核 基于Gracemont架构，最多8个；（2）目前主流硬件分析：型号主频线程功耗i9-12900K基础频率 3.2 GHz，最高睿频5.2GHz8 E-core，
转载
2024-03-24 13:25:10
127阅读
1.1 什么是性能？性能是用来描述产品除功能外的所具有的速度,效率和能力的综合评价。但在日常使用中感受性能的主体是人，不同的人对于同样的产品有不同的主观感受，以及关注的视角也不同。所以就需要一套标准且可量化的性能指标来定义一款产品的性能状况。1.2 衡量性能的指标1） 大致分类响应时间：响应时间是指系统对请求作出响应的时间。吞吐量：吞吐量是指系统在单位时间内处理请求的数量，反映的是服务器承受的压力
转载
2024-04-02 09:37:43
0阅读
本章解释如何使用适用于Linux的大量性能工具及每个工具中信息的意义。即使已经使用top或者sar，应该养成使用这些工具的习惯。当然要知道如何诊断性能问题，但也应该定期寻找可能指示问题的关键指标的变化。可以使用这些工具衡量新应用程序对性能的影响。就如同查看车内的温度表一样，要注意Linux系统的性能指标。本章介绍的工具有：· top· sar·&n
1. CPU Time（CPU时间） 定义：CPU实际执行代码所花费的时间（包括用户态和内核态时间）。 细分： User Time：代码在用户态（
我们讨论的软件性能关注点不在于软件所完成的特定功能，而是完成额定功能时所表现出来的及时性、可靠性、稳定性上。由于软件操作的主体是人，不同的人对于同一软件功能有着不同的主观体验，所以不同的人对性能的考察角度和要求也不同。泛泛讲指标一般有：响应时间、吞吐量、并发连接数、资源利用率等。对不同的应用系统和不同的应用场景，将会有明确的性能指标（不考虑系统和应用场景谈性能指标是没有意义的）。关于性能指标的定义
转载
2023-10-27 16:50:09
163阅读
## Spark集群当前性能指标
Spark是一个开源的分布式计算系统，广泛应用于大规模数据处理和机器学习等领域。Spark的性能对于提高计算速度和效率至关重要。本文将介绍Spark集群的当前性能指标，包括内存使用情况、磁盘IO速度、网络吞吐量和CPU利用率等，并提供相应的代码示例进行演示。
### 内存使用情况
Spark集群的内存使用情况对于计算任务的效率具有重要影响。通常，Spark会
原创
2023-09-25 16:06:16
196阅读
引言现在深度学习非常火爆，以前也零星学习过一些机器学习方面的知识，但是一直没有用深度学习真正去做过什么项目，最近想用深度学习去做一些图像检测和识别方面的项目，逼迫自己去动手学习一些流行的深度学习开源框架，据说Caffe是最容易上手的，因此首先得把Caffe安装起来，本文就是纪录自己在windows环境下搭建Caffe的全过程，参考了网上一些博客，碰到过一些别人没有碰到过的坑，也避开了别人曾经碰到的
GPU：负责整个渲染流水线。它会从处理CPU传递过来的模型数据开始，进行Vertex Shader、Fragment Shader等一系列工作，最后输出屏幕上的每个像素。因此它的性能瓶颈包括顶点、像素、显存等因素有关。GPU的瓶颈主要存在在如下的方面：1.像素分辨率，可以简单的理解为图形处理单元每秒渲染的像素数量，可以在unity的Player Settings中设置降低分辨率。2.像素的复杂度，
转载
2024-04-05 09:20:14
81阅读
模型性能指标 作者：elfin 资料来源：mocro wen 1、前言--混淆矩阵 混淆矩阵主要预测-实际之间的混淆程度，并通过各种指标对这些结果的优劣程度进行度量。 1.1 二分类的混淆矩阵 表1 二分类混淆矩阵 这里需要注意： 混淆矩阵的横坐标是预测值，纵坐标是真实值； 与笛卡尔坐标系相比，纵坐
转载
2021-05-26 22:52:14
994阅读
QPSTPSRT
原创
2022-03-23 17:06:50
694阅读
1软件性能测试概念 软件性能测试指为了验证软件系统性能表现而开展的一系列测试活动，可以从狭义和广义两个角度来理解：狭义的软件性能测试纸为验证软件性能指标、评估系统服务能力、推荐系统软硬件配置、完成系统性能优化等而开展的测试活动；广义的软件性能测试指在测试过程中需要相关性能测试方法配合完成的系统测试活动，包括可靠性测试、可恢复性测试、稳定性测试、兼容性测试、可扩展性测试等。2常用性能指标2.1 响
ActiveMQ 是Apache出品，最流行的，能力强劲的开源消息总线。ActiveMQ 是一个完全支持JMS1.1和J2EE 1.4规范的 JMS Provider实现,尽管JMS规范出台已经是很久的事情了,但是JMS在当今的J2EE应用中间仍然扮演着特殊的地位。 主要特点： 1. 多种语言和协议编写客户端。语言: Java, C, C++, C#, Ruby, Perl, Python, P
性能指标峰值 简述 彻底理解了性能指标(1)(2)的内容，这一篇随笔其实就不用看了，而且大家也能猜到这一篇内容是啥：二八原则 性能指标不要硬性的往那些性能指标上去靠，要根据业务来，熟悉业务，明白了解你们的项目性能的点在哪，是用户量，QPS，TPS，PV等，哪个是重点，哪个会给用户带来性能瓶颈。 根据 ...
转载
2021-08-21 15:47:00
1826阅读
1.us(user)：表示 CPU 在用户运行的时间百分比，通常用户 CPU 高表示有应用程
原创
2022-12-01 16:49:18
361阅读
