GPU和CPU的区别设计目标CPU：处理各种不同的数据类型，同时又要逻辑判断又会引入大量的分支跳转和中断的处理GPU：处理类型高度统一的、相互无依赖的大规模数据，不需要被打断的纯净的计算环境GPU的主要参数解读显存占用GPU利用率核心(显示芯片) 性能好坏直接决定了显卡性能的好坏 主要任务就是处理系统输入的视频信息并将其进行构建、渲染等工作核心频率 显示核心的工作频率 其工作频率在一定程度上可以反
转载
2023-08-30 19:19:35
157阅读
一, Spark概述1.1 什么是SparkSpark是一种基于内存的快速,通用,可扩展的大数据分析计算引擎;“Apache Spark” is a unified analytics engine for large-scale data processing.1.2 Spark && Hadoop1.2.1 Spark 速度快Spark运行速度相对于hadoop提高100倍;A
转载
2024-08-16 13:55:22
154阅读
一、官网介绍 1 什么是Spark官网地址：http://spark.apache.org/Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行计算框架，Spark拥有Hadoop MapReduce所具有的优点；但不同于MapRedu
转载
2023-12-25 12:33:13
81阅读
文章目录（一）Spark SQL（二）SParkSession（三）DataFrame常见算子操作（四）DataFrame的sql操作（五）RDD转换为DataFrame（1）反射方式（2）编程方式（六）load和save操作（1）load操作（2）SaveMode（七）内置函数 （一）Spark SQLSpark SQL和我们之前讲Hive的时候说的hive on spark是不一样的。 hi
转载
2023-08-08 07:23:21
174阅读
redis-shake是阿里开源的redis数据工具 , 可以导出、导入数据。我主要是用来把老数据(单机版)的rdb文件导入新的redis集群中 一 . 下载包并解压https://github.com/alibaba/RedisShake/releases注 : 本文使用的是 release-v2.0.2-20200506 版本直接下载本人百度云也有共享.可直接下载链接：https:/
转载
2023-06-30 13:03:33
189阅读
问题导读1.spark中什么是Application？ 2.spark中什么是Driver Program？ 3.Executor负责什么？ 4.什么是Stage？ 5.客户Spark程序（Driver Program）来操作Spark集群是通过哪个对象来进行的？ 6.创建SparkContext一般要经过几个步骤？ 7.Spark的运行模式取决于什么？ 8. RDD的共享变量有几种
转载
2024-08-14 18:35:45
23阅读
本文介绍在计算机集群上如何启动和运行Shark。如果对Amazon EC2上运行Shark感
转载
2022-12-16 17:55:47
249阅读
# Redis-Shark: 一个强大的Redis性能分析工具
## 引言
在现代应用程序中，缓存是提高性能和扩展性的关键组件之一。Redis是一个流行的开源内存数据库，它被广泛应用于缓存和数据存储。然而，随着应用程序规模的增长，Redis的性能问题也逐渐浮现出来。为了更好地理解和解决这些性能问题，我们可以使用一个强大的工具，叫做Redis-Shark。
Redis-Shark是一个用于Re
原创
2023-08-14 16:56:46
289阅读
# 如何在Android中使用Shark
在这篇文章中，我们将逐步探讨如何在Android项目中使用Shark。这是一款功能强大的工具，用于捕获和分析Android应用程序的网络请求。我们将通过简单的流程表和详细的代码实例来帮助你理解每个步骤。
## 目标流程
以下是实现“Android Shark 使用”的基本步骤：
| 步骤 | 描述 |
|------|------|
| 1
4. Spark Shark Shark即Hive on Spark，本质上是通过Hive的HQL解析，Shark在Spark1.0.0由于整合度和性能等原因
原创
2022-06-15 17:35:14
209阅读
目录8.协同过滤(Collaborative Filtering)8.1交替最小二乘ALS8.2显式和隐式反馈8.3缩放正则化参数8.4冷启动策略8.5代码示例:9.频繁模式挖掘(Frequent Pattern Mining)FP-GrowthPrefixSpan10.ML优化：模型选择和超参数调优模型选择（又称超参数调优）交叉验证(Cross-Validation)训练验证拆分(Train-V
转载
2023-10-18 16:34:52
202阅读
C. Wet Shark and Flowers time limit per test 2 seconds memory limit per test 256 megabytes input standard input output standard output There are n sha
转载
2016-02-01 10:25:00
122阅读
2评论
记录一次解决挖矿病毒的过程（进程：susupdate，networkservice）昨天晚上突然收到阿里云的警报提醒，服务器又被攻击，开始还没当回事，晚上测试的时候发现服务器变的异常卡顿。然后进入后台查看，发现CPU直接飙升到100%… 文章目录1.找出病毒进程2.根据进程号找到运行文件的位置3.删除病毒进程4.删除病毒文件4.1 文件无法正常删除如何解决？5.删除定时任务（重要！！）6.修改/r
转载
2023-08-09 21:29:11
54阅读
原创
2010-12-20 10:40:04
553阅读
String：字符串 List：列表 Hash：哈希表 Set：无序集合 Sorted Set：有序集合 bitmap：布隆过滤器 GeoHash：坐标，借助Sorted Set实现，通过zset的score进行排序就可以得到坐标附近的其他元素，通过讲score还原成坐标值就可以得到元素的原始坐标 HyperLogLog：统计不重复数据，用于大数据基数统计 Streams：内存版的kafka常用的
转载
2023-12-16 11:28:58
74阅读
time limit per test2 secondsmemory limit per test256 megaby
原创
2022-06-29 10:05:19
82阅读
Redis实战Redis客户端客户端通信原理客户端和服务器通过 TCP 连接来进行数据交互， 服务器默认的端口号为 6379 。客户端和服务器发送的命令或数据一律以 \r\n (CRLF 回车+换行)结尾。如果使用 wireshark 对 jedis 抓包:环境:Jedis 连接到虚拟机 202，运行 main，对 VMnet8 抓包。过滤条件:ip.dst==192.168.8.202 and
转载
2023-12-13 09:26:20
244阅读
一、redis-shake简介 1.1、迁移工具对比redis-migrate-tool redis-migrate-tool是唯品会开源的一款Redis异构集群之间的数据实时迁移工具，不过已经有两年没有更新了，我个人觉得这是一款比较完善的工具，特别是数据校验。redis-shake RedisShake是阿里云基于豌豆荚开源的redis-port进行二次开发的一个支持Redis异构集群实时同步的
转载
2023-10-20 22:08:48
381阅读
在这个博文中，我们将探讨“shark自动化测试”的相关问题，涉及到背景定位、参数解析、调试步骤、性能调优、排错指南和生态扩展等多个维度。希望能帮助大家更好地理解和解决相关问题。
### Shark自动化测试简介
“Shark自动化测试”是一种常用于持续集成和持续交付（CI/CD）的测试框架，它针对软件的各个领域进行快速、高效的测试。其优势在于轻松集成到现有的开发流程中，提高了开发效率和软件质量。
好久没有写博客 现在重新捡起来 记录工作中遇到的问题 方便以后在遇到类似的问题也有一个参考。 背景：有一天生产服务器redis cpu 频繁报警 单核cpu 所以在想是不是业务量上来了。确定之后发现不是这个问题。排查思路：1. 查看监控cpu 最近三天 七天的历史状态 发现cpu目前是异常状态，比往常要高很多 2.
转载
2023-06-14 21:59:36
43阅读
