面试题目 （1）reduceByKey 和 groupByKey 的区别？ 从 shuffle 的角度：reduceByKey 和 groupByKey 都存在 shuffle 的操作，但是 reduceByKey可以在 shuffle 前对分区内相同 key 的数据进行预聚合（combine）功能，这样会减少落盘的数据量，而 groupByKey 只是进行分组，不存在数据量减少的问题，re
转载
2023-08-21 03:04:38
79阅读
点击上方“民工哥技术之路”选择“星标”每天10点为你分享不一样的干货作者：sparkdev出处：http://www.cnblogs.com/sparkdev/默认情况...
转载
2021-07-08 11:32:55
134阅读
转自https://www.cnblogs.com/sparkdev/p/7200004.html
转载
2020-08-18 16:37:40
749阅读
https://www.cnblogs.com/sparkdev/p/9694103.htmlhttps://m.jb51.net/article/98188.htm
转载
2019-06-01 23:02:56
802阅读
作者：sparkdev出处：http://www.cnblogs.com/sparkdev/像 Jenkins 这样的系统，使用的过程就是配置文件变更的过程。如果能够对配置文件的变更进行跟踪管理，将极大的提高系统的可用性。Job Configuration History 插件就是这么一款实用而精巧的组件。很显然，相对于它的功能而言，它的名字实在是太低调了。因为它不仅能处理 Job
转载
2021-07-21 16:50:38
547阅读
作者：sparkdev
来源：www.cnblogs.com/sparkdev
Docker和容器技术的发展可谓日新月异，本文试图以全局视角来梳理一下Docker目前的生态圈。
Docker自发布以来发生了很多的变化，有些方面的变化还非常大。对于技术爱好者来说，我们喜欢酷毙新的功能，喜欢旧功能的改善。但对生产环境中的使用者来说，他们其实不太喜欢这种频繁的变化。不管怎样，我们都有必
转载
2021-07-08 13:08:51
110阅读
点击上方“民工哥技术之路”选择“星标”
每天10点为你分享不一样的干货
作者：sparkdev
来源：www.cnblogs.com/sparkdev
Docker和容器技术的发展可谓日新月异，本文试图以全局视角来梳理一下Docker目前的生态圈。
Docker自发布以来发生了很多的变化，有些方面的变化还非常大。对于技术爱好者来说，我们喜欢酷毙新的功能，喜欢旧功能的改善。但对生产环
转载
2021-07-08 11:30:55
182阅读
参考链接：sparkdev1. journalctl 常用命令查看所有日志（默认情况下 ，只保存本次启动的日志）journalctl 查看内核日志（不显示应用日志）
原创
2022-05-30 20:02:47
1354阅读
/dev/tty代表当前tty，包括伪终端pts/dev/tty0和/dev/console代表当前tty，不包括伪终端用echo测试验证如echo"test">/dev/console参考：https://www.cnblogs.com/sparkdev/p/11460821.htmlhttps://unix.stackexchange.com/questions/60
原创
2020-12-07 11:29:08
1464阅读
【转贴】sparkdev大神的博客， 关于 systemd的配置文件的 介绍， 自己之前二进制安装 k8s 时 超过一个 service文件 但是当时不明不白的。 现在再学习一下大神的文章 的确牛B 。 systemd 编写服务管理脚本 https://www.cnblogs.com/sparkde
转载
2021-08-24 10:29:43
582阅读
作者：
sparkdev
在容器的使用过程中，如果能及时的掌握容器使用的系统资源，无论对开发还是运维工作都是非常有益的。幸运的是 docker 自己就提供了这样的命令：docker stats。默认输出docker stats 命令用来显示容器使用的系统资源。不带任何选项执行 docker stats 命令： $ docker stats 默认情况下，stats 命
转载
2023-08-22 17:38:46
116阅读
“民工哥技术之路”每天10点为你分享不一样的干货 作者：sparkdev默认情况下容器可以使用的主机 CPU 资源是不受限制的。和内存资源的使用一样，如果不对容器可以使用的 CPU 资源进行限制，一旦发生容器内程序异常使用 CPU 的情况，很可能把整个主机的 CPU 资源耗尽，从而导致更大的灾难。本文将介绍如何限制容器可以使用的 CPU 资源。限制可用的 CPU 个数在 dock
转载
2022-03-18 14:50:14
242阅读
目录会话创建会话获取会话首进程的进程组ID参考文献会话会话这个名词在百度百科的解释是：会话是指一个终端用户与交互系统进行通讯的过程。但是笔者认为这个解释太过抽象了。后来有查看了sparkdev的博文。他给的解释比较形象：我们常见的Linux session一般是指shell session。Shell session 是终端中当前的状态，在终端中只能有一个 session。当我们打开一个新的终端时
