1、概念在介绍spark的时候我们就介绍过他的一些架构，是基于sparkcore且可以附加各种工具的，sparkstreaming就是其中的工具之一，其概念和spark的RDDs比较类似，他是使用离散化流作为抽象表示出一个DStream的概念，这个DStream就是随时间推移而得到的数据的一个离散化序列。 如图所示，随着时间的推移，会有不同的数据产生，而DStream就会根据设定，每隔一段时间就读
转载
2024-01-14 19:42:12
54阅读
1 2 It provides a way to initialize H2O services on
原创
2022-06-01 05:05:38
90阅读
sparkStreaming与storm的区别： Sparkstreaming处理数据的过程：sparkstreaming：数据是一段时间处理的，是一个微批处理，这个时间是由自己人为设定的。sparkstreaming的吞吐量高。Storm：是纯实时处理数据的，Storm擅长处理简单的汇总型业务，sparkstreaming擅长处理复杂的计算型的数据。Sparkstreaming可以通过
转载
2024-01-16 05:38:53
188阅读
名言： 八小时内求生存，八小时外求发展。 书中偶得： 要想做一个能影响历史的人，需要太多因素：要比所有人更坚定；要比所有人更残忍；要比所有人更冷静；要比所有人更无悔；要比所有人运气更好；要比所有人更疯狂；还要比所有人更坚韧......太多了！ ——摘自《天才在左，疯子在右》 凭什么在职场脱颖而出:
原创
2021-07-22 10:25:38
90阅读
# 什么是 Docker？
Docker是一个开源的应用容器引擎，可以方便地打包、发布和运行应用程序。它使用了操作系统级虚拟化技术，可以在不同的平台上快速部署应用，同时提供了可靠的环境隔离和资源管理。Docker的使用可以提高开发和运维的效率，使应用程序更易于部署、扩展和维护。
## Docker的基本概念
Docker的核心概念包括镜像（Image）、容器（Container）、仓库（Re
原创
2023-07-22 11:09:03
22阅读
数据 和 分布式数据系统基础第一章. 可靠 可拓展 可维护的应用系统可靠性出现意外情况, 硬软件故障,人为失误, 系统应该正常运转, 虽然性能降低, 但是功能正确可拓展性随着系统规模的增长 , 系统应该合理的匹配增长比如Twitter的例子P19描述性能我们关心中位数, 百分位数比如P50代表至少一半用户查询等待时间是在这个时间之内的同样的还有99.99%这种实际上为了提高性能, 我们常常在垂直拓
首先搭建出来的效果如下：1、创建maven工程 下一步填写好对应的信息： 下一步填写对应的maven信息 再下一步选择好保持路径即可创建后的初始状态：2、手动添加需要的文件如下图为添加java和rescources后的效果：注意： 通过如下方式将建的文件夹java变成Sources、将resources变为Resources类型的文件3、在java下新建需要的工程文件4、在resources下新建
转载
2024-10-29 13:01:35
38阅读
1. 3d camerah/w: 单反+projectors/w: 抓图 -> 3d成像 -> 3d显示 --> 3d编辑（？具体要那些功能）--> to 3d printer file难点 1） ui快速切换图像 2）显示和抓图的同步 3）支持拍摄不同角度图像合成完整3d图像 4）要试一下已有的...
转载
2015-06-11 00:43:00
103阅读
2评论
本书出自OReilly的《Spark: The Definitive Guide Big Data Processing Made Simple》，由Matei Zaharia, Bill Chambers两位大佬所写，是2018年2月的第一版（我也不清楚有没有最新版，搜也没搜到第二版）参考本书主页介绍，着眼于Spark 2.0的改进，探索Spark结构化API的基本操作和常用功能，以及用于构建端
转载
2024-02-07 11:14:29
59阅读
Apples and IdeasTime Limit: 2 Seconds Memory Limit: 65536 KB"If you have an apple and I have an apple and we exchange these apples then you and I will still each have one apple. But if yo
原创
2022-11-09 18:12:18
58阅读
第1步：打开setting第2步：搜索想要安装的插件第3步：找到插件，安装第1步：打开setting第2步：搜索想要安装的插件这里以Lombok为例子第3步：找到插件，安装
原创
2021-07-13 11:22:39
140阅读
# 如何为Java类添加IDEA注释
在Java开发中，为类和方法添加注释是一项重要的实践，可以帮助其他开发者更好地理解代码的功能。作为一名刚入行的小白，可能对如何在IDEA中实现注释工作还不太清楚。本文将详细介绍为Java类添加注释的流程，以及具体的代码示例和说明。
## 流程概述
在IDEA中为Java类添加注释的流程大致可以分为以下几个步骤：
| 步骤 | 描述
用Idea搭建我们的Spark环境用IDEA搭建我们的环境有很多好处，其中最大的好处，就是我们甚至可以在工程当中直接运行、调试我们的代码，在控制台输出我们的结果。或者可以逐行跟踪代码，了解spark运行的机制。因此我们选择了idea，当然Idea不是首选，当然也可以用其他工具。因为我们的Spark程序用scala和java写，需要有java环境来作为支撑。因此任何能够支撑java程序的开发工具，应
转载
2023-07-24 19:15:20
56阅读
第1步：打开setting第2步：搜索想要安装的插件第3步：找到插件，安装第1步：打开setting第2步：搜索想要安装的插件这里以Lombok为例子第3步：找到插件，安装
原创
2022-02-08 15:11:55
211阅读
Apples and IdeasTime Limit: 2 Seconds Memory Limit: 65536 KB "If you have an apou
原创
2023-04-19 17:09:25
58阅读
本门课程大量生产上的较佳实践，不仅能为技术选型提供参考， 也能大幅度提升个人的知识和技术水平，学完可以胜任PB级大数据的开发和优化，面试中说出来都是亮点， 是跳槽、转型、加薪的利器，让你轻松实现华丽转身。只要你有一点Hadoop、Spark和Scala基础，并且能保持学习的热情， 那么就跟随老师来吧。本门课程全程实操，不用担心基础不好， 讲师将会从每个项目的演进过程详细分析， 手把手搭建开发环境，
Spark的认识（四）1、本文内容1、掌握SparkStreaming底层原理2、掌握Dstream常用操作3、掌握SparkStreaming整合flume4、掌握SparkStreaming整合kafka2、SparkStreaming概述2.1 什么是sparkStreamingSpark Streaming makes it easy to build scalable fault-tol
转载
2023-10-30 19:00:20
81阅读
1.实时插入mysql时遇到的问题，使用的updateStaeBykey有状态的算子 必须设置checkpoint 如果报错直接删掉checkpoint在创建的时候自己保存偏移量即可 再次启动时读取正确偏移量就行了 管他checkpoint 无关的事了实时插入时有个问题是怎么进行mysql的数据覆盖 掉一批次的值：1.使用局部更新的sql ：insert into
转载
2023-11-28 20:44:39
92阅读
最近把一些sql执行从hive改到spark，发现执行更慢，sql主要是一些insert overwrite操作，从执行计划看到，用到InsertIntoHiveTablespark-sql> explain insert overwrite table test2 select * from test1;
== Physical Plan ==
InsertIntoHiveTable Me
转载
2023-06-02 14:19:15
108阅读
