开源集群运算框架 Spark 的技术架构及入门知识
Spark学习笔记0——简单了解和技术架构笔记摘抄自 [美] Holden Karau 等著的《Spark快速大数据分析》目录Spark学习笔记0——简单了解和技术架构什么是Spark技术架构和软件栈Spark CoreSpark SQLSpark StreamingMLlibGraphX集群管理器受众起
转载
2023-12-12 23:58:39
66阅读
大数据的浪潮风靡全球的时候，Spark火了。在国外 Yahoo!、Twitter、Intel、Amazon、Cloudera 等公司率先应用并推广 Spark 技术，在国内阿里巴巴、百度、淘宝、腾讯、网易、星环等公司敢为人先，并乐于分享。在随后的发展中，IBM、Hortonworks、微策略等公司纷纷将 Spark 融进现有解决方案，并加入 Spark 阵营。Spark 在IT业界的应用可谓星火燎
转载
2021-01-26 17:35:00
171阅读
2评论
本文展现第3章第四部分的内容： 3.9 启动测量系统MetricsSystemMetricsSystem使用codahale提供的第三方测量仓库Metrics，有关Metrics的具体信息可以参考附录D。MetricsSystem中有三个概念：q Instance：指定了谁在使用测量系统；
q Source：指定了从哪里收集测量数据；
q Sink：指定了往
转载
2024-09-27 13:55:24
44阅读
17.1 Spark介绍17.1.1 什么是Spark概念理解并行计算框架
Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。 Spark 是加州大学伯克利分校的AMP实验室所开源的类 Hadoop MapReduce 的通用并行计算框架任务的中间结果可以缓存在内存中，减少磁盘数据交互
Spark 拥有 Hadoop MapReduce 所具有的优点；但
转载
2024-10-26 20:03:52
30阅读
Spark组件是基于分布式资源引擎层（Yarn等）和分布式存储层（HDFS等）之上的一个组件，Spark本质上是一个计算引擎，负责计算的，根据不同计算场景划分出了SQL、Streaming、MLib、GraphX、R等模块
转载
2020-03-24 11:06:00
98阅读
一、 Spark概述1． 什么是Spark Spark是一种快速、通用、可扩展的大数据分析引擎，2009年诞生于加州大学伯克利分校AMPLab，2010年开源，2013年6月成为Apache孵化项目，2014年2月成为Apache顶级项目。目前，Spark生态系统已经发展成为一个包含多个子项目的集合，其中包含SparkSQL、Spark Streaming、GraphX、MLlib等子项目，Spa
转载
2023-09-04 10:49:29
124阅读
一、spark工作流程 当一个spark应用被提交时，根据提交参数在相应的位置创建driver进程。 Driver进程启动后，会初始化sparkContext对象，会找到集群master进程，对spark应用程序进行注册 当master收到spark程序的注册申请之后，会发送请求给worker,进行资源的调度和分配 worker收到master的请求后，会为
转载
2023-08-13 20:33:00
101阅读
android技术栈开发工具Android studio开发语言Java自动化构建gradleapp技术组织架构基础层基础框架层专注于技术领域实现，提供app公有特性，避免重复制造轮子。注重性能和稳定性。需要不断稳固提高健壮性。 1. 网络通信 网络通信底层选型的是成熟框架okhttp，上层则是自有封装库，针对原生框架进行了请求和回调上的封装。 2. 数据库操作 少于5张表的单表CRUD工
转载
2023-08-04 17:37:59
291阅读
Vue技术栈(全家桶)第 1 章：Vue核心1. 1 .Vue简介1. 1. 1 .官网1. 英文官网:https://vuejs.org/
2. 中文官网:https://cn.vuejs.org/1. 1. 2 .介绍与描述1. 动态构建用户界面的 渐进式 JavaScript框架
2. 作者:尤雨溪1. 1. 3 .Vue的特点1. 遵循 MVVM 模式2. 编码简洁,体积小,运行效率高,适
转载
2024-01-04 18:26:35
101阅读
BDAS 伯克利数据分析栈1.spark的基础内容2.spark机器学习3.spark图挖掘4.spark深度学习5.alluxio系统介绍 1.spark与bdashadoop源于google，时间为2004-2006的3个论文。spark生于加州大学伯克利分析的AMP实验室 2009 spark正式发布到2012年spark有0.6版本。AMP 于2016关闭，重新建立RISE实验室
kratos系列 ***kratos项目中使用分布式锁介绍 基于etcd实现的分布式锁/kratos项目中使用gorm的Transaction的方法介绍 ***** 事务开始时使用tx //使用依赖注入初始化Transaction /使用ctx传递tx / 不能在事务中并发去select / 可以在事务中并发去调用更
Hadoop首先看一下Hadoop解决了什么问题，Hadoop就是解决了大数据（大到一台计算机无法进行存储，一台计算机无法在要求的时间内进行处理）的可靠存储和处理。HDFS，在由普通PC组成的集群上提供高可靠的文件存储，通过将块保存多个副本的办法解决服务器或硬盘坏掉的问题。MapReduce，通过简单的Mapper和Reducer的抽象提供一个编程模型，可以在一个由几十台上百台的PC组成的不可靠集
转载
2021-03-04 14:18:26
182阅读
2评论
【技术栈】 算法（海量数据处理） C++（STL源码&对象模型&反汇编知识&多态的实现原理） Linux（多进程同步、I/O模型、服务器架设） 系统编程（apue） socket编程（unp） 网络：TCP/UPD/HTTP（卷1） 底层（CSAPP、Linux内核设计与实现） shell/pyth
转载
2017-09-28 00:11:00
169阅读
2评论
技术栈技术栈平台相关gradlespring bootspring cloud~~apache dubbo~~http re
原创
2022-07-21 15:10:11
229阅读
在python的基础上，加入了自己的理解，修改一些错误。最近准备去一线城市谋求发展，所以打算重新整理一下，顺便加深一下记忆。Table of ContentsPython语言特性1 Python的函数参数传递2 Python中的元类(metaclass)3 @staticmethod和@classmethod4 类变量和实例变量5 Python自省6 字典推导式7 Python中单下划线和双下划线
bang's blog
APPs 存档 作品 关于
iOS 开发技术栈与进阶2017-2-28 最近有一些开发朋友问我应该怎样提升自己的能力，回想起来做了这么久 iOS 开发，我也有过那种“让我做一个功能实现个需求我会做，但接下来怎样提高我不知道。”的时期，这里尝试列一下 iOS 开发的相关技术，再说说在学习进阶上我的一些想法。iOS 技术栈这里按我的理解给 iOS 相关技术分个类，以工程实
python函数进阶函数嵌套函数对象命名空间与作用域闭包函数装饰器一、函数嵌套函数的嵌套定义def func1():
print('from func1')
def func2(): #func2=内存地址
print('from func2')
print(func2)
func1()函数的嵌套调用# 比较两个数的大小
def max2(x,y):
转载
2023-12-01 10:41:35
162阅读
什么是技术栈:技术栈快速总结了开发人员与应用程序交互所需的编程语言，框架和工具。 由于大多数编码语言具有众所周知的性能属性和限制，因此技术栈暗示了整个应用程序的优缺点。例如，如果程序员知道软件服务是基于PHP构建的，那么他们知道它的代码库可能很大并且很难调试。 PHP是一种众所周知的低效编码语言，但在大多数流行的Web应用程序中都使用。 如果程序员知道应用程序是使用Ruby on Rails构建的
转载
2024-03-29 13:32:40
107阅读
文章目录1、B/S 架构以及 C/S 架构2、HTTP2.1 请求数据的格式2.2 响应数据的格式2.3 常见的状态码3、Tomcat3.1 了解Tomcat3.2 Web 服务器的作用？3.3 idea maven + web 项目创建3.3.1 打包出现错误解决问题描述产生原因解决方式如下，在 pop 文件中进行配置：3.3.2 idea 里面创建出来的目录结构3.4 使用 idea 进行项目
转载
2023-10-18 16:52:18
139阅读
Java基础：Java概述配置环境命令行基本操作注释JavaAPI文档关键字和保留字标识符变量运算符程序流程控制数组面向对象编程OOP特征一：封装与隐藏OOP特征二：继承OOP特征三：多态异常处理多线程Java常用类枚举类/注解Java集合泛型IO流网络编程Java反射机制Java新特性 Java概述语言发展：机器语言$->$汇编语言$->$高级语言
Java是一种高级语言。无论是从
转载
2024-01-18 13:59:26
156阅读
