一、 Spark概述1. 什么是Spark Spark是一种快速、通用、可扩展大数据分析引擎,2009年诞生于加州大学伯克利分校AMPLab,2010年开源,2013年6月成为Apache孵化项目,2014年2月成为Apache顶级项目。目前,Spark生态系统已经发展成为一个包含多个子项目的集合,其中包含SparkSQL、Spark Streaming、GraphX、MLlib等子项目,Spa
Spark组件是基于分布式资源引擎层(Yarn等)和分布式存储层(HDFS等)之上一个组件,Spark本质上是一个计算引擎,负责计算,根据不同计算场景划分出了SQL、Streaming、MLib、GraphX、R等模块
转载 2020-03-24 11:06:00
98阅读
一、spark工作流程 当一个spark应用被提交时,根据提交参数在相应位置创建driver进程。 Driver进程启动后,会初始化sparkContext对象,会找到集群master进程,对spark应用程序进行注册 当master收到spark程序注册申请之后,会发送请求给worker,进行资源调度和分配 worker收到master请求后,会为
整理下目前涉及到python技术和工具(用过或了解, 其他后续用到再补充)编辑器Vim兴趣可以看看 k-vim 适合Python/Golang开发本地环境pip/easy_install 包管理ipython/ipdbWeb 框架Python Web 框架非常多……个人偏好[分先后]flask 轻量! 可以灵活组合各类组件进行开发(第三方组件很丰富), 简单高效, 便于快速开发和
1 java基础: 1.1 算法1.1 排序算法:直接插入排序、希尔排序、冒泡排序、快速排序、直接选择排序、堆排序、归并排序、基数排序1.2 二叉查找树、红黑树、B树、B+树、LSM树(分别有对应应用,数据库、HBase)1.3 BitSet解决数据重复和是否存在等问题 1.2 基本2.1 字符串常量池迁移2.2 字符串KMP算法2.3 equals和hashcode2.4 泛型、异常、反射2
转载 2023-07-24 15:57:37
146阅读
# Java技术概述与实现指南 在软件开发领域,Java是一种广泛使用编程语言。了解Java技术对新手开发者来说至关重要,它能帮助你更好地构建、维护和扩展应用程序。本文将逐步指导你如何理解和使用Java技术。 ## Java技术概览 Java技术主要包含以下几个层级技术,每个层级都有特定工具和框架,适用于不同开发需求。 ### Java技术组成 | 层级
原创 7月前
95阅读
# Java技术实现流程 ## 1. 概述 在开始了解Java技术之前,我们首先需要明确整个学习流程和步骤。在这篇文章中,我将介绍如何实现Java技术,并为每个步骤提供相应代码和解释。 ## 2. 学习流程 下表显示了学习Java技术整个流程和步骤: | 步骤 | 描述 | | --- | --- | | 1 | 学习Java基础 | | 2 | 掌握Java中面向对象
原创 2023-12-21 06:52:22
65阅读
基于JavaWeb应用开发技术已成为目前Web开发主流技术,作为一名Java程序员,到底要掌握什么技术才能完成一个JavaWeb项目呢?小编和一位十年经历程序员要来这份Java程序员常用技术,一起学起来吧~先放一张技术思维导图:什么是技术?开发一个普通管理系统,会用到SprinBoot+MyBatis+Spring+Mysql+Redis+RabbitMq+Nginxue+Shiro
前言、队列和优先级队列都是非常基础数据结构。Python作为一种“编码高效”语言,对这些基础数据结构都有比较好实现。在业务需求开发过程中,不应该重复造轮子,今天就来看看些数据结构都有哪些实现。0x00 (Stack)是一种LIFO(后进先出)数据结构,(push)、出(pop)两种操作,且只能操作顶元素。在Python中有多种可以实现数据结构。1、listlist是P
整理下目前涉及到python技术和工具(用过或了解, 其他后续用到再补充)编辑器Vim兴趣可以看看 k-vim 适合Python/Golang开发本地环境pip/easy_install 包管理ipython/ipdbWeb 框架Python Web 框架非常多……个人偏好[分先后]flask 轻量! 可以灵活组合各类组件进行开发(第三方组件很丰富), 简单高效, 便于快速开发和
JAVA程序员技术、业务、工具 目录: 1、技术 2、业务 3、工具 今天是实习期以来将近100天了,感谢公司给予期望与同事们提供帮助。好久没更新博客了,一是懒于写,二是文章写得不够深刻、自身知识体系还较零乱、理解不够全面和精湛,甚至存在偏差和误导,距离小目标的实现之路还很远很远,现总结一下我自身这三个月来作为一名研发部->项目组->实习JAVA开发工程师用到一些技
常用技术1. web2.JavaWeb3. MVC4. SpringMVC5. SSM6. spring 家族1. spring2. springboot3. springcloud7. 数据持久化1. mybatis2. mybatis-plus3. mysql8.技术 / 中间件9.上下文对象意义(/作用)10.同步和异步11.maven 1. webweb: 将给定资源以页面的形式
转载 2023-05-31 15:31:47
552阅读
Jetpack Compose: Jetpack Compose是一种全新声明式UI框架,用于构建Android应用用户界面。它使UI开发更加简单和直观,通过使用Kotlin语言来创建交互式和动态UI组件。Kotlin Multiplatform: Kotlin Multiplatform允许开发者在多个平台(如Android、iOS、Web等)上共享业务逻辑代码。这有助于减少重复编写代码
整理下目前涉及到python技术和工具(用过或了解, 其他后续用到再补充)编辑器最常见: vim / SublimeText2 / PyCharmVim兴趣可以看看 k-vim 适合Python/Golang开发本地环境pip/easy_install 包管理viertualenv + virtualenvwrap
转载 2023-08-16 21:35:38
132阅读
Web技术最重要载体便是服务器,服务器运行在公共网络环境下,为广大用户提供网页浏览、信息通讯、消息推送等服务,从最开始硬件服务器到虚拟主机技术,再到虚拟化技术出现和云概念兴起,绝大部分都是基于Linux操作系统,因此web工程中,Linux也是一枚举足轻重角色,不过掌握一门Linux技术也是重中之重,个人认为《Linux就该这么学》这本书拿来入门还是挺不错,下面将开始介绍Linu
学习这些 Python 技能以超越其他开发人员并成为更好自己。在过去几年里,Python 作为业界一系列任务中最受欢迎编程语言之一,稳步获得了普及。它一直在慢慢接管软件开发和机器学习世界,并且没有一天在媒体上不提及它。本博客将确切了解为什么学习 Python 是必不可少,以及在 Python 中脱颖而出所需技能。为什么要学习 Python?出于类似目的,程序员使用 Python 作为
public final class PR {public static final class navi { public static final String navi = “/navi/navi”; public static final String location_service = “/navi/location”; }public static final class
 01 云原生技术发展历程 云原生,其实不是一个全新概念,而是在整个云计算发展历程中对理念更新和延伸。站在一个用户角度,从时间线上看,整个云计算技术演进是朝着越来越灵活方向发展:核心单元从早期物理服务器,变成后来虚拟机,一直到现在通过Kubernetes编排调度容器;资源分配颗粒度越来越小,启动速度也越来越快资源重建代价越来越小,不可变基础设施逐
前菜在我们使用Python过程, 很多时候会用到+运算, 例如:a = 1 + 2 print a # 输出 3不光在加法中使用, 在字符串拼接也同样发挥这重要作用, 例如:a = 'abc' + 'efg' print a # 输出 abcefg同样, 在列表中也能使用, 例如:a = [1, 2, 3] + [4, 5, 6] print a # 输出 [1, 2, 3, 4, 5,
这节课我们来学习消息队列中像队列、主题、分区等基础概念。这些基础概念,就像我们学习一门编程语言中基础语法一样,你只有搞清楚它们,才能进行后续学习。如果你研究过超过一种消息队列产品,你可能已经发现,每种消息队列都有自己一套消息模型,像队列(Queue)、主题(Topic)或是分区(Partition)这些名词概念,在每个消息队列模型中都会涉及一些,含义还不太一样。为什么出现这种情况呢?因为没
  • 1
  • 2
  • 3
  • 4
  • 5