本文展现第3章第四部分的内容： 3.9 启动测量系统MetricsSystemMetricsSystem使用codahale提供的第三方测量仓库Metrics，有关Metrics的具体信息可以参考附录D。MetricsSystem中有三个概念：q Instance：指定了谁在使用测量系统；
q Source：指定了从哪里收集测量数据；
q Sink：指定了往
转载
2024-09-27 13:55:24
44阅读
开源集群运算框架 Spark 的技术架构及入门知识
Spark学习笔记0——简单了解和技术架构笔记摘抄自 [美] Holden Karau 等著的《Spark快速大数据分析》目录Spark学习笔记0——简单了解和技术架构什么是Spark技术架构和软件栈Spark CoreSpark SQLSpark StreamingMLlibGraphX集群管理器受众起
转载
2023-12-12 23:58:39
66阅读
当提到各个技术栈时，以下是它们的具体说明：Python语言及相关库：掌握Python编程语言的基础知识，包括语法、数据结构和算法。熟练使用NumPy进行科学计算和数组操作，Pandas进行数据处理和分析，Matplotlib进行数据可视化，Scikit-learn进行机器学习和数据挖掘等。Web框架：Django：全功能的高级Web框架，提供了ORM（对象关系映射）、路由、模板引擎等，可快速构建复
转载
2024-06-12 21:03:58
13阅读
大数据的浪潮风靡全球的时候，Spark火了。在国外 Yahoo!、Twitter、Intel、Amazon、Cloudera 等公司率先应用并推广 Spark 技术，在国内阿里巴巴、百度、淘宝、腾讯、网易、星环等公司敢为人先，并乐于分享。在随后的发展中，IBM、Hortonworks、微策略等公司纷纷将 Spark 融进现有解决方案，并加入 Spark 阵营。Spark 在IT业界的应用可谓星火燎
转载
2021-01-26 17:35:00
171阅读
2评论
前言：SpringCloud，那么我们来具体看一下SpringCloud在整个微服务架构中扮演者什么样的角色；一、微服务技术栈： 负载均衡，网关路由：高可用、集群部署，校验、请求转发、服务集成。 服务治理：服务注册、发现。 容错：避免雪崩。 监控跟踪：监控资源利用、服务响应、容器资源利用情况。 消息总线：消息队列、异步通信。 配置管理：统一配置管理。二、什么是SpringCloud
转载
2023-10-20 22:05:44
42阅读
17.1 Spark介绍17.1.1 什么是Spark概念理解并行计算框架
Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。 Spark 是加州大学伯克利分校的AMP实验室所开源的类 Hadoop MapReduce 的通用并行计算框架任务的中间结果可以缓存在内存中，减少磁盘数据交互
Spark 拥有 Hadoop MapReduce 所具有的优点；但
转载
2024-10-26 20:03:52
30阅读
Spark组件是基于分布式资源引擎层（Yarn等）和分布式存储层（HDFS等）之上的一个组件，Spark本质上是一个计算引擎，负责计算的，根据不同计算场景划分出了SQL、Streaming、MLib、GraphX、R等模块
转载
2020-03-24 11:06:00
98阅读
PyTorch框架学习一——PyTorch的安装（CPU版本）PyTorch简介PyTorch的安装（CPU版） 机器学习/深度学习领域的学习都是需要理论和实践相结合的，而它们的实践都需要借助于一个框架来实现，PyTorch在学术界目前处于主流的地位，而且据说上手较快，从今天起开始学习该框架，为后面的学习打一个基础。PyTorch简介PyTorch背后的东家是Facebook。2017年1月FA
转载
2024-07-30 17:06:17
54阅读
Hadoop首先看一下Hadoop解决了什么问题，Hadoop就是解决了大数据（大到一台计算机无法进行存储，一台计算机无法在要求的时间内进行处理）的可靠存储和处理。HDFS，在由普通PC组成的集群上提供高可靠的文件存储，通过将块保存多个副本的办法解决服务器或硬盘坏掉的问题。MapReduce，通过简单的Mapper和Reducer的抽象提供一个编程模型，可以在一个由几十台上百台的PC组成的不可靠集
转载
2021-03-04 14:18:26
182阅读
2评论
基于Java的Web应用开发技术已成为目前Web开发的主流技术，作为一名Java程序员，到底要掌握什么技术才能完成一个JavaWeb项目呢？小千和一位十年经历程序员要来这份Java程序员常用技术栈，一起学起来吧~先放一张技术栈思维导图：什么是技术栈？开发一个普通管理系统，会用到SprinBoot+MyBatis+Spring+Mysql+Redis+RabbitMq+Nginx+Vue+Shiro
转载
2023-09-06 22:25:07
161阅读
一、 Spark概述1． 什么是Spark Spark是一种快速、通用、可扩展的大数据分析引擎，2009年诞生于加州大学伯克利分校AMPLab，2010年开源，2013年6月成为Apache孵化项目，2014年2月成为Apache顶级项目。目前，Spark生态系统已经发展成为一个包含多个子项目的集合，其中包含SparkSQL、Spark Streaming、GraphX、MLlib等子项目，Spa
转载
2023-09-04 10:49:29
124阅读
1.1 概述Java优点：1、结构严谨，面向对象2、摆脱硬件平台束缚，实现了“一次编写，到处运行”的理想;3、提供了一个相对安全的内存管理和访问机制，避免了绝大部分的内存泄漏和指针越界问题；4、实现了热点代码检测和运行时编译和优化，使得Java应用随着运行时间的增加而获得更高的性能；5、它有一套完善份应用程序接口，还有无数商业机构和开源社区的第三方类库帮助它实现各种各样的功能；Java的这些好处使
转载
2023-08-07 19:29:19
197阅读
技术栈： 产品实现上依赖的软件基础组件， 包括1、 系统2、 中间件3、 数据库4、 应用软件5、 开发语言6、 框架 一、前端技术 笔者认为后台开发人员掌握一定的前端技术是必要的，作为JAVA开发最起码的JSP、JQuery、BootStrap这些你得有起码的了解。除此之外，前后端的交互技术，AJAX、JSON、JSONP也是必须了解和掌握的。二、通信协议 通信协议就跟上面说的网络编程
转载
2024-01-02 10:11:23
62阅读
Java，是现阶段中国互联网公司中，覆盖度最广的研发语言。很多人做Java开发4，5年后，都会感觉自己遇到瓶颈。感觉什么都会，又什么都不会，如何改变困境，因为在工作中太多被动是因为不懂底层原理。公司的工作节奏又比较快，难有机会学习架构原理，也没人教，所以这个时候，学习架构原理，扩展思维，对自己以后职业生涯尤为重要。同样公司的两个新人，一个新人一点就通，学东西很快，有的人，学东西很慢，也很痛
转载
2024-02-20 19:35:54
55阅读
1. kafka是什么？使用场景？ kafka是一个高吞吐的分布式消息队列系统。特点是生产者消费者模式，先进先出（FIFO）保证顺序，自己不丢数据，默认每隔7天清理数据。消息列队常见场景：系统之间解耦合、峰值压力缓冲、异步通信。 2. kafka生产消息、存储消息、消费消息1)Kafka架构是由producer（消息生产者）、consumer（消息消费者）、
转载
2024-04-01 22:04:02
127阅读
新冠肺炎疫情让我们的2020充满挑战。不过一年之计在于春，随着三月春日的来临，各大厂实习生招聘也已经开始啦，是时候翻开新的一页啦，快来一起温习下Java吧！Java 是一门纯粹的面向对象编程语言，它吸收了C++的各种优点，还努力摒弃了C++里难以理解的多继承、指针等概念，真正地实现了面向对象理论，因而具有功能强大和简单易用两个特征。除了基础语法之外，Java还有许多必须弄懂的特性：封装、继承、多态
转载
2023-10-16 14:14:52
83阅读
一、Spark的特点Spark特性Spark通过在数据处理过程中成本更低的洗牌（Shuffle）方式，将MapReduce提升到一个更高的层次。利用内存数据存储和接近实时的处理能力，Spark比其他的大数据处理技术的性能要快很多倍。Spark还支持大数据查询的延迟计算，这可以帮助优化大数据处理流程中的处理步骤。Spark还提供高级的API以提升开发者的生产力，除此之外还为大数据解决方案提供一致的体
转载
2023-08-16 16:07:30
57阅读
# Java是全栈吗？
在软件开发中，“全栈开发”是一个常被提起的概念。全栈开发的意思是一个开发者能够同时处理前端和后端的开发任务。那么，Java是否可以用于全栈开发呢？
## 什么是全栈开发？
全栈开发指的是能够掌握多种技术栈的开发者，通常需具备前端开发（如 HTML、CSS、JavaScript）和后端开发（如服务器、数据库）的能力。随着 web 应用程序日益复杂，全栈开发者的需求也在不
JAVA入门基础篇Java 语言的名词JDK下载环境变量path 环境变量的作用配置写一个HelloWorld Java 语言的名词首先说一下JDK JRE JVMJDK（Java开发工具包）是给开发人员用的，JRE（Java运行环境）和JVM（Java虚拟机）是普通用户用的。JDK是整个JAVA的核心，包括了Java运行环境JRE（Java Runtime Envirnment）、一堆Java
转载
2024-07-17 16:29:30
17阅读
一、RDD（Resilient Distributed Dataset）弹性分布式数据集 Spark 中最基本的数据抽象是RDD。二、RDD五大特点 • A list of partitions RDD由很多parti
转载
2024-01-29 00:37:57
24阅读
