文章目录一、基本介绍spark是什么？弹性分布式数据集RDD基本概念基本流程二、Hadoop和Spark的区别三、RDD操作TransformationAction四、Block与RDD生成过程五、依赖关系与Stage划分六、Spark流程调度流程（粗粒度图解）执行流程（细粒度图解）七、spark在yarn上的两种运行模式(yarn-client和yarn-cluster)1、Yarn-Clie
转载
2024-02-06 19:20:51
15阅读
小红书 infra团队云原生架构发展和演进 公开课分享容器化 资源入口 工作负载 调度 -三级调度体系 二级 需求 集群调度 均分 容错... 超卖 集群混部slo webhook 落地音视频转码 日志转储 弹性 潮汐 未
转载
2023-07-17 23:31:50
77阅读
08_29_Android软件架构架构的本质本质， 类似图纸， 不是建筑物；明确范围
软件设计中， 架构不等于框架；底层的编码，到设计模式， 到框架，再到架构（微服务，SOA）好的架构做好分层分解，把不确定因素变的更容易确定；可复用：对各个模块进行分开复用可并行：多方合作，测试，开发，发布，可以分开同时执行可度量：可定制：根绝团队具体情况来选择架构；做好架构第一步：找到问题;第二步：怎么解
转载
2023-07-13 17:49:23
93阅读
本文概述了我们对当前“架构和设计”领域的看法，这个领域侧重于基础设施模式、技术框架模式的实现，以及软件架构师必须掌握的设计流程和技能。关键要点：我们看到了“演化式架构”设计需求的增长，这种架构建立在可替换性设计和关注“胶水”组件的基础之上。演化式架构支持功能性和跨功能性需求和约束的未来变化。“微服务”架构可能会进入晚期大众阶段，但与“正确设计分布式系统”相关的主题以及反应式和容错式设计将越来越靠近
2019年7月1日豆瓣FM6.0版本正式上线。对于这次大版本更新，官方的定义是：“极简的页面设计和交互方式，让一切回归于音乐本身”。听上去挺不错的，让我们开启对这款产品的体验之旅吧，看看究竟有没有那么神奇。本文主要从以下几点去进行分析：产品功能模块产品定位市场与竟品分析用户分析功能分析总结产品体验环境体验设备：华为P20 Pro手机系统：EMUI 9.0.0(Android 9)APP版本： v6
转载
2023-09-27 23:13:46
119阅读
四个层级如下：第一层：普通程序员第二层：熟练开发者、高级开发工程师、技术组长第三层：技术专家、架构师、一线经理第四层：科学家、研究员、首席（资深）架构师、部门研发总监 Android开发者的四个层级按我的理解，无论是Android开发者还是其他的开发者都可以分为四个层级，可依次对应普通、熟练、优秀、卓越这四个词。一、 普通普通开发者，能够使用一定的专项技术，完成别
转载
2023-09-24 07:26:41
17阅读
Ceph是一个开源的分布式存储系统，旨在为云环境提供高性能、高可靠性和可扩展性的存储解决方案。InfoQ是一个专注于软件开发领域的在线技术社区，为开发者提供有关软件开发、架构、DevOps等方面的最新资讯和技术文章。在本文中，我们将探讨Ceph与InfoQ之间的关系，并讨论Ceph在当今云环境中的重要性。
Ceph作为一个分布式存储系统，拥有多个节点组成的集群，它将数据分布在多个节点上，实现数据
原创
2024-03-04 13:51:20
52阅读
图片来源：pexels.com1架构师承担什么样的责任记录片《黑猩猩的守护者》中珍妮·古道尔博士说过：「唯有了解，才會關心，唯有關心，才會採取行動，唯有行動，生命才有希望」，套用到架构师身上“唯有了解，才会关心，唯有关心，才会采取行动，唯有行动，才会有结果”。做架构师首先要知道自己承担什么样的角色和职责，之后才能构建自己的知识体系用于辅助决策和指导实施。不同的企业对架构师工作的要求不同，有些企业没
转载
2023-07-11 21:03:40
43阅读
大家好，我是宝哥！随着 Spring Boot、Spring Cloud 的流行，越来越多的公司和企业开始使用微服务分布式架构，大家也都在学习相关知识；在自己做项目的时候，面对庞大的项目文件和繁杂的逻辑关系，有些同学就不知如何部署自己的项目了，下面我将介绍通用型的微服务项目部署方式。一、项目分析在打包部署之前我们先来简单的分析一下项目结构，这里我拿出最近部署的一个项目作为例子，该项目使用的阿里的
转载
2023-08-25 08:23:10
56阅读
李晓时，超过 20 年 IT 行业经验；资深架构专家，《架构宝典》联合作者。1引言大家好，我是李晓时，架构这个概念，和计算机科学（包括近几年才成为一级学科的软件工程）的其他术语类似，都是从传统学科借用来的。这是因为计算机科学太年轻、发展太快，来不及形成自己特有的术语和名词。因此，在学习和思考方法上，常常推荐类比法，尝试用一些耳熟能详的事物去理解和解释计算机科学领域的概念，以求“老妪能懂”的效果。这
转载
2023-12-05 19:08:03
134阅读
由InfoQ中文站推出的电子杂志《架构师》8月刊已经发布！该杂志是InfoQ中文站于2008年推出试刊，于2009年7月正式创刊的全新电子杂志， 面向高端开发人员和项目经理。和以往的各期一样，本期《架构师》向大家提供过去一个月中InfoQ中文站最为精华和热点的内容。每条新闻，每篇文章，每个 推荐，都是经过编辑们精心甄选。为了保证能够将一个月以来技术社区的飞速发展浓缩在短短数页纸上，InfoQ中文站
# 运维 CMDB 开源架构对标 InfoQ
## 引言
随着信息技术的发展，企业面临着越来越复杂的 IT 设施管理需求。配置管理数据库（CMDB）作为 IT 运维管理的关键组成部分，对于企业的资源管理、故障排除等功能具有重要的作用。开源 CMDB 框架的出现，为企业提供了更灵活、可扩展的解决方案。本文将对比一些开源 CMDB 架构，并通过代码示例展示其基本功能。
## 什么是 CMDB？
原创
2024-09-05 04:49:22
194阅读
系统架构设计师 - 真题 - 案例分析真题分类汇总
0. 重点快速选两个题目！！！各个小题目都比较有把握的！！！最好是选填的或者概念知识点记得熟的！！！比如质量效用树、数据流图、UML图、对比类型的题目！！！！！！只准备架构、系统建模、数据库三个大主题就够用了！！！架构
架构评估（大概率考一题）
质量属性、质量效用树（性能、安全、可用性
转载
2023-07-25 17:42:03
96阅读
关键要点我们看到了对“进化架构”设计的更多需求，这种架构建立在先前关于可替换性设计和需要关注架构中“胶水”组件的讨论的基础之上。进化架构支持功能和跨功能需求和约束的未来变化。对“微服务”架构风格的认识可能正在进入后期多数，
原创
2022-06-25 00:32:02
84阅读
InfoQ：虎扑网什么情况下会出现“瞬间增长”？是否可以预处理？在处理“瞬间增长”时，哪种或哪些技术起到了关键作用？
洪涛：虎扑网是一个体育网站，所提供的服务多数都和体育赛事有紧密的结合，比如在一场体育赛事比赛前，我们有线上产品提供用户查看各种赛程，在比赛过程前后，球迷会涌入我们的论坛积极讨论赛事，在比赛过程中，我们有文字直播产品，
翻译
精选
2012-06-19 11:16:52
4095阅读
InfoQ是一个知名的技术媒体平台，提供了一系列有关软件开发和IT行业的资讯、文章和会议。其中，InfoQ对于DevOps也有着广泛的报道与讨论。在这篇文章中，我们将探讨InfoQ所提出的DevOps的特点。
DevOps，即开发者（Development）与运维人员（Operations）的合作与协同，是一种旨在加速软件开发和交付的方法论。在InfoQ的视角下，InfoQ认为DevOps有以下
原创
2024-02-01 10:51:52
70阅读
更好的理解spark——spark通信架构此篇摘抄自某教程的ppt，希望大家可以更深刻的理解sparkspark既然是分布式集群，那么他的master和worker节点之间是怎么进行通信的？spark1.3之前的通信框架是什么？之后为什么不使用这个通信框架了？1、Spark内部的通信架构使用Actor模型进行开发，在Spark1.3之前直接使用AKKA来作为具体的通信框架。为了解决shuffle过
转载
2023-09-21 07:42:02
103阅读
关键点需要关注的新软件
原创
2022-08-10 16:50:13
93阅读
前言
虽然企业中多数项目往往通过自定制的界面和数据载体与后台系统交互，但在办公自动化、电子政务领域仍存在大量面向包括Word在内的电子文档操作。区别于Excel、Access和InfoPath等数据为中心的处理，Word更侧重于对于文章段落内容、格式的操作。
实践中，Office自动化开发中往往要面对下列挑战：
Office版本更新快，但用户群更新相对较慢，项目中需要同时兼容多个
原创
2010-05-26 09:24:00
658阅读
关键要点我们看到了“演化式架构”设计需求的增长，这种架构建立在可替换性设计和关注“胶水”组件的基础之上。演化式架构支持功能性和跨功能性需求和约束的未来变化。“微服务”架构可能会进入晚期大众阶段，但与“正确设计分布式系统”相关的主题以及反应式和容错式设计将越来越靠近采用曲线。我们预测有些架构主题永远不会转移到早期大众或晚期大众阶段，但它们当中有一些高效的针对特定用例的模式，如基于事件溯源 /CQRS
原创
2021-04-06 10:42:27
246阅读
