1. Hadoop引言 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统（HDFS，Hadoop Distributed Filesystem）和MapReduce（Google MapReduce的开源实现）为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。 对于Hadoop的集群来讲，可以分成两大类角色：Master和Slave。一
转载
2023-06-20 00:37:01
82阅读
秒杀大家都不陌生。自2011年首次出现以来，无论是双十一购物还是 12306 抢票，秒杀场景已随处可
原创
2023-05-19 11:48:54
1948阅读
本篇将记录笔者学习hadoop有关的原理总结，将持续更新…一.Hadoop概述- 数据等级 ERP CRM(G级别) -MySQL、jdbc WEB(T级别) -ES BIG DATA(PB级别) -Hadoop- Hadoop架构 HDFS(Hadoop Distributed File System)：分布式文件系统，解决分布式存储 MapReduce：分布式计算框架 YARN：分布式资源管理
转载
2023-07-24 14:57:35
50阅读
转载
2013-06-08 20:35:00
302阅读
摘要：2019年陕西系统架构设计师报名费用是多少？各地区收费标准会有所不同，一起来看看陕西软考系统架构设计师报名费用吧！
转载
2023-07-24 03:16:44
171阅读
在当今复杂多变的技术环境中，系统架构设计和产品架构设计已成为科技企业不可或缺的重要领域。本文将探讨这两个概念的定义、差异和相互关系，以及在实践中如何将它们应用于产品开发过程。
一、系统架构设计
系统架构设计是指对一个复杂系统进行结构化和组织化，以实现特定的功能和性能目标。它涉及到对各个组件、模块、接口和数据流进行详细的设计和规划。系统架构设计需要充分考虑系统的稳定性、可扩展性、可维护性和可重用
虽然这些文档一般来说公司都是有模板的，但我写这些文档以来基本上是每写一次就把目录结构给改一次，应该说这是因为自己对这些文档的理解开始加深，慢慢的越来越明白这些文档的作用和其中需要阐述的东西，觉得这三份文档主要阐述了一个系统的设计和实现过程，从系统分解为层次、层次内的模块以及相互的接口、模块分解为对象以及对象的接口、实现这些对象接口的方法。这次又整了一份，^_^，欢迎大家指正。XXX架构设计说明书(
系统架构图：系统采用四层架构设计一、展现层Web前端基于HTML/HTML5/Vue/CSS3开发web前端页面，兼容主流浏览器。展现层和数据层完全分离，通过跨域实现前后端数据通信。APPandroid，ios 基于原生开发。在app端实现https链路请求优化，做防盗链和DNS劫持处理。微信公众号/微信小程序更新业务需要，将部分数据以微信公众号+H5的方式展现；涉及硬件设备控制功能的系统部分模块
转载
2023-09-08 10:07:45
74阅读
架构设计流程结合复杂度来源和架构设计原则，通过一个模拟的设计场景“前浪微博”，和你一起看看在实践中究竟如何进行架构设计。架构设计第1步：识别复杂度架构设计的本质目的是为了解决软件系统的复杂性，所以在我们设计架构时，首先就要分析系统的复杂性。只有正确分析出了系统的复杂性，后续的架构设计方案才不会偏离方向；否则，如果对系统的复杂性判断错误，即使后续的架构设计方案再完美再先进，都是南辕北辙，做的越好，错
转载
2023-06-14 10:56:16
394阅读
推荐系统是移动互联网时代非常成功的人工智能技术落地场景之一。本文我们将从架构设计的角度回顾和讨论推荐系统的一些核心算法模块，重点从离线层、近线层和在线层三个架构层面讨论这些算法。本文不会讲解一些具体推荐模块的架构设计，但无论什么推荐模块，其逻辑经过拆解后都可以映射到本文的架构体系中，做到触类旁通，举一反三。本文选自《从零开始构建企业级推荐系统》一书，在庞杂的领域知识网格中点亮关键节点，为你的商业化
转载
2023-07-13 21:00:36
79阅读
这就是我们体系化的监控分层，每一个层级都非常重要。一般情况下，当一个问题出现时，较大概率会先暴露在用户端或业务层，比如说，我们的订单量下降了，业务人员和开发人员会先从上到下去逐层检查是在哪里出现了问题，先确定是否哪个接口调用比较慢，哪个服务调用出现延时，再看是否哪个机器负载过高了，然后再进一步往下一个层去看，是否是网络调用不稳定导致。所以，一个好的监控体系，在每个层级都非常重要。二、
原创
2023-03-26 20:18:26
1792阅读
之前主导过一家大型国际化银行的国际清算数据平台的架构，这里回忆一下的当时的架构设计与复盘：这个清算数据平台的主要业务功能：按业务主要分为：Marge Reform,Razor,Murex,Opics几个部分，用来处理上游Assassin的银行基金清算数据，主要实现mapping,filter,validation等业务逻辑，用apache camel做为基础框架，spring ,hibernate
转载
2023-05-18 11:04:43
485阅读
摘 要大数据时代下，数据呈爆炸式地增长。为了迎合信息化时代的潮流和信息化安全的要求，利用互联网服务于其他行业，促进生产，已经是成为一种势不可挡的趋势。在财务管理系统分析的要求下，开发一款整体式结构的财务管理系统，将复杂的系统进行拆分，能够实现对需求的变化快速响应、系统稳定性的保障，能保证平台可持续、规模化发展的要求。财务管理系统采用B/S结构、java开发语言、SpringB
转载
2023-08-29 14:49:22
360阅读
1 基本概念和目的 架构设计的目的是为了解决系统复杂度带来的问题，并不是要面面俱到，不需要每个架构都具备高性能、高可用、高扩展等特点，而是要识别出实际业务实际情况的复杂点，然后有有针对性地解决问题，即：有的放矢，而不是贪大求全。 在实际情况中，不一定每个系统都要做架构设计，需要结合实际情况。有时候最简单的设计开发效率反而是最高的，架构设计毕竟要投入时间和人力，这部分投入如果用来尽早编码，项目也许会
转载
2023-08-08 09:29:00
322阅读
架构设计模板1.需求介绍[需求介绍主要描述需求的背景、目标、范围等]随着前浪微博业务的不断发展，业务上拆分的子系统越来越多，目前系统间的调用都是同步调用，由此带来几个明显的系统问题：性能问题：当用户发布了一条微博后，微博发布子系统需要同步调用“统计子系统”“审核子系统”“奖励子系统”等共 8 个子系统，性能很低。耦合问题：当新增一个子系统时，例如如果要增加“广告子系统”，那么广告子系统需要开发新的
转载
2023-07-14 18:50:11
89阅读
摘要通过了解一线互联网公司的架构的演进，以帮助自己在设计系统的时候参考。介绍淘宝从一百个并发到千万级并发
原创
2023-04-04 18:08:44
1375阅读
摘要：2019年贵州系统架构设计师报名费用是多少？各地区收费标准会有所不同，一起来看看贵州软考系统架构设计师报名费用吧！
转载
2023-07-24 03:16:00
78阅读
第1章 操作系统(2016.10.26)微内核结构：把系统的公共部分抽象出来，形成一个底层核心，提供最基本的服务，其他功能以服务器形式建立在微内核之上。进程三态模型：运行态，等待态，就绪态。五态模型：静止就绪，活跃就绪，静止阻塞，活跃阻塞，运行。P,暂停 v,唤醒同步：初始值为0。互斥：初始值为1----------------------------------------------
ASPICE SYS.3 系统架构设计指导1. 系统需求分析与架构设计流程2. 系统架构文档2.1 系统概述2.2 系统架构设计3. 系统架构方案选型评估3.1 目的3.2 对系统整体的架构评估3.3 对硬件的架构评估3.4 对软件的架构评估 1. 系统需求分析与架构设计流程首先讲下此流程的目的，比较简单，如此文标题所述，将系统需求分析和系统架构设计合二为一了，因此此流程目的必须分开讲述：其一，
转载
2023-07-10 17:26:53
725阅读
对于系统架构设计，我现在是功力不够，境界还凑合，俗称眼高手低是也。功力不够只能一点一点地练，一点一点的涨了，还不知道什么时候能有所小成。不过有境界也算是一件好事情，所以这个系列会先聊一聊境界方面。 之所以用了这样一个标题，是因为系统架构设计既有比较通用的、相对固定的方法与模式，即工程化的一面，也需要设计师发挥个人的灵感与才华，即艺术的一面。二者不可偏废。 系统架构设计有7个需要注意的要素，可以概括
