1 介绍大数据4V 特征1V 大量化，体现为数据量大 2V 多样化，主要是结构化和非结构化的数据 3V 处理速度快 数据采集和数据处理速度效率快 4V 价值密度低 主要是有效数据和无用数据的占比大数据技术的两个核心技术分布式存储 hdfs 分布式计算 sparkYarn实现了一个集群多个框架Spark框架跟hadoop框架对比，hadoop存在两个明显缺点，一个是磁盘IO（磁盘读写）开销大，一个延
转载
2023-08-15 21:34:36
134阅读
一、前言由于工作需要，前一阵子使用python+twisted重新开发了中国联通SGIP短信系统的通信部分。 由于这个系统是在原有系统上升级，时间有限的缘故，沿用了原系统的数据处理部分。这部分采用MS SQL Server数据库做后台支撑，使用python的sql server包进行数据访问。程序不间断轮询数据库的待发送短信表，读取到短信数据后调用sgip模块进行发送。另外短信的Submite
转载
2023-07-15 15:02:48
384阅读
一、PaaS的发展简史 PaaS作为新一代的云计算平台，目前在业界得到了广泛的关注与讨论。诸多大公司也纷纷推出自己的PaaS平台，比如Pivotal的CloudFoundry, IBM的Bluemix和Redhat的OpenShift等。其实在此之前， PaaS已经有很长一段时间的发展历程。在2007年，
转载
2023-10-25 21:20:59
498阅读
?前面我们介绍了一些pyspark的基础指令集，但是对spark的核心架构了解还不够透彻，今天我们就来介绍一些spark的核心架构，以及一些基本概念,对以前内容感兴趣的小伙伴可以查看今天我们来介绍一下spark的一些运行原理、架构、组成部分。1.spark运行架构spark框架的核心是一个计算引擎，整体来说，它采用了标准的master——slave的结构。如图所示，它展示了一个 Spark 执行时
转载
2023-08-15 21:33:46
107阅读
原文出处：Kubernetes容器平台架构解读
Kubernetes容器平台架构解读Kubernetes是一个开源容器编排平台，管理大规模分布式容器化软件应用，是云计算发展演进的一次彻底革命性的突破。Kubernetes是谷歌的第三代容器管理系统，是Borg独特的控制器和Omega灵活的调度器的组合。Kubernetes中的应用被打包成与环境完全分离的容器镜像，并且自动配置应用并维护跟踪资源分配。
转载
2023-07-27 18:32:48
335阅读
背景近年来，大家对大数据的关注度和使用频率越来越高，软件IT产品中的各类数据都被记录下来，以便更好地研究和分析。内容大数据平台技术架构在电商企业中，每天系统记录下来的运营数据，达到几百 GB 增量的规模，为了保证所有数据能集中存储并且可随时访问，越来越多的企业把离线数据体系从商用的 Exadata 等解决方案，全面转向开放的 Hadoop 体系当中，以谋求成本与扩展性的平衡。所以，拥有一定技术实力
转载
2023-10-04 22:02:24
308阅读
云计算架构模式SaaS、PaaS、IaaS的区别与联系 根据现在最常用,较权威的NIST(National Institute of Standards and Technology，美国国家标准技术研究院)定义，根据用户体验角度及服务类型，云计算主要分为三种服务模式：SaaS、PaaS、IaaS。SaaS主要将应用作为服务提供给客户，IaaS是主要是将虚拟机等资源作为服务提供给用户,P
转载
2023-08-30 17:39:35
196阅读
本文整理自牛继宾在ArchSummit2016全球架构师峰会（北京站）的演讲。
今天的交流主要包含四方面内容：云管理平台的定义、需求、功能与架构设计；传统应用云化改造对云管理平台功能设计的新需求；容器与微服务化对云管理平台新的架构设计的支撑；云管理平台未来的定位展望。 云管理平台的定义、需求、功能与架构设计
云管理平台的定义是Gartner提出来的，总结起来就
转载
2023-07-12 11:06:51
694阅读
技术最终为业务服务，没必要一定要追求先进性，各个企业应根据自己的实际情况去选择自己的技术路径。它不一定具有通用性，但从一定程度讲，这个架构可能比BAT的架构更适应大多数企业的情况，毕竟，大多数企业，数据没到那个份上，也不可能完全自研，商业和开源的结合可能更好一点，权当抛砖引玉。大数据平台架构的层次划分没啥标准，以前笔者曾经做过大数据应用规划，也是非常纠结，因为应用的分类也是横纵交错，后来还是觉得体
转载
2023-07-14 19:23:21
430阅读
记住重点一：软件架构设计的目的是划分软件层次结构，确定软件各模块及模块之间的相互关系。记住重点二：软件架构设计应与软件需求形成双向追溯关系，确保软件需求实实在在落实到设计里。记住重点三：ISO26262中对软件架构设计提出了一系列如下规则，按照不同的SIL等级可以选择使用。对于强烈推荐的内容，在实际开发过程中应保证完全遵循与使用，如果有些规则没有运用到，需要给出合理的解释与证明，证明即使没有使用这
转载
2023-07-06 13:22:07
196阅读
唠叨话关于德语噢屁事的知识点，仅提供精华汇总，具体知识点细节，参考教程网址，如需帮助，请留言。 《工程技术（Engineering and Technology）》《工作流程（Workflow）》1、安装部署（操作系统和程序环境）2、管理配置（物理机或虚拟机）3、硬件软件（安装与卸载）4、资源状态（功能与性能）5、资源调度（编制与编排） DevOps平台架构（Pla
转载
2023-08-07 23:26:39
171阅读
在上图所示的分层架构中，人人网开放平台提供了不同层次的功能。图中红色部分表示目前还没有提供的功能模块，需要未来由平台或开源社区来提供；黄色部分表示在旧的平台架构中已经提供但正在往新的架构中迁移的功能模块；其它颜色的是功能比较完整的功能模块。从图中可以看出，人人网开放平台大概分为三个层次，共同为最上层的各种形式的第三方应用程序提供服务：Core Service Layer： 实现了人人网
转载
2023-07-20 09:57:12
582阅读
Android平台采用了整合的策略思想，包括底层Linux操作系统、中间层的中间件和上层的Java应用程序。下面我把Android的特性及其架构体系结构总结一下。一、Android的平台特性Android平台有如下特性： 1.引用程序框架支持组件的重用与替换。 这样我们可以把系统中不喜欢的应用程序删除，安装我们喜欢的应用程序。 2.Dalvik虚拟机专门为移动设备进行了优化。 Androi
转载
2023-09-07 19:11:01
115阅读
本系列博客包括6个专栏，分别为：《自动驾驶技术概览》、《自动驾驶汽车平台技术基础》、《自动驾驶汽车定位技术》、《自动驾驶汽车环境感知》、《自动驾驶汽车决策与控制》、《自动驾驶系统设计及应用》，笔者不是自动驾驶领域的专家，只是一个在探索自动驾驶路上的小白，此系列丛书尚未阅读完，也是边阅读边总结边思考，欢迎各位小伙伴，各位大牛们在评论区给出建议，帮笔者这个小白挑出错误，谢谢！ 此专栏是关于《自动驾驶技
转载
2024-01-16 01:38:58
85阅读
MQTT是基于TCP/IP协议栈构建的异步通信消息协议，是一种轻量级的发布、订阅信息传输协议。MQTT已逐渐成为IoT领域最热门的协议，也是国内外各大物联网平台最主流的传输协议，阿里云IoT物联网平台很多设备都是通过MQTT接入。本文将详细介绍MQTT协议的历史演进，以及阿里云IoT物联网平台在MQTT协议层实践中的一些关键设计及思考。本文主要包含了以下内容：MQTT协议演进历史及协议特点，总结和
转载
2023-10-04 23:15:39
42阅读
本系列博客包括6个专栏，分别为：《自动驾驶技术概览》、《自动驾驶汽车平台技术基础》、《自动驾驶汽车定位技术》、《自动驾驶汽车环境感知》、《自动驾驶汽车决策与控制》、《自动驾驶系统设计及应用》。 此专栏是关于《自动驾驶汽车平台技术基础》书籍的笔记.5.车辆控制平台控制平台由电子控制单元(ECU)与通信总线两大部分组成；ECU主要实现控制算法，通信总线主要实现ECU及机械部件间的通信功能；控制平台是无
转载
2023-11-18 20:57:48
118阅读
# Spark 实时计算大数据平台架构实现指南
## 引言
在大数据时代，实时计算已经成为了处理海量数据的重要手段之一。而Spark作为一款强大的开源计算框架，被广泛应用于处理大数据的场景中。本文将指导刚入行的小白如何实现“Spark 实时计算大数据平台架构”。
## 流程概述
下面是实现“Spark 实时计算大数据平台架构”的流程概述，通过以下步骤来完成：
| 步骤 | 描述 |
|
原创
2023-10-10 14:41:20
57阅读
业务架构： 业务中台： 1.业务都是在，一个业务的聚合层。把业务中台处理，业务中台，绝大部分的互联网的结构。回到我们的订单服务，2.订单状态机，图， 用户收到话务后，订单完成后订单完成后，设计模式里面，设计状态机模式。一定会存在的，大型的互联网公司订单如何扭转呢？ 可以有工作流，每一种工作流都要非常完成，电商模式分为C2C ,B2c,B2b,o2o,等模式，C2c淘吧。对应的系统场景，来说，涉及非
转载
2024-03-13 13:31:48
162阅读
什么MafkaMafka一个基于Kafka开发的一个分布式消息中间件综合解决方案。 Mafka
原创
2023-04-27 22:59:00
645阅读
指标平台架构的实现流程如下：
| 步骤 | 操作 |
| --- | --- |
| 1 | 确定指标需求 |
| 2 | 收集数据源 |
| 3 | 数据预处理 |
| 4 | 指标计算 |
| 5 | 数据存储 |
| 6 | 数据展示 |
下面详细介绍每个步骤需要做的事情以及所需的代码：
## 1. 确定指标需求
在这一步中，我们需要明确需要实现的具体指标以及指标的计算方法和数据源。可
原创
2023-10-23 07:58:32
138阅读
