文 | Petr Zapletal ，译者 | 侠天 分布式流处理是对无边界数据集进行连续不断的处理、聚合和分析。它跟MapReduce一样是一种通用计算，但我们期望延迟在毫秒或者秒级别。这类系统一般采用有向无环图(DAG)。 DAG是任务链的图形化表示，我们用它来描述流处理作业的拓扑。如下图，数据从sources流经处理任务链到
转载
2023-12-16 21:06:15
70阅读
直播技术之推流和传输
直播技术之推流和传输推流和传输。推流是直播的第一公里，直播的推流对这个直播链路影响非常大，如果推流的网络不稳定，无论我们如何做优化，观众的体验都会很糟糕。所以也是我们排查问题的第一步，如何系统地解决这类问题需要我们对相关理论有基础的认识。推送协议下面就先介绍一下都有哪些推送协议，他们在直播领域的现状和优缺点。RTMPWebRTC基于
转载
2024-02-16 09:54:56
96阅读
流式计算概述流计算大数据流式计算的系统设计和实现（内存计算）增量计算、流式计算、批量计算的区别？流式计算（流式计算是一种特殊的增量计算）利用分布式的思想和方法，对海量“流”式数据进行实时处理，源自业务对海量数据，在“时效”的价值上的挖掘诉求实时计算（ad-hoc computing,计算不可枚举，计算在query时发生）数据的实时计算,支持在大数据集的在线复杂实时计算（实时数据的实时计算）增量计算
转载
2023-07-03 09:49:52
90阅读
架构设计到底是什么在很多人眼中，架构就是分层，架构设计就是“三层架构”（或者四层、五层…反正分层越多就说明项目越复杂而且架构就越牛），或许是受到诸如PetShop之类的示例项目的影响，这里暂时不去追究原因了。之前已经纠正过很多人的误解-架构不只是软件架构。说一下通俗点的理解：软件架构就是实用而且优雅的设计，它不在于分多少层，或者应用了多少种设计模式/架构模式等。它应该是以满足实现用户需求为前提，以
转载
2024-01-15 15:42:04
44阅读
简介Heron是Twitter开源的分布式流处理系统，用来在Twitter内部替代Storm。它提供了和Storm兼容的API。并弥补了Storm中的不足。Storm的不足和新的需求调试困难，在Storm中，一个topology的多个componetns捆绑在同一个进程中，使调试变得很困难。因此需要更清晰的逻辑单元到物理进程的映射关系。Storm适用专用的集群资源的抽象，需要特定的资源分配方法。这
转载
2024-04-21 19:50:37
24阅读
到现在再谈 Web 的内容（Content）、结构（Structure）与表现（Presentation）可能有些晚，只是正好想起，理理思路，共勉。内容是结构的基础，而非相反。内容在一定程度上体现出一定的结构，但并不是全部。原始内容就相当于数码相片的 RAW 格式，未经处理，但是即使未经处理的内容，也包含着一定的结构，比如我们通过阅读一段文字，可能包含着标题、正文、段落（这些属性是通过阅读而发现的
转载
2024-07-21 10:26:54
0阅读
# 理解保单架构：一名新手开发者的指南
在软件开发的世界中，保单架构（或保险单架构）是一个非常重要的概念，尤其在金融和保险领域。对于刚入行的新手来说，理解和实现保单架构可能看起来有些复杂。本文将分步解析保单架构的实现流程，并提供代码示例，帮助你更好地理解这一概念。
## 保单架构实现流程
首先，我们来看看保单架构的基本流程。这里我们将整个流程分成以下几个步骤：
| 步骤 | 描述
分布式流处理，类似于MapReduce这样的通用计算模型，但是却要求它能够在毫秒级别或者秒级别完成响应。这些系统可以用DAG表示流处理的拓扑。Points of Interest在比较不同系统是，可以参照如下几点Runtime and Programming model(运行与编程模型)一个平台提供的编程模型往往会决定很多它的特性，并且这个编程模型应该足够处理所有可能的用户案例。Functiona
高阶组件: 高阶组件其实就是一个函数。 它接收一个组件做为参数，返回一个相对性增强的组件 作用 属性代理 &n
转载
2024-10-25 17:49:04
76阅读
内核是什么？ 内核是操作系统的内部核心程序，它向外部提供了对计算机设备的核心管理调用。我们将操作系统的代码分成
2
部分。内核所在的地址空间称作内核空间。而在内核以外的统称为外部管理程序，它们大部分是对外围设备的管理和界面操作。外部管理程序与用户进程所占据的地址空间称为外部空间。通常，一个程序会跨越两个空间。当执行到内河空间的一段代码时，我们称程序处于内核态，而当程序执行到
**系统架构简介**
在软件工程中，系统架构是一个系统的基本组织，它表现为系统的各个部分的排列和它们之间的交互。架构是系统的蓝图，包括各种软件、硬件、人员、信息和通信技术的集合，以及它们如何协同工作以达到系统的整体目标。
一、**系统架构的重要性**
随着信息技术的迅猛发展，软件系统变得越来越复杂。为了满足不断变化的用户需求，确保系统的可扩展性、稳定性和可维护性，一个清晰、合理的架构设计显得
原创
2024-01-26 19:24:33
79阅读
# 什么叫代码架构？——新手开发者指南
## 引言
在软件开发的世界中，“代码架构”是一个极其重要的概念，尤其对新手来说，理解代码架构可以帮助你更好地设计和维护软件。本文将教你如何理解代码架构，并通过一个简单的例子说明其实现过程。
## 代码架构流程
在学习代码架构之前，我们需要明确整个流程。接下来的表格展示了实现代码架构的主要步骤：
| 步骤 | 描述
原创
2024-10-14 06:06:23
124阅读
# 理解VPX架构
VPX（Values, Practices, eXperiments）架构是一种用于软件开发的架构模式，它侧重于价值观、实践和实验的结合。通过将这些元素整合在一起，VPX架构能够帮助团队提升开发效率和质量。下面，我将详细介绍VPX架构的组成部分和实现步骤。
## VPX架构的流程
我们可以把VPX架构的流程总结成以下几个步骤：
| 步骤 | 描述 |
|------|-
简介部署图也称配置图，用来显示系统中硬件和软件的物理架构。从中可以了解到软件和硬件组件之间的物理拓扑、连接关系以及处理节点的分布情况。 部署图建模步骤 - 找出需要进行部署的各类节点，如网络硬件设备、服务器硬件设备、及部署在硬件设备上的软件系统等 - 确定各类节点之间的连接关系及通信方式 - 从性能、可扩展性、可维护性、可移植性角度确定各类节点的
转载
2024-09-06 08:33:40
84阅读
数据脱敏（DM）是一种技术，旨在通过向用户提供高度仿真的数据，而不是真实和敏感的数据，同时保持其执行业务流程的能力，从而防止滥用敏感数据。数据脱敏技术核心功能数据和关系发现相同的敏感数据类型可能存在于同一数据库的多个表以及整个组织中的其他数据库中。如果需要脱敏，则应将其应用于所有所需表和数据库中的所有数据实例。正确保持这些关系对于存储脱敏数据的数据库和使用脱敏数据的应用程序是至关重要的。脱敏规则定
转载
2023-10-24 21:42:08
26阅读
序言基于官网教程整理的一个教程。基于Flink1.12.0版本。目前该版本的Flink支持的source与sink如下所示参考资料：
https://ci.apache.org/projects/flink/flink-docs-release-1.12/zh/try-flink/index.html
转载
2023-09-27 17:35:38
77阅读
1. 什么是流处理一种被设计来处理无穷数据集的数据处理系统引擎2. 流处理的几个概念1. 无穷数据（Unbounded data）：一种持续生成，本质上是无穷尽的数据集。它经常会被称为“流数据”。然而，用流和批次来定义数据集的时候就有问题了，因为如前所述，这就意味着用处理数据的引擎的类型来定义数据的类型。现
转载
2023-08-15 14:52:47
118阅读
尤大大在开发vue3.0时用的是原生的es-modules的构建工具（vite）Vite--跨前端框架的能力，及其优越的性能（下一代前端构建的打包工具）新项目中投入使用vite构建工具webpack转载到vite的小伙伴充实自己，开拓创建vite的组成：一个开发服务器；一套构建指令为什么选择vite,比webpack强在哪里解析：在浏览器支持ES模块之前，JS并没有提供原生的机制，让我们开发者以模
转载
2023-07-28 13:00:10
84阅读
概述virtio是当前主流的IO设备半虚拟化解决方案，其主要目标是在虚拟机和各种Hypervisor虚拟设备之间提供一个统一的通信框架和编程接口，减少跨平台所带来的兼容性问题，提升驱动程序开发效率。virtio是一种前后端架构，包括前端驱动和后端设备以及virtio定义的传输协议。通过传输协议，virtio可以应用到不同的虚拟化方案中，如QEMU/KVM、Iguest等，而且也允许实现不同的前后端
转载
2023-07-24 12:13:11
168阅读
Vite（法语中快速的意思）是一个轻量级的现代化的前端构建工具，针对现代浏览器（ES Modules）高效开发，它是由Evan You（Vue.js 的创造者）所创建的。Vite 2 基于 esbuild 和原生浏览器模块系统构建，开发时候仅仅使用 ESM 构建，不再有「打包」的概念。Vite下提供了一种开箱即用的开发服务，大大的提高了项目的开发效率。它支持 Vue、React、preact 和
转载
2023-09-18 23:10:47
69阅读
