每行数据都存储在数据页上，当数据页上的每个数据改变的时候，该页上的timestamp（时间戳）就会被更新。在老版本的数据库中一个page上在页头和页尾有两个timestamp。我印象中较新版本的数据库中只有一个timestamp了。当你开始进行数据库备份的时候（0|1|2三级都包含），第一件事情就是生成一个检查点。检查点把数据库buffer中所有的脏数据库都刷新到磁盘上。如果是缓冲日志模式的话，它
转载
2024-08-07 09:38:40
39阅读
我们经常听到别人谈论数据仓库、数据平台、数据中台、数据湖的相关概念，它们都与数据有关系，但它们之间又有什么区别，下面将围绕数据仓库、数据平台、数据湖和数据中台的概念、架构、使用场景进行介绍。一、数据仓库1. 数据仓库概念数据仓库由比尔·恩门（Bill Inmon，数据仓库之父）于1990年提出，主要功能是将企业系统联机事务处理（OLTP）长期壁垒的大量数据，通过数据仓库理论支持所持有的数据存储结构
转载
2023-09-25 22:29:01
143阅读
（一）图数据库的基本认识
本系列笔记是在看完《neo4j权威指南》基础上做的记录。方便于自己后面查阅！！1.图库介绍 图数据库（Graph Database）是基于图论实现的一种新型NoSQL数据库。它的数据存储结构和数据的查询方式都是以图论为基础的。图论中图的基本元素为节点和边，在图数据库中对应的就是节点和关系。在图数据库中，数据与数据之间的关系通过节
此文应一位朋友需求所写。时间仓促，考虑不周，以后补齐。老外是多租户SaaS技术架构，也就是说，一套分布式应用代码、一套分布式数据库存储，在应用架构层面做的强大，满足各个租户的自定义和系统集成。中国呢，过去的3年已经证明面向中小企业、创业企业基本是不靠谱，所以从去年下半年，大家都纷纷杀入中大型企业、大型企业。这些中国企业，要么要求在他们的私有云中部署，要么要求在公有云为他们开辟一个专区专门独立部署，
转载
2023-09-25 12:11:12
100阅读
前言云计算已经被广泛接受和使用，那么在关于数据平台方面，很多人会关心数据库，数据仓库，和数据湖的关系，我们都看重数据，也希望使用数据，很多时候我们已经有数据了，但是由于数据的产生形式不一样，数据的使用和存储都有不一样的要求。另外在工作中也有不少需求要选择数据平台，所以整理了一些关键因素。我们常用的数据的存储介质有上面提到的数据库，数据仓库，和数据湖：传统数据库（关系型数据库为主）比如Azure S
转载
2023-12-15 18:22:19
36阅读
# 数据集成平台架构解读
在当今数据驱动的世界中，数据集成平台扮演着至关重要的角色。一个高效的数据集成平台能够将分散在不同源的数据整合在一起，从而提供一致性和可用性。本文将对数据集成平台的架构进行解读，并通过示例代码来加深理解。
## 1. 什么是数据集成平台？
数据集成平台是一个技术架构，旨在收集、处理和存储来自不同数据源的信息。这些数据源可以是数据库、APIs、文件或实时数据流等。通过集
了解大数据平台的基础架构有助于我们清楚数据是怎么流转与处理的，在每一层的结构中数据是以什么形式存储的，当我们听到工程师们谈论到这些内容时，不至于一无所知。本文内容偏基础，适合像作为入门了解。文不如表，表不如图，先上一张大数据平台架构图： 大数据平台架构图 按数据流向将大数据平台分为3层。第1层-原始数据层在这一层中完成的是数据从业务数据系统传输到DOS操作型数据层
转载
2023-07-12 15:12:51
418阅读
# 数据治理平台架构解析
在数字化转型的进程中，企业面临着海量数据管理和治理的挑战，数据治理平台因此应运而生。本文将通过分析一个典型的数据治理平台架构图，帮助读者理解数据治理的基本概念和实现方式。同时，文中还会提供一些代码示例，帮助你更好地理解相关技术。
## 数据治理的基本概念
数据治理是指在组织内实施的数据管理和控制过程，以确保数据的质量、安全和合规性。有效的数据治理可以提高企业决策的准
一、大数据、云计算、人工智能的概念1、什么是大数据？"大数据"是一个体量特别大，数据类别特别大的数据集，并且这样的数据集无法用传统数据库工具对其内容进行抓取、管理和处理。大数据有 4 个特点，也是IBM提出大数据的4V特征：第一，数据体量（Volume）巨大。第二，数据类型繁多（Variety）。第三，数据质量（Veracity）高，有巨大的商业价值。第四，处理速度（Velocity）快。&nbs
AI/CV重磅干货，第一时间送达作者：Dario Radecic，Medium 高质技术博主编译：颂贤一般的AI课程会介绍很多如何通过参数优化来提高机器学习模型准确性的方法，然而这些方法通常都存在一定的局限性。这是因为我们常常忽视了现代机器学习一个非常重要的核心——数据。如果我们没有处理好训练数据没，上百个小时的时间都会被浪费在调整一个低质量数据训练出来的模型上，模型的准确度很容易就会低于预期，而
作者介绍@车云祥大宇无限 数据产品负责人主要负责全公司底层数据治理，构建统一指标体系；主导 BI 系统、用户画像系统、广告投放平台、广告流量优化等设计工作；推动 Snaptube、LarkPlayer、Zapee 等明星产品与数据紧密结合，实现高效运转；通过对业务需求深度梳理、数据方案高质量设计、数据分析洞察与优化、营销策略闭环输出的不断实践，帮助公司实现数据驱动业务增长；“数据人创作
技术最终为业务服务，没必要一定要追求先进性，各个企业应根据自己的实际情况去选择自己的技术路径。它不一定具有通用性，但从一定程度讲，这个架构可能比BAT的架构更适应大多数企业的情况，毕竟，大多数企业，数据没到那个份上，也不可能完全自研，商业和开源的结合可能更好一点，权当抛砖引玉。大数据平台架构的层次划分没啥标准，以前笔者曾经做过大数据应用规划，也是非常纠结，因为应用的分类也是横纵交错，后来还是觉得体
转载
2023-07-14 19:23:21
430阅读
概述数据库备份就是某个时间点的数据库副本数据库备份是为了防止数据丢失DM数据守护集群也算是一个实时备份（在数据库压力非常大的情况下，可以考虑使用数据守护集群，从库做备份） 物理备份和逻辑备份物理备份：主要是备份使用过的数据页。物理备份又分为联机备份和脱机备份；完全备份和增量备份逻辑备份：主要是备份数据库对象（表、索引、视图、存储过程等等），逻辑备份只能在数据库联机的情况下进行
转载
2024-02-28 14:14:24
59阅读
在这篇博文中，我将向大家展示如何构建一个完整的视频平台架构图。通过一步一步的过程，我将分享环境准备、分步指南、配置细节、验证测试、优化技巧和扩展应用，力求让大家能轻松理解并实施在实际项目中。
## 环境准备
在构建视频平台之前，我们需要确保硬件和软件环境的准备。针对不同规模的视频平台，我们可以在四象限图中对硬件资源进行评估。
```markdown
四象限图
```mermaid
quadr
# 了解CRM平台架构
在现代商业环境中，客户关系管理（CRM）平台被广泛应用于帮助企业管理客户关系、提高销售效率和增强客户满意度。CRM平台的架构设计关系到整个系统的稳定性、可扩展性和性能。本文将介绍CRM平台的架构设计，并通过代码示例来说明其实现方式。
## CRM平台架构图
下图展示了一个简化的CRM平台架构图：
```mermaid
graph LR
A[用户界面] --> B(前
原创
2024-02-26 06:05:57
133阅读
# 实现TSP平台架构图教程
## 引言
本教程将指导你如何实现TSP（Traveling Salesman Problem）平台架构图。作为一名经验丰富的开发者，我将帮助你了解整个过程，并提供每一步需要做的事情和相应的代码示例。请按照以下步骤进行操作。
## 整体流程
首先，我们来看一下整个实现过程的流程图：
```mermaid
flowchart TD
A[定义需求] -->
原创
2023-08-24 07:56:08
805阅读
在当今信息技术迅速发展的背景下，构建一个高效且灵活的开发平台架构图变得尤为重要。这样的架构图不仅帮助团队明确系统组件的关系，还能在需求变更时快速响应、调整。本文将以开发平台架构图为主题，深入探讨其背景、技术原理、架构解析、源码分析、应用场景，以及最后的总结和展望。
## 背景描述
构建开发平台架构图的目的是为了清晰地展示系统各个组件之间的关系及其相互交互的逻辑。开发团队在实际工作中常常面临着需
如何实现Docker平台架构图
作为一名经验丰富的开发者，我将教会你如何实现Docker平台架构图。以下是整个过程的步骤概述：
| 步骤 | 描述 |
| ------ | ----------- |
| 步骤 1 | 安装Docker |
| 步骤 2 | 创建Docker文件 |
| 步骤 3 | 构建镜像 |
| 步骤 4 | 运行容器 |
| 步骤 5 | 部署应用程序 |
下面，我
原创
2024-02-01 09:20:32
59阅读
# 消息平台架构解读与实践
在现代软件开发中，消息平台作为核心架构之一，起到了至关重要的作用。它不仅能够实现不同系统或服务之间的信息交流，还能显著提高系统的可扩展性和灵活性。本文将通过简要的消息平台架构图阐述其组成部分，并给出一些示例代码，以帮助大家更好地理解。
## 消息平台架构图
一个典型的消息平台架构通常包括以下几个组成部分：
- 生产者（Producer）：发送消息的服务或应用。
原创
2024-09-01 03:53:15
73阅读
在云原生的背景下，对 Kubernetes 的集群的生命周期的管理的期望和需求越来越多，很多企业的集群数量也与日俱增，少则几个，多则几十个。有的分布在企业的私有云，有的分布在公有云，有的分布在混合云。社区也涌现了很多项目专注于这个方向的研究和实践，这里以开源项目 cluster-api 为切入点，来介绍云原生集群生命周期的管理能力，主要介绍 cluster-api 中的 Control
