本篇我们来了解 docker 仓库的内容。注：环境为 CentOS7，docker 19.03仓库（Responsitory）是集中存放镜像的地方，又分公共仓库和私有仓库。注：有时候容易把仓库与注册服务器（Registry） 混淆。 实际上注册服务器是存放仓库的具体服务器， ⼀个注册服务器上可以有多个仓库， ⽽每个仓库下⾯可以有多个镜像。公有仓库Docker Hub 是 docker 官方提供的最
转载
2024-03-27 20:11:59
66阅读
容器管理一.创建容器常用选项 docker container --help 指令描述资源限制指令-i, --interactive交互式 -m，--memory 容器可以使用的最大内存量 -t, --tty 分配一个伪终端 --memory-swap允许交换到磁盘的内存量 -d, --detach 运
转载
2024-03-29 20:20:37
164阅读
# 使用 JPS 查看容器内部 Java 虚拟机状态
在现代云计算和容器化环境中，Java 应用服务通常以容器的形式运行。由于容器的特性，我们需要借助特定工具来对其内部的 Java 虚拟机（JVM）进行监控和管理。本文将重点介绍如何使用 JPS（Java Process Status）来查看容器内部的 Java 进程，并解决实际问题。
## 1. JPS 介绍
JPS 是 Java 提供的一
数仓理论基础什么是数仓？存储数据、具备管理 分析能力，为企业做决策提供数据依据。数据仓库的主体 hive两种建模方式： ER和维度ER模型实体关系模型： 将复杂的数据抽象为 实体和关系。实体表示一个对象，关系指的是两个实体之间的关系，比如学生和班级之间的从属关系。举例：学生管理系统 管理学生和班级的信息1.抽取实体： 学生、班级2.实体关系模型 一对多 画图 ER图3.建表，通常一个实体对应一张表
如何实现“代码仓 依据什么分仓”
## 1. 概述
在软件开发过程中，代码仓库是非常重要的工具，它可以帮助开发团队进行版本控制、协作开发、代码管理等。而代码仓库的分仓则是指将代码仓库按照一定的规则划分成不同的分支，以便更好地管理和组织代码。
在本文中，将介绍如何实现代码仓的分仓，包括整个流程、每一步需要做什么，以及需要使用的代码和其注释。
## 2. 流程
下面的流程图展示了代码仓依据什
原创
2024-01-12 19:06:01
108阅读
分层建设理论简单点儿，直接ODS+DM就可以了，将所有数据同步过来，然后直接开发些应用层的报表，这是最简单的了；当DM层的内容多了以后，想要重用，就会再拆分一个公共层出来，变成3层架构,这个过程有点类似代码重构，就是在实践中不断的进行抽象、总结。数仓的建模或者分层，其实都是为了更好的去组织、管理、维护数据,所以当你站在更高的维度去看的话，所有的划分都是为了更好的管理。小到JVM 内存区域的划分，J
转载
2024-03-05 13:59:28
64阅读
之前一直迷迷糊糊的，明明OrderSend（）是开仓，又叫做发出订单。 那么那里看仓位数呢？ 后来才明白，原来每一个订单都是一个单独的仓。 换句话说，每发出一个OrderSend（）都是开了一个仓
转载
2017-05-16 12:34:00
72阅读
2评论
## 数仓分层架构导出仓实现指南
数仓分层架构是数据工程中的一个重要概念，通过对数据进行分层，可以更好地管理、处理和分析数据。本文将带您理解如何实现“数仓分层架构 导出仓”，并详述每一个步骤与代码实例。
### 流程概述
以下是实现“数仓分层架构 导出仓”的基本流程：
| 步骤 | 描述 |
|------|-------
原创
2024-10-18 10:18:50
58阅读
在谈数仓之前，先来看下面几个问题：数仓为什么要分层？用空间换时间，通过大量的预处理来提升应用系统的用户体验（效率），因此数据仓库会存在大量冗余的数据；不分层的话，如果源业务系统的业务规则发生变化将会影响整个数据清洗过程，工作量巨大。通过数据分层管理可以简化数据清洗的过程，因为把原来一步的工作分到了多个步骤去完成，相当于把一个复杂的工作拆成了多个简单的工作，把一个大的黑盒变成了一个白盒，每一层的处理
转载
2024-04-29 08:58:48
0阅读
一、概要（1）每个算法厂家在秀++云平台上会有一个厂商标识，譬如CS101；算法厂家可能有多个算法引擎，每个引擎有一个标识譬如Q101，引擎可以理解为一个可执行程序，可以同时分析多路算法；每个算法在秀++也有标识，譬如SF101。 这三个标识秀++会和厂商进行分享。 树状图理解：厂商算法引擎烟火判断安全帽算法（2）算法引擎会安装在一个载体上，也许在云端，也许在VCELL上。如果在VCEL
转载
2023-09-09 08:04:46
140阅读
物理还原即使用sys_rman将当时做备份的物理文件恢复回来，但由于物理备份时，数据库还是会有不断的数据写入，因此拷贝过程中，物理文件可能已经发生了变化。数据库在物理还原（以下简称还原）结束后，还要进行数据库自己的恢复（以下简称恢复）过程，才能最终达成数据库一致性状态，对外提供服务。因此，真正恢复数据库到用户所用状态，分为了还原和恢复两个部分。注意还原和恢复完成之后，应该尽快进行一次全量备份。目录
这个问题在我第一次面试的时候就问到了，由于有准备所以答得不错，拿到了offer。可以说这个问题是你有没有真正理解JVM各类机制的关键。且听我娓娓道来。 由于这个问题一般不会有博主带你手把手做，我希望通过实践来检验我们的效果。我们开始进入主题。 &nbs
转载
2023-09-25 04:20:48
68阅读
一、数据模型数据模型就是数据组织和存储方法，它强调从业务、数据存取和使用角度合理存储数据。Linux的创始人Torvalds有一段关于“什么才是优秀程序员”的话：“烂程序员关心的是代码，好程序员关心的是数据结构和它们之间的关系”。只有数据模型将数据有序的组织和存储起来之后，数据才能得到高性能、低成本、高效率、高质量的使用。关于数仓的建模有两种基本的模型：1、关系建模（Inmon）关系建模是数据仓库
订单微服务：1. 分析2. 创建订单微服务2.1 引入依赖2.2 配置2.3 启动类2.4 添加路由3. 准备3.1 实体类与数据表3.2 mapper3.3 登录校验4. 创建订单接口4.1 页面分析4.2 封装接收对象4.3 web4.4 service4.4.1 生成订单编号4.4.2 查询sku接口4.4.3 准备物流假数据4.4.4 订单状态4.4.5 减库存4.4.6 完整代码4.5
数据仓库的架构：星型模型和雪花模型架构星型模型是确定了一个事实表和多个维度表雪花模型是：事实表两边的维度表可以再有子表，主要是表达清洗的维度层次关系（例如地区维度省市，品类维度一级品类二级品类）构建企业级数据仓库的流程：1、确定主题确定数据分析或前端展现的主题2、确定量度技术指标的统计值，例如数据汇总的最大值最小值，年销售额等3、确定粒度量度的聚合程度，一...
原创
2021-08-05 13:55:40
748阅读
概述分层模型设计ODS层设计DWD层设计DIM层设计DWS层设计ADS层设计 概述 上一篇主要阐述了 OneData 建模体系中的规范定义部分，而本篇主要阐述的是分层模型设计部分。当了解到每一个业务过程与维度的关联，就可以基本明确需要设计事实表与维度表；再通过明确统计指标的深入分析，就可以下沉某些相同计算逻辑。这是数仓的基本架构雏形已明确，而接下来则是设计各个表如何设计。例如：什么样的表放
转载
2024-05-28 11:24:42
93阅读
数据仓库架构分层1. 数据仓库架构数据仓库标准上可以分为四层：ODS（临时存储层）、PDW（数据仓库层）、DM（数据集市层）、APP（应用层）。1）ODS层：为临时存储层，是接口数据的临时存储区域，为后一步的数据处理做准备。一般来说ODS层的数据和源系统的数据是同构的，主要目的是简化后续数据加工处理的工作。从数据粒度上来说ODS层的数据粒度是最细的。ODS层的表通常包括两类，一个用于存储当前需要加
转载
2024-06-11 01:32:09
90阅读
一、用户行为数据采集 1.数据仓库概念 日志采集系统：用户搜索等行为等数据，做推荐系统等；存在文件，数据量超大； 业务系统数据库：数据库； 爬虫系统等：爬虫； 2.项目需求集架构设计 项目需求：1.数据采集平台搭建；2.实现用户行为数据仓的分层搭建；3.实现业务数据仓库的分层搭建；4.针对数据仓库的 ...
转载
2021-09-06 19:29:00
263阅读
2评论
数仓概念定义数据仓库是一个面向主题的、集成的、随时间变化的、但信息本身相对稳定的数据集合，用于对管理决策过程的支持。（看不懂接着往后看）数仓和数据库 数据库：二维表以及表中全部字段。表与表之间存在关系（可以是多维关系），所以常见的数据库都是用来做业务数据库。而业务数据库中的数据结构是为了完成业务而设计的，数据流和业务流高度重合 -- 清晰的存储
转载
2023-10-15 15:53:13
128阅读
数仓分层的概念由于我们做数据分析，大体上在数仓中都是迭代的计算，这种计算就会分层次来进行。这种迭代，通用可以分为3个层级：ODSDWADSODS层Original data service原始数据层记录的是输入数据仓库数据的原始的样子或者经过少量的修改的样子基本上是和来源的地方一致作用：一种数据备份，数据溯源(迭代计算的起点)DW层Data Warehouse数据仓库层在这个层级内就开始进行数据的
转载
2023-11-02 00:05:29
204阅读
