kafka集群搭建 三台Linux机器 ifconfig获取机器IP kafka-01 10.10.67.102 kafka-02 10.10.67.104 kafka-03 10.10.67.106一、安装jdk环境（三台机器执行相同操作） 1、下载包 jdk-8u192-linux-x64.tar.gz 2、拷贝到/opt目录下面 3、解压 tar -zxvf jdk-8u192-linux-
转载
2024-03-26 10:35:03
62阅读
版本和环境准备本次实战的环境和版本如下：JDK：1.8.0_211Flink：1.9.2Maven：3.6.0操作系统：macOS Catalina 10.15.3 （MacBook Pro 13-inch, 2018）IDEA：2018.3.5 (Ultimate Edition)Kafka：2.4.0Zookeeper：3.5.5请确保上述环境和服务已经就绪；源码下载如果您不想写代码，整个系列
第1章 需求分析和实现思路
1.1 实时数仓分层
在之前介绍实时数仓概念时讨论过，建设实时数仓的目的，主要是增加数据计算的复用性。每次新增加统计需求时，不至于从原始数据进行计算，而是从半成品继续加工而成。我们这里从kafka的ods层读取用户行为日志以及业务数据，并进行简单处理，写回到kafka作为dwd层。1.2 每层职能
分层数据描述生成计算工具存储媒介ODS
转载
2024-05-29 06:13:58
105阅读
# 旅行图与动态规划
在计算机科学领域，旅行图是一种重要的数据结构，用于表示一系列的旅行点以及它们之间的距离。旅行图被广泛应用于旅行商问题（TSP）等相关领域。本文将介绍旅行图的基本概念和应用，并通过动态规划方法解决旅行商问题。
## 旅行图的定义与表示
旅行图由一组旅行点和它们之间的距离组成。在计算机中，我们可以使用矩阵或者邻接表来表示旅行图。下面是一个旅行图的示例，其中包含5个旅行点（A
原创
2024-01-09 23:56:08
29阅读
**Title: A Beginner's Guide to Ads and DWD with Code Examples**
Introduction:
In today's digital world, advertisements (ads) play a crucial role in promoting products, services, and ideas. They allow
原创
2024-01-12 22:09:00
65阅读
如何实现“dwd dws as”
作为一名经验丰富的开发者，我将教会你如何实现“dwd dws as”。首先，让我们来看一下整个实现过程的流程图。
```mermaid
erDiagram
Developer --> Newbie : 教授“dwd dws as”实现方法
Newbie --> Developer : 学习并完成任务
```
接下来，让我们逐步介绍每个步骤，并
原创
2024-01-10 03:06:53
64阅读
HIve数仓新零售项目注：大家觉得博客好的话，别忘了点赞收藏呀，本人每周都会更新关于人工智能和大数据相关的内容，内容多为原创，Python Java Scala SQL 代码，CV NLP 推荐系统等，Spark Flink Kafka Hbase Hive Flume等等~写的都是纯干货，各种顶会的论文解读，一起进步。 今天继续和大家分享一下HIve数仓新零售项目 #博学谷IT学习技术支持 文章
转载
2023-09-15 20:48:42
121阅读
## 带有代码示例的科普文章：DWD和DWS
### 什么是DWD和DWS？
在软件开发中，DWD和DWS是两个重要的概念，分别代表着“数据库设计”和“数据仓库设计”。它们在数据管理和数据分析领域中起到了至关重要的作用。
### DWD：数据库设计
数据库设计（Database Design，DWD）是指在开发一个软件应用的过程中，针对该应用所需要的数据进行合理的组织和设计的过程。
在数
原创
2024-01-12 17:36:31
101阅读
2021年10月25日开始，业务大爆发，数据量激增 ，到了28日zabbix监控显示差不多堆积了90万的消息通过skywalking查看消费者的消费吞吐量并没有异常，是业务数据大爆发，造成了日数据增量成倍增加，消费不及时，造成了消息堆积。逐步排查消费瓶颈在何处：将涉及到的服务资源按，kafka，消费者，目标数据库的cpu,内存，硬盘，带宽，逐一排查；首先因为完全是内网操作，带宽不会达到瓶颈，排除。
转载
2023-12-23 17:45:09
190阅读
1. 背景 接手了一个问题排查的工作，有个Flink任务每天不定时会出现数据积压，无论是白天还是数据量很少的夜里，且积压的数据量会越来越多，得不到缓解，只能每日在积压告警后重启，重启之后消费能力一点毛病没有，积压迅速缓解，然而，问题会周而复始的出现，无论是周末还是节假日，忍不了2. 现象 &n
转载
2024-02-01 15:48:59
138阅读
DWDM（Data Warehouse Dimensional Modeling）是一种用于构建数据仓库的建模方法。而维度建模（Dimensional Modeling）是DWDM的一种重要技术手段，它通过将数据按照业务过程进行分析和设计，从而使数据仓库更加容易理解和使用。本文将介绍维度建模的基本概念和应用，并给出代码示例。
维度建模是一种面向主题的建模方法，它侧重于对业务过程中的主要维度进行建
原创
2024-01-10 02:39:23
45阅读
搭建私服时，下载的是最新的免费版：nexus-3.26.1-02-unix.tar.gz以下也是围绕这个版本说明搭建。1、解压下载的包2、进入bin路径 /usr/local/nexus-3.26.1-02/bin3、启动：./nexus run &如果遇到端口重复问题，需要修改端口，请前往nexus-3.26.1-02/etc/nexus-default.properties
转载
2024-04-06 10:41:29
32阅读
首先下载一个 TortoiseSVN ，我用的是一个野生网站随便下载的，不过最好还是在官网下载：https://tortoisesvn.net/downloads.html 安装的时候记得把这个勾选上（默认是不勾选的）：创建代码仓库安装成功以后，随便找一个路径，创建一个 svnWare 文件夹（名字随意），比如我这里：记录下这个路径，打开 cmd ，输入：svnadmin create E:\My
转载
2024-05-03 13:39:58
445阅读
以下是subversion官方推荐的备份方式。（以下方式全部保留commit日志）svnserver：ip：192.168.85.130hostname：vm2.lansgg.comdata 目录 ：/svn/csvn/data/repositories/svn 仓库结构如下：每个部门一个大的目录，下面分别根据创建仓库，示例目录结构如下：情景一、整目录（仓库）迁移将dev整个迁移到另外
DW ：data warehouse 翻译成数据仓库 DW数据分层，由下到上为 DWD,DWB,DWS DWD：data warehouse detail 细节数据层，有的也称为 ODS层，是业务层与数据仓库的隔离层 DWB：data warehouse base 基础数据层，存储的是客观数据，一般用作中间层，可以认为是大量指标的数据层。 DWS：data warehouse service 服务
转载
2023-11-17 21:00:09
169阅读
# 实现dwd层和dws层的步骤和代码解释
## 引言
在数据仓库的建设中，dwd层和dws层是两个非常重要的概念。dwd层（Data Warehouse Detail）是数据仓库的基础层，用于存储原始的明细数据；dws层（Data Warehouse Summary）是数据仓库的汇总层，用于存储经过加工和计算后的数据。
作为一位经验丰富的开发者，我将会向你介绍实现dwd层和dws层的步骤，
原创
2024-01-15 21:58:44
130阅读
# 教程：构建数据仓库中的ODS与DWD层
在数据仓库的构建过程中，ODS（Operational Data Store）和DWD（Data Warehouse Detail）是两个至关重要的层次。ODS用来存储来自不同源系统的原始数据，而DWD则是经过初步处理后的数据，通常用于数据分析和报表。
## 数据处理流程
以下是构建ODS和DWD的基本流程：
| 步骤 | 说明
一、模型分层缓冲数据模型 BDM 源业务系统数据的快照，保存细节数据，按天分区，会保持最近一段时间数据。一般情况下，每个BDM表对应着源业务系统的一个表或者一个日志文件，数据结构与线上基本是对应的。绝大多数的数据快照是经过增量抽取策略抽过来了，对于不支持增量抽取策略或者数据量极少的表采用全量抽取的策略。基础数据模型 FDM 基础数据模型，用来保存源业务系统数据的快照，数据永久保存。对于有更新操作的
转载
2024-09-05 13:35:31
35阅读
使用Nexus搭建Maven私服仓库一、为什么要使用私服 在项目团队实际开发中，往往Maven仓库需要集中管理。建立内部的私服仓库，能够很好地解决这一问题，既方便对Maven坐标进行管理，也方便仓库Jar的下载。本文主要介绍Nexus来搭建Maven私服仓库，Nexus是一款非常好用的私服搭建工具。二、Nexus主要功能 他可以用来进行指定私服的中央地址、将自己的Maven实际项目推送到私服主流地
转载
2024-05-08 12:16:26
90阅读
SourceTree下载：https://www.sourcetreeapp.com/SourceTree：拥有可视化界面的项目版本控制软件，适用于git项目管理window、mac可用1. 点击克隆/新建 2. 在弹出框中输入项目地址，http或者ssh地址如果箭头指向的仓库类型表明“这不是一个标准的Git仓库”，可能是有以下原因：项目地址获取错误没有项目访问权限3. 点击“克隆”，等
