1.首先安装TDengine服务端在linux上安装过程直接去官网看，非常详细简单2.出现的问题 windows连接 invalid app version 版本不对应 版本不对应的问题，需要在linux上安装的版本和windows client版本一致，不然windows无法连接服务端3.windows client 安装的时候必须要用管理员模式下安装这样&n
转载
2024-07-02 11:10:20
153阅读
将springboot整合httpshttps和tls的概念这里就不说了,这里说一下keytool1. 什么是keytool和keystorekeytool 是个密钥和证书管理工具。它使用户能够管理自己的公钥/私钥对及相关证书，用于（通过数字签名）自我认证（用户向别的用户/服务认证自己）或数据完整性以及认证服务。在JDK 1.4以后的版本中都包含了这一工具，它的位置为%JAVA_HOME%\bin
SparkETLSparkETL主要用SQL方式实现数据仓库ETL，并保持spark的原生多功能、灵活性。采用java对spark功能进行简单封装，对于数据源、目标都是关系型数据库的，从数据抽取、转换、加载完全采用SQL方式，对于SQL不满足的场景，再用spark相关功能实现。 SparkETL是ETL的一个参考实现，实际使用时，需要根据业务需要及模型设计在此基础上增加、修改。实现背景Spark基
转载
2023-12-06 21:03:58
154阅读
可读可写状态1.下列四个条件中的任何一个满足时，一个套接口准备好读：a.该套接口接收缓冲区中的数据字节数大等于套接口接收缓冲区的低潮标记，对于TCP和UDP而言，其缺省值为1；b.该连接的读这一半关闭，对这样的套接口的读操作将不阻塞并返回0；c.该套接口是一个监听套接口且已完成的连接数不为0；（就是accept成功返回)d.其上有一个套接口错误等待处理，对这样的套接口的读操作将不阻塞并返回-1；
Python的解读Python 是一种高级、通用的编程语言，由荷兰程序员吉多·范罗苏姆（Guido van Rossum）于1990年代初设计并发布。Python的设计哲学强调代码的可读性和简洁性，它的语法清晰且表达力强，使得开发者能够以更少的代码行数表达复杂的概念。这使得Python成为了编程入门者的理想选择，同时也被专业开发者广泛用于快速开发各种应用程序。Python作为一个胶水语言具有简单易
转载
2024-07-29 14:41:52
22阅读
前言：和Python断断续续的在一起有三年的时间了，虽然不是主Python开发也不是每天都在用的那种，但在平时的工作中确确实实带来了很大的便利，接下来的日子里，我会对以前的知识进行个总结，一方面做个记录，一方面希望可以帮到正奔波在学习路上的你。了解python：Python是什么？ Python是一种解释型、面相对象、动态数据类型的高级程序设计语言。解释型：没有编译环节交互式：可以在一个pytho
微服务多数据库情况下可以使用canal替代触发器，canal是应阿里巴巴跨机房同步的业务需求而提出的，canal基于数据库的日志解析，获取变更进行增量订阅&消费的业务。无论是canal实验需要还是为了增量备份、主从复制和恢复，都是需要开启mysql-binlog日志，数据目录设置到不同的磁盘分区可以降低io等待。canal 工作原理canal 模拟 MySQL slave 的交互协议，伪装
转载
2024-05-10 11:43:21
359阅读
Python是一种功能强大且易于学习的编程语言，它可以用于各种任务，包括ETL（抽取、转换和加载）过程。在本文中，我将向你介绍如何使用Python进行ETL，并提供代码示例来帮助你入门。
首先，让我们来了解一下ETL的流程。ETL是指将数据从一个系统抽取出来，经过一系列的转换和清洗，最后加载到目标系统中。下面是ETL流程的简要说明：
```
抽取 --> 转换 --> 加载
```
现在，让
原创
2023-12-26 07:37:05
31阅读
HAWQ取代传统数仓实践（三）——初始ETL（Sqoop、HAWQ）一、用sqoop用户建立初始抽取脚本 本示例要用Sqoop将MySQL的数据抽取到HDFS上的指定目录，然后利用HAWQ外部表功能将HDFS数据文件装载到内部表中。表1汇总了示例中维度表和事实表用到的源数据表及其抽取模式。源数据表HDFS目录对应EXT模式中的表抽取模式customer/data/ext/customercust
转载
2024-07-23 01:25:43
50阅读
前言我们知道SpringBoot给我们带来了一个全新的开发体验，我们可以直接把web程序达成jar包，直接启动，这就得益于SpringBoot内置了容器，可以直接启动，本文将以Tomcat为例，来看看SpringBoot是如何启动Tomcat的，同时也将展开学习下Tomcat的源码，了解Tomcat的设计。从 Main 方法说起从main方法跟进，通过 SpringApplication.run(
转载
2024-06-06 13:54:34
57阅读
本文介绍了如何使用Python进行ETL数据处理的实战案例，包括数据提取、数据转换和数据加载三个步骤。我们使用pandas库将CSV文件读取为DataFrame对象，并对其中的销售数据进行了一些处理和转换，然后使用pymysql库将转换后的数据插入到MySQL数据库中。
原创
2023-04-24 19:13:22
1261阅读
ETL工程师是负责ETL（Extract, Transform, Load）过程的专业人员。ETL是数据仓库和数据集成的关键组成部分，用于从多个不同的数据源中提取数据，对数据进行转换和清洗，最后加载到目标数据存储中。ETL工程师的主要职责包括：数据提取（Extract）：从各种数据源（如数据库、文件、API等）中提取数据。
数据转换（Transform）：对提取的数据进行清洗、转换和加工，确保数据
转载
2024-09-29 21:23:06
39阅读
在实际操作过程中，数据有可能会报错，这时我们可能会需要进行错误定义，所谓的错误定义就是怎么对错误进行错误处理，这里解说一种很基础的错误处理，就是把错误输出：这是我的一个实际业务操作，大家可以看到在这中间有两个红叉，红叉后面又有其他的步骤，这就是最简单的错误处理，对于第一个错误定义，表输出报错的时候，我要执行后面的增加常量和更新，并且我还做了另外一个详细定义，怎么操作呢，鼠标左键红叉，会弹出一个对话
原创
2018-08-31 10:37:18
2356阅读
一、spring boot备份数据库基本知识1、获取当前的操作系统名称以及操作一些命令获取当前操作系统名字通过cmd命令进行操作@Test
void contextLoads() {
String sysName = System.getProperty("os.name").toLowerCase();
System.out.println(sysName);
Stri
好几年前写了一篇《SSIS利用Microsoft Connector for Oracle by Attunity组件进行ETL!》，IT技术真是日新月异，这
原创
2022-01-10 16:52:40
163阅读
# 使用Python进行CSV数据读取与ETL清洗
在数据科学和数据分析领域，清洗和处理数据是至关重要的步骤。在本篇文章中，我们将介绍如何使用Python读取CSV数据，并利用ETL（提取、转换、加载）方法对数据进行清洗。我们还将创建一个饼状图和关系图来帮助展示我们处理后的数据结构。
## 一、CSV文件简介
CSV（Comma Separated Values）文件是一种简单的文件格式，用
原创
2024-08-10 07:45:21
96阅读
# 使用Python进行ETL的普及与实践
在数据驱动的时代，数据的获取、处理和存储变得尤为重要，而ETL（提取、转换与加载）作为数据处理的核心流程，正是实现这一目标的关键环节。Python凭借其丰富的库和良好的可读性，成为了进行ETL工作的热门语言。本文将通过示例解析ETL的基本概念，并使用Python完成一个简单的ETL过程。
## ETL的基本概念
ETL是指数据的提取（Extract
原创
2024-09-09 06:23:25
78阅读
Hive的学习和使用本文是基于CentOS 7.3系统环境，进行hive的学习和使用CentOS 7.3一、Hive的简介1.1 Hive基本概念(1) 什么是hiveHive是用于解决海量结构化日志的数据统计工具，是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能(2) Hive的本质Hive的本质就是将HQL转化成MapReduce程序1.2 Hi
转载
2023-07-13 01:24:40
71阅读
SpringCloud使用ElasticSearch搜索微服务模块结构配置文件pom.xml----->elasticsearch依赖<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-data-elas
转载
2024-10-19 18:14:57
44阅读
最近写了一个针对数据仓库ETL的测试框架，baidu google了一下发现还没有非常靠谱的同类型框架或解决方案，就忍不住提前分享一下（其实是因为周五下午不想干活）。
首先分享一下我们过去测试ETL的方法：很简单，就是写两段SQL分别query上下两层数据，然后通过数据库的minus方法来得到不符合预期的数据，进而进行分析。例如
-- Source
转载
2023-08-31 18:19:57
203阅读
