LightGao的博客_ClickHouse 在企业级,Spark3.0-SQL内核源,实时数仓

AI入门指南(四)：分类问题、回归问题、监督、半监督、无监督学习是什么？

人工智能（AI）已经成为我们生活中不可或缺的一部分，从推荐你喜欢的电影，到chatGTP对话，AI的应用无处不在。然而，对于刚刚接触

人工智能

分类

回归

机器学习

深度学习

原创 22天前 44 阅读

国内AI大模型盘点：中国科技巨头塑造智能新时代

国家网信办官网发布信息，为推动生成式人工智能服务的创新与规范应用，网信部门联合相关部门，依据《生成式人工智能服务

人工智能

科技

大模型

AI

深度学习

原创 22天前 44 阅读

AI入门指南(三)：特征、欠拟合、过拟合、离散数据、连续数据是什么？

在这篇文章中，我们深入探讨了机器学习中的核心概念，如特征、离散数据与连续数据、分类与回归问题，以及过拟合与欠拟合等内容。通过结合实际案例，尤其是

人工智能

大模型

算法

训练

特征向量

原创 1月前 44 阅读

AI入门指南(二)：算法、训练、模型、大模型是什么？

在这篇文章中，我们探讨了“大模型”的概念及其与小模型的区别。大模型基于先进的神经网络算法，如卷积神经网络（CNN）、

人工智能

算法

大模型

训练

AI

原创 1月前 47 阅读

AI入门指南(三)：特征、欠拟合、过拟合、离散数据、连续数据是什么？

在这篇文章中，我们深入探讨了机器学习中的核心概念，如特征、离散数据与连续数据、分类与回归问题，以及过拟合与欠拟合等内容。通过结合实际案例，尤其是贷款申请的数据示例，帮助读者更好地理解这些概念的实际应用

机器学习

人工智能

算法

数据

拟合

原创 1月前 38 阅读

AI入门指南(二)：算法、训练、模型、大模型是什么？

在这篇文章中，我们探讨了“大模型”的概念及其与小模型的区别。大模型基于先进的神经网络算法，如卷积神经网络（CNN）、循环神经网络数来

人工智能

数据

决策树

决策树算法

原创 1月前 52 阅读

湖仓一体2.0：智能湖仓的新时代

本文详细探讨了智能湖仓的起源、关键特性和实际应用，揭示其如何在湖仓一体（Data Lakehouse）的基础上，通过集成AI、机器学习和自动化等功能，进一步提升数据管理和分析的效率。

后端

数据

数据管理

数据仓库

原创精选 1月前 184 阅读

从数据湖到湖仓一体：统一数据架构演进之路

本文详细探讨了从数据湖到湖仓一体的演进过程及其在现代数据管理中的重要性。湖仓一体由Databricks于2020年提出，旨在

后端

架构

面试

数据

数据仓库

原创精选 1月前 167 阅读

从数据仓库到数据湖(下)：热门的数据湖开源框架

在上一篇从数据仓库到数据湖(上)：数据湖导论文章中，我们简单讲述了数据湖的起源、使用原因及其本质。本篇文前数据湖技术的理解和看

后端

架构

Apache

数据

开源框架

原创精选 1月前 135 阅读

从数据仓库到数据湖(上)：数据湖导论

什么是数据湖？起源数据湖的概念最早由Pentaho的创始人兼CTO詹姆斯·迪克森（James Dixon）于2010年10月在纽约Hadoop World大会上提出。

后端

架构

数据

数据仓库

结构化

原创精选 1月前 137 阅读

告别硬编码：Spring条件注解优雅应对多类场景

背景：在当今的软件开发中，服务接口通常需要对应多个实现类，以满足不同的需求和场景。举例来说，假设我们是一家2B公司，公司的产品具备对象存储署时，发现每

Java

后端

架构

java

ide

原创 1月前 35 阅读

SDK定制化开发实践：SDK改造中的关键问题及解决方案

背景: 在我们之前的文章产品SDK化转型：标准化与机构个性化定制解决方案中，我们探讨了一种基于SDK的灵活架构设计，

后端

架构

Java

对象存储

解决方案

原创 1月前 22 阅读

并发编程三要素：可见性、原子性、有序性

一、介绍 1、什么是可见性、原子性、有序性？可见性（visibility）：指一个线程对共享变量的修改能够被其他线程立即看到的特性。在多线程环境下，如果一个线程修改了一个共享变量的值，那么其他线程可

前端

Java

架构

可见性

有序性

原创 1月前 33 阅读

Flink实时数仓同步：实时表、流水表、快照表整合实战详解

在大数据领域，数据分析、实时数仓已经成为平台上常见的功能之一。无论是进行实时分析还是离线分析，都离不开数仓中的表数

Flink

数据

mysql

表数据

原创 4月前 338 阅读 1点赞

Java SPI解读：揭秘服务提供接口的设计与应用

在 Java 编程中，SPI（Service Provider Interface）是实现可插拔式应用的一种机制。它就像是应用程序的魔法盒，

Java

java

bc

动态加载

原创精选 4月前 135 阅读 1点赞 1收藏

Flink实操：Flink SQL实现SFTP文件读写操作

公司需要将Doris数据库中的部分表数据同步至SFTP服务器，以供其他合作企业安全读取和使用。目前，平台数据

Flink

flink

apache

hadoop

原创精选 4月前 229 阅读 1点赞

深入数仓离线数据同步：问题分析与优化措施

在数据仓库领域，离线数仓和实时数仓是常见的两种架构类型。离线数仓一般通过定时任务在特定时间点（通常是凌晨）将业

Apache Hive

数据

离线

数据仓库

原创 4月前 173 阅读 1点赞 1收藏

Flink实时数仓同步：拉链表实战详解

在大数据领域，初始阶段业务数据通常被存储于关系型数据库，如MySQL。然而，为满足日常分析和报表等需求，大数据平台采

Flink

数据

链表

sql

原创 4月前 92 阅读 1点赞 1收藏

数仓日常维护：剖析每日增量同步的内部机制

在现代企业中，离线仓库扮演着不可或缺的角色。它充当着一个数据的中心枢纽，存储和管理着海量的信息。作

Apache Hive

数据

离线

数据同步

原创精选 4月前 202 阅读

Flink实时数仓同步：流水表实战详解

在大数据领域，初始阶段业务数据通常被存储于关系型数据库，如MySQL。然而，为满足日常分析和报表等需求，大数据平

Flink

数据

离线

sql

原创 4月前 153 阅读 1点赞 1收藏

Flink实时数仓同步：快照表实战详解

在大数据领域，初始阶段业务数据通常被存储于关系型数据库，如MySQL。然而，为满足日常分析和报表等需求，大数据平台采

Flink

数据

实时同步

表数据

原创 4月前 52 阅读

Flink实时数仓同步：实时表实战详解

在大数据领域，初始阶段业务数据通常被存储于关系型数据库，如MySQL。然而，为满足日常分析和报表等需求，

Flink

mysql

数据

sql

原创 4月前 168 阅读 1点赞 1收藏

解码 SQL：深入探索 Antlr4 语法解析器背后的奥秘

在数据领域，SQL（Structured Query Language）是一门广泛使用的语言，用于查询和处理数据。你可能已经使用过诸如MySQL、Hive、ClickHouse、Doris、Spark和Flink等工具来编写SQL查询。这正是本文将要探讨的问题。将由浅入深了解SQ...

SQL

数据

解析器

原创 4月前 32 阅读 1点赞 1收藏

Git 与 Maven：企业级版本管理与版本控制规范设计

当今，许多开发人员熟悉 GitFlow 工作流程，但往往忽略了 GitFlow 如何与 Maven 版本控制结合，尤其是在管理 snapshot 和 release 版本时的最佳实践。本文旨在整合 GitFlow 工作流程与 Maven 版本管理，提出一个统一的企业级规范，以供开...

Git

版本号

版本控制

版本管理

原创精选 4月前 167 阅读

深度探究依赖冲突 NoSuchMethodError 问题解决之道

由于公司parent-pom.2023-10-26 14:09:24.555 ERROR [main] [tid:TID: N/A|req:|cip:|channel:] [o.s.b.java. lang. NoSuchMethodError: com.google.commo...

Java

java

spring

jar

原创精选 4月前 211 阅读

数据仓库发展历史

数据仓库是企业中用于存储、整合和分析数据的关键组件。第一代数据仓库的优点和缺点。结构化和规范化：第一代数据仓库采用分层架构，将数据按照一定的规则和结构进行组织，使数据具有一定的结构性和规范性。这有助于提高数据的可管理性和可维护性。易于控制和管理：通过分层架构，数据仓库可以更好地进...

数据库

数据仓库

数据

交互方式

原创 4月前 52 阅读

数据仓库设计理论

1.数据仓库是一个用于集成、存储和分析大量结构化和非结构化数据的中心化数据存储系统。它旨在支持企业的决策制定和业务分析活动。1.主题导向：数据仓库围绕特定的主题或业务领域进行建模和组织，例如销售、客户、供应链等。这种主题导向的设计使得数据仓库更加聚焦和专注，便于用户进行特定领域的...

数据库

数据

数据仓库

建模

原创精选 4月前 147 阅读 1点赞 1收藏

数据治理设计理论

数据治理是一种综合性的、系统性的数据管理过程，旨在确保组织内的数据质量、安全性、可用性和合规性。数据治理的目标是建立健康的数据管理体系，使组织能够更好地管理、维护和利用数据资源。碍于篇幅，本文主要讲述数据仓库领域(Hive)数据治理。数仓分层：数据仓库分层是将数据仓库架构划分为不...

数据库

数据

字段

Hive

原创精选 4月前 124 阅读

轻松操纵SQL：Druid解析器实践

在BI（Business Intelligence）场景中，用户会频繁使用SQL查询语句，但在平台运作过程中，面临着权限管理、多数据源处理和表校验等多种挑战

SQL

数据库连接池

应用程序

原创 5月前 134 阅读

产品SDK化转型：标准化与机构个性化定制解决方案

在互联网行业中，企业通常可分为两大类别：2C和2B。对于2B企业而言，它们的产品往往以产品的形式提供给各个合作机构。以金融领域为例，一家

设计模式

java

spring

自动装配

原创精选 5月前 189 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

探索大数据世界

AI入门指南(四)：分类问题、回归问题、监督、半监督、无监督学习是什么？

国内AI大模型盘点：中国科技巨头塑造智能新时代

AI入门指南(三)：特征、欠拟合、过拟合、离散数据、连续数据是什么？

AI入门指南(二)：算法、训练、模型、大模型是什么？

AI入门指南(三)：特征、欠拟合、过拟合、离散数据、连续数据是什么？

AI入门指南(二)：算法、训练、模型、大模型是什么？

湖仓一体2.0：智能湖仓的新时代

从数据湖到湖仓一体：统一数据架构演进之路

从数据仓库到数据湖(下)：热门的数据湖开源框架

从数据仓库到数据湖(上)：数据湖导论

告别硬编码：Spring条件注解优雅应对多类场景

SDK定制化开发实践：SDK改造中的关键问题及解决方案

并发编程三要素：可见性、原子性、有序性

Flink实时数仓同步：实时表、流水表、快照表整合实战详解

Java SPI解读：揭秘服务提供接口的设计与应用

Flink实操：Flink SQL实现SFTP文件读写操作

深入数仓离线数据同步：问题分析与优化措施

Flink实时数仓同步：拉链表实战详解

数仓日常维护：剖析每日增量同步的内部机制

Flink实时数仓同步：流水表实战详解

Flink实时数仓同步：快照表实战详解

Flink实时数仓同步：实时表实战详解

解码 SQL：深入探索 Antlr4 语法解析器背后的奥秘

Git 与 Maven：企业级版本管理与版本控制规范设计

深度探究依赖冲突 NoSuchMethodError 问题解决之道

数据仓库发展历史

数据仓库设计理论

数据治理设计理论

轻松操纵SQL：Druid解析器实践

产品SDK化转型：标准化与机构个性化定制解决方案