# 如何实现 HUID (Human Unique Identifier) 而不使用 Spark
## 介绍
在数据处理和数据科学中，生成唯一标识符是非常常见的需求。HUID（Human Unique Identifier）作为一种独特的标识符，有助于区分不同的数据记录。在本篇文章中，我们将了解如何在不使用 Spark 的情况下实现 HUID。
## 整体流程概述
在实现 HUID 的过程
1、Presto简介1.1 Presto概念Presto是一个开源的分布式SQL查询引擎，数据量支持GB到PB字节，主要用来处理秒级查询的场景注意：虽然Presto可以解析SQL，但它不是一个标准的数据库；不是MySQL、Oracle的代替品，也不能用来处理在线事务（OLTP）1.2 Presto架构Presto由一个Coordinator和多个Worker组成1.3 Presto优缺点1.3.1
转载
2024-02-27 19:41:50
76阅读
遇到一个MySQL小问题 Data truncation: Out of range value for column 'huid' at row 1 遇到一个MySQL小问题 Data truncation: Out of range value for column 'huid' at row
转载
2021-08-05 15:40:02
222阅读
Spark DataFrame入门学习笔记 文章目录Spark DataFrame入门学习笔记1. 添加配置文件1.1、 配置文件存放目录1.2、 添加读取配置代码2. 初始化Spark3. 读入数据3.1、 本地文件导入2.2 从Hive数据库中读取2.3 从关系型数据库中读取(eg: Mysql)4. 数据倾斜后的散列操作4.1 添加随机数散列到不同节点5. 数据分批次处理 1. 添加配置文件
转载
2024-05-30 17:22:39
47阅读
http://acm.hdu.edu.cn/showproblem.php?pid=5558 对于每个后缀suffix(i)，想要在前面i - 1个s
原创
2022-10-20 11:32:51
21阅读
1.hudi 简介Huid支持流式的读写操作，流数据可以通过Huid的增量来进行数据追加，精准的保存Index位置，如果一旦写入或者读出的时候出现问题，可以进行索引回滚数据，因为在Hudi写入和写出的时候他是要记录元数据信息的。
Hudi最大的特点就是会进行预写日志功能，也就是把所有的操作都先预写，然后一旦发生问题就会先找预写日志Log，进行回滚或者其他操作，所以你会发现在Hudi中，它会写很多
转载
2023-11-18 16:22:17
136阅读
