编者按：本文探讨了数据工程领域的未来趋势和挑战，以及其不断变化、甚至经常出现“重塑”的特点。在数据工程领域，大数据的性能、容量提升总是有一定的上限，每一次进步都会带来一定的技术提升，从而提高上限。但是很快我们就能到达这个上限，直到下一次技术跃升。以下是译文，Enjoy!作者 | Barr Moses编译 | 岳扬图片由作者提供如果你不喜欢拥抱变化，那么数据工程应该不适合你。在这个领域里，
原创
2023-05-04 11:06:07
250阅读
在数字化浪潮下，企业对高效数据分析的需求愈发迫切。无感数据集成作为瑶池数据库原生连接器，实现数据秒级实时同步，性能较普通链路全量+增量同步提升15%，本方案借助AnalyticDB提供无感集成（Zero-ETL）功能，能快速搭建 OLTP 与 OLAP 数据同步链路，一站式完成数据分析同步管理。完成全部任务，即可领取300社区积分兑换各种商城好礼，限量300个，先到先得。?活动入口：点此开启动手实
（给Python开发者加星标，提升Python技能）作者：Charles LeiferPython 3.8 发布在即，核心开发者团队让我总结一下最近讨论的 Python 4.0 预计推出的新功能，代码名为“ Ouroboros：自噬蛇”。Python 4.0 是大家翘首以盼的新版本，也将成为 Python 历史上的重大里程碑，在此感谢为之努力奋斗的 100 多名贡献者。经过邮件列表上的论战，PEP
转载
2024-01-10 22:55:29
52阅读
from：http://utildothashmap.blogspot.com/2011/08/negative-zero-vs-positive-zero.htmlIncase if you crossed your SCJP certification, you might aware of negative zero. Otherwise I don’t think we often ref
转载
精选
2013-08-16 11:09:48
2528阅读
最近写了一个针对数据仓库ETL的测试框架，baidu google了一下发现还没有非常靠谱的同类型框架或解决方案，就忍不住提前分享一下（其实是因为周五下午不想干活）。
首先分享一下我们过去测试ETL的方法：很简单，就是写两段SQL分别query上下两层数据，然后通过数据库的minus方法来得到不符合预期的数据，进而进行分析。例如
-- Source
转载
2023-08-31 18:19:57
203阅读
日志采集、加工、分析、归档有着一套流程。
转载
2017-07-05 22:39:00
402阅读
2评论
ETL，全称 Extract-Transform-Load，它是将大量的多个来源的原始数据经过提取（extract）、清洗加转换（transform）、加载（load）到目标存储数据仓库或数据湖的过程；
在21世纪大数据时代，我们的系统中有来自各种来源的结构化和非结构化数据，包括：来自在线支付和客户关系管理（CRM）系统的客户数据、来自供应商系统的库存和
转载
2023-07-11 22:35:37
104阅读
熟悉TASKCTL4.1一段时间后，觉得它的调度逻辑什么的都还不错，但是感觉单机部署不太够用。想实现跨机调度作业，就要会TASKCTL的集群部署。下面就是我在网上找到的相关资料，非原创。单机部署成功后，要在单机部署的基础上，增加3个CTL节点：1个MAgent和2个Sagent，来完成集群部署。将服务端的安装包分别上传至magent、sagent1和sagent2账户，其操作都是一样的
转载
2023-07-08 14:29:02
108阅读
ETL 是数据抽取（Extract）、转换（Transform）、加载（Load）的简写，它的功能是从数据源抽取出所需的数据，经过数据清洗和转换，最终按照预先定义好的数据仓库模型，将数据加载到数据仓库中去，是构建数据仓库最重要的一步。在数据加载到数据库的过程中，分为全量加载（更新）和增量加载（更新）。全量加载：全表删除后再进行数据加载的方式。增量加载：目标表仅更新源表变化的数据。全量加载从技术角度
转载
2023-08-31 20:52:12
135阅读
1. 安装4.0框架ETL的正运行前提是操作系统中已经安装有4.0框架。如果没有，请在运行ETL工具前将其提前安装。2. 解压ETL工具安装包将接收到的ETL工具压缩包解压到本地3. 安装建库脚本在oracle库中创建新用户，一般用户名为SJTB,然后在在ETL所在的目录下找到【建库脚本oracle.sql】，将该脚本其在SJTB用
转载
2023-08-31 08:28:17
180阅读
常用的数据集成ETL工具有哪些？ETL工具用于将异构数据转换为同类数据，然后由数据科学家用于从数据中获得有价值的数据，常用的ETL工具有Microsoft-SQL Server集成服务、AWS Glue、Apache NiFi、Informatica PowerCenter、IBM的Infosphere Information Server等。ETL工具是什么呢？ETL是英文Extract-Tra
转载
2023-08-14 12:10:20
106阅读
数据仓库是由外部多个数据源汇总集成的，“集成”这个词代表并不是简单的堆积，而是需要进行一些逻辑处理，数仓的集成就是这样，因为外部数据源都是异构的，所以需要做很多工作才可以进行集成，这些工作包括但不限于：字段的意义统一，轻度统计等。抽取数据有如下策略：时间戳判断扫描增量文件日志文件，审计文件扫描修改应用程序（很少使用）映像文件扫描（很少使用）另外，抽取的数据需要增加时间戳（必须的），存储到介质里面需
转载
2024-03-04 02:30:29
80阅读
为什么使用geventPython通过yield提供了对协程的基本支持，但是不完全。比如python的yield虽然提供了对协程的支持，但是需要用send手动发送数据(比如io操作时的切换，需要发送 “耗时操作完成”告诉程序可以继续往下走)，才能改变程序的执行流程，，而第三方的gevent为Python提供了比较完善的协程支持。gevent的优点gevent是第三方库，通过greenlet实现协程
转载
2024-07-03 07:45:52
65阅读
一、ETL概念 ETL是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程，目的是将企业中的分散、零乱、标准不统一的数据整合到一起，为企业的决策提供分析依据， ETL是BI（商业智能）项目重要的一个环节。二、E-T-L架构分类 ETL所描述的过程，一般常见的作法包含ETL或
转载
2023-09-28 08:31:01
185阅读
针对postgresql被除数不可以为01.select COALESCE(b.price, 0) as price from fruit_sale b 2.select case when c2=0 then null else c1/c2 end from tbl; 3.修改PG源码，新增一个GUC变量如enable_divs_zero，默认为off，则使用原有的处理方式。
原创
2023-03-21 19:51:17
125阅读
Zero or OneFile: zero.[c|cpp|java]Everyone probably knows the game Zero or One (in some regions in Brazil also known as Two orOne), used to determine a winner among three or more players. For those...
原创
2021-06-17 15:10:44
497阅读
2017年10月19日，DeepMind团队重磅发布AlphaGo Zero，再次...
转载
2022-04-20 20:32:59
908阅读
# Divide By Zero in Java: A Deep Dive
In the world of programming, one of the most common errors that developers encounter is the infamous "divide by zero" error. This error occurs when a program att
原创
2024-02-24 08:09:20
24阅读
传统的I/O使用传统的I/O程序读取文件内容, 并写入到另一个文件(或Socket), 如下程序:File.read(fileDesc, buf, len);Socket.send(socket, buf, len);会有较大的性能开销, 主要表现在一下两方面:1. 上下文切换(context switch), 此处有4次用户态和内核态的切换2. Buffer内存开销, 一个是应用程序buffe
转载
2020-06-14 10:25:00
213阅读
2评论
Zero or OneFile: zero.[c|cpp|java]Everyone probably knows the game Zero or One (in some regions in Brazil also known as Two orOne), used to determine a winner among three or more players. For those...
原创
2022-03-01 17:31:26
624阅读
