离线计算概述所谓大数据离线计算，就是利用大数据的技术栈（主要是Hadoop），在计算开始前准备好所有输入数据，该输入数据不会产生变化，且在解决一个问题后就要立即得到计算结果的计算模式。 离线（offline）计算也可以理解为批处理（batch）计算，与其相对应的是在线（online）计算或实时（realtime）计算离线计算的特点大数据离线计算为多种应用场景提供基础计算功能，其特点 为:
转载
2023-09-29 09:51:31
94阅读
转载
2023-06-11 12:48:31
77阅读
在新网银行，每天都有大量的任务实例产生，其中实时任务占据多数。为了更好地处理任务实例，新网银行在综合考虑之后，选择使用 Apache DolphinScheduler 来完成这项挑战。如今，新网银行多个项目已经完成了实时与准实时的跑批，指标管理系统的离线跑批，应用于离线数据开发和任务调度、准实时数据开发和任务调度，以及其他非 ETL 用户定义数据跑批三类场景中。为了更好地适应业务需求，新网银行是如
我们的数据来自各个方面，在面对庞大而复杂的大数据，选择一个合适的处理工具显得很有必要，工欲善其事，必须利其器，一个好的工具不仅可以使我们的工作事半功倍，也可以让我们在竞争日益激烈的云计算时代，挖掘大数据价值，及时调整战略方向。本文转载自中国大数据网。 大数据是一个含义广泛的术语，是指数据集，如此庞大而复杂的，他们需要专门设计的硬件和软件工具进行处理。该数据集通常是万亿或EB的大小。这些数据集收集自
转载
2023-11-29 10:03:00
72阅读
Apache Hadoop:[url]http://hadoop.apache.org/[/url]在近几年已成为大数据行业发展背后的驱动力。各行业对hadoop的广泛应用以及开发出自己的大数据产品.Hadoop带来了廉价的处理大数据（数据容量通常是10-100GB或更多，同时数据种类多种多样，包括结构化、非结构化等）的能力。现今企业数据仓库和关系型数据库
转载
2023-07-24 10:30:57
164阅读
Hadoop 是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high through
转载
2023-07-20 17:49:42
100阅读
作者：东哥起飞
对于Pandas运行速度的提升方法，之前已经介绍过很多回了，里面经常提及
Dask ，很多朋友没接触过可能不太了解，今天就推荐一下这个神器。
1、什么是Dask？ Pandas和Numpy大家都不陌生了，代码运行后数据都加载到RAM中，如果数据集特别大，我们就会看到内存飙升。但有时要处理的数据并不适合RAM，这时候Dask来了。
转载
2024-02-01 19:02:10
32阅读
1 查询引擎 1.1 phoenix 1.2 stinger 1.3 presto 1.4 shark 1.5 pig 1.6 cloudera impala 1.7 apache drill 1.8 apache tajo 1.9 hive 2 流式计算 2.1 facebook puma 2.2
转载
2018-03-16 21:29:00
159阅读
2评论
大数据处理工具 Hadoop 和 Presto 是当今数据分析领域中的重要解决方案，它们能够处理海量数据并提供快速的查询响应。通过结合这些工具，组织能够有效地从数据中获得洞察。然而，在使用这套工具链时，用户可能会遇到一些问题，不可避免地影响了数据处理流程。本文将详细记录解决“大数据处理工具 Hadoop Presto”问题的过程。
## 问题背景
在实际使用 Hadoop 和 Presto 进
之前也做过一段时间的大数据，自己一直记性不太好，怕遗忘所以捞一下~ 本质其实就是一个数据的流转问题。。 目录1.数据采集数据来源数据传输在数据采集时需要注意的一些问题2.数据预处理3.数据入库(数仓)数仓建设1. 需求分析2. 维度建模（星型模型）3. 设计数仓分层架构（ods-dwd-dws-ads）4. 定制规范（命名规范、模型规范、开发规范、流程规范）5. 数据治理（数据质量，数据安全，元数
转载
2023-07-29 21:51:42
313阅读
1 大数据处理的常用方法大数据处理目前比较流行的是两种方法，一种是离线处理，一种是在线处理，基本处理架构如下： 在互联网应用中，不管是哪一种处理方式，其基本的数据来源都是日志数据，例如对于web应用来说，则可能是用户的访问日志、用户的点击日志等。 如果对于数据的分析结果在时间上有比较严格的要求，则可以采用在线处理的方式来对数据进行分析，如使用Spark、Storm等进行处理。比较贴切的一个例子
转载
2023-09-04 11:39:09
119阅读
大数据是一个含义广泛的术语，是指数据集，如此庞大而复杂的，他们需要专门设计的硬件和软件工具进行处理。该数据集通常是万亿或EB的大小。这些数据集收集自各种各样的来源：传感器，气候信息，公开的信息，如杂志，报纸，文章。大数据产生的其他例子包括购买交易记录，网络日志，病历，军事监控，视频和图像档案，及大型电子商务。在大数据和大数据分析，他们对企业的影响有一个兴趣高涨。大数据是研究大量的数据的过程中寻找模
转载
2023-07-20 17:50:03
77阅读
大数据工具可以帮助大数据工作人员进行日常的大数据工作，以下是大数据工作中常用的工具：1. HivemallHivemall结合了面向Hive的多种机器学习算法。它包括诸多高度扩展性算法，可用于数据分类、递归、推荐、k最近邻、异常检测和特征哈希。支持的操作系统：与操作系统无关。2. MahoutMahout 是 Apache Software Foundation（ASF） 旗下的一个开源项目，提供
转载
2023-07-20 17:50:11
67阅读
对于任何一个进入大数据世界的人来讲，大数据和Hadoop 就成了同义词。随着人们学习了大数据生态系统及其工具和运作原理，他们更能理解大数据的实际意义以及Hadoop 在生态系统中所扮演的角色。百科对大数据这样解释：大数据是一个宽泛的术语，它指传统数据处理应用程序无法处理的巨大而复杂的数据集。简单来讲，随着数据量的增加，采用常规处理方法需要花费大量时间且价格不菲。Doug Cutting受
转载
2023-08-21 17:40:13
133阅读
项目综述在本次课程中，项目分别分为bigdata_track，bigdata_transforer和bigdata_dataapi。本次项目主要以分析七个模块的数据，分别为用户基本信息分析、操作系统分析、地域信息分析、用户浏览深度分析、外链数据分析、订单信息分析以及事件分析。那么针对不同的分析模块，我们又不同的用户数据需求，所以我们在bigdata_track项目中提供不同的客户端来收集不同的数据
转载
2023-05-25 20:15:33
233阅读
作者：baiyuzhong，发布于2012-2-29
为什么我们使用搜索引擎时，不同的用户搜索同样的关键词看到的广告却不同？为什么我们到电子商务网站购物时，每次浏览同样的商品时都可以得到不同的商品推荐？作为网站服务的开发者，你有没有想过，你所拥有的数据蕴含着怎样的价值？当你准备对自己的网站数据进行深入分析时，是否曾面对着成百上千的数据不知如何下手？
如
转载
2023-12-11 13:56:07
64阅读
再不学大数据就跟不上时代发展的脚步了
原创
2022-08-26 14:08:24
89阅读
Kettle 简介 ETL（Extract-Transform-Load 的缩写，即数据抽取、转换、装载的过程），对于数据开发人员来说，我们经常...
原创
2022-03-10 09:28:40
887阅读
从采集系统中收集了大量的原始数据后，数据只有被整合和计算，才能被用于洞察商业规律，挖掘潜在信息，从而实现大数据价值，达到赋能于商业和创造价值的目的；面对海量的数据和复杂的计算，阿里的数据计算层包括两大体系：数据存储及计算平台（离线计算凭他 MaxCompute、实时计算平台 StreamCompute）、数据整合及管理体系（OneData）； 一、数据开发平台阿里数据岗位工作：了解需求—
转载
2023-05-29 22:32:51
468阅读
为了提高效率，我们在平时工作中常会用到一些Python的效率工具，Python作为比较老的编程语言，它可以实现日常工作的各种自动化。为了更便利的开发项目，这里给大家推荐几个Python的效率工具。 1、Pandas-用于数据分析Pandas是一个强大的分析结构化数据的工具集;它的使用基础是Numpy(提供高性能的矩阵运算);用于数据挖掘和数据分析，同时也提供数据清洗功能。# 1、安装包
$ p
转载
2024-02-23 12:11:34
55阅读
