MongoDB作为灵活高效易扩展的no-schema数据库，越来越受到互联网公司、游戏行业等开发者的青睐，但是MongoDB有着独特的语言接口，并不能很好满足数据分析师构建数据治理应用的需求，而数据湖探索DLI恰好解决了这一痛点。
原创
2021-05-24 22:43:02
284阅读
# 如何实现 DLI Spark Kafka 作业
在大数据领域，Spark 和 Kafka 被广泛用于数据流处理。DLI（Data Lake Insights）是阿里云的一个数据分析服务，能够利用 Spark 处理实时数据。本文将详细介绍如何实现 DLI Spark Kafka 作业，包括整个流程和每一步需要的具体代码。
## 整个流程概述
在开始之前，让我们先看一下实现 DLI Spar
导语： MongoDB作为灵活高效易扩展的no-schema数据库，越来越受到互联网公司、游戏行业等开发者的青睐，但是MongoDB有着独特的语言接口，并不能很好满足数据分析师构建数据治理应用的需求，而数据湖探索DLI恰好解决了这一痛点。搭配华为云上DDS服务提供的MongoDB，DLI无需数据搬迁
转载
2020-07-31 10:59:00
273阅读
2评论
Kafka是一个消息发布-订阅系统。Spark-Streaming是spark核心API的扩展，它可以采集Kafka, Flume, Twitter, ZeroMQ, Kinesis, 或TCP sockets等多种数据源进行处理，是一个高可用可伸缩高通量的实时数据计算工具。Spark Streaming对接Kafka有两种方式：老方法使用接收器和Kafka的API，新方法（spark1.3以后加
转载
2023-10-16 19:33:16
54阅读
DLI是支持多模引擎的Serverless大数据计算服务，其很好的实现了Serverless的特性： 1. 弱化了存储和计算之间的联系； 2. 代码的执行不再需要手动分配资源； 3. 按使用量计费。 那么如何才能更好的实现Serverless化的服务，同时又避免成为传统单体分布式的应用？微服务架构无
转载
2020-05-18 15:18:00
43阅读
介绍隐藏在华为云数据湖探索服务背后的核心计算引擎Spark，玩转DLI，，轻松完成大数据的分析处理。
原创
2021-05-24 21:35:48
353阅读
DLI是支持多模引擎的Serverless大数据计算服务，其很好的实现了Serverless的特性： 1.弱化了存储和计算之间的联系； 2.代码的执行不再需要手动分配资源； 3.按使用量计费。那么如何才能更好的实现Serverless化的服务，同时又避免成为传统单体分布式的应用？微服务架构无疑是最优的选择。DLI基于微服务架构模式下的整体部署架构如下：即对外以纯API形式提供服务，通过以APIGateway作为应用的入口，基于领域模型...
原创
2021-05-24 21:43:09
462阅读
基于华为开源openLooKeng引擎的交互式分析功能，将重磅发布便于用户构建轻量级流、批、交互式全场景数据湖。 在这个“信息爆炸”的时代，大数据已经成为这个时代的关键词之一！随着云计算、物联网、移动计算、智慧城市、人工智能等领域日新月异的发展，人类社会已经步入了“信息高速路”的行驶轨道，数据
转载
2020-10-22 15:05:00
76阅读
2评论
探讨DLI两个问题：如何在生产环境中部署与运维实现快速迭代上线，如何实现监控告警来提升整体运维能力。 华为云数据湖探索DLI是支持多模引擎的Serverless大数据计算服务，其很好的实现了Serverless的特性： 1.弱化了存储和计算之间的联系； 2.代码的执行不再需要手动分配资源； 3
转载
2020-08-28 15:20:00
91阅读
2评论
摘要：基于华为开源openLooKeng引擎的交互式分析功能，将重磅发布便于用户构建轻量级流、批、交互式全场景数据湖。在这个“信息爆炸”的时代，大数据已经成为这个时代的关键词之一！随着云计算、物联网、移动计算、智慧城市、人工智能等领域日新月异的发展，人类社会已经步入了“信息高速路”的行驶轨道，数据量增长迅速，各类应用对大数据处理的需求也发生着变化。与此同时，“久经沙场”的数据仓库不再一统江湖，而以实时分析、离线分析、交互式分析等为代表的计算引擎势头迅猛。华为云3年前发布的Serverless大数
原创
2021-05-28 09:40:10
401阅读
探讨DLI两个问题：如何在生产环境中部署与运维实现快速迭代上线，如何实现监控告警来提升整体运维能力。
原创
2021-05-28 00:17:33
918阅读
今天我们来说说DLI是如何实现监控告警来提升整体运维能力，从而为客户更好的提供Serverless的DLI。
原创
2021-05-24 21:22:55
321阅读
今天我们来说说DLI是如何实现监控告警来提升整体运维能力，从而为客户更好的提供
转载
2020-08-12 10:47:00
53阅读
2评论
云湖湖导读：本文主要给大家介绍隐藏在华为云数据湖探索服务（后文简称DLI）背后的核心计算引擎——Spark。DLI团队在Spark之上做了大量的性能优化与服务化改造，但其本质还是脱离不了Spark的核心概念与思想，因此笔者从以下几点阐述，让读者快速对Spark有一个直观的认识，玩转DLI。1、Spark的诞生及优势2、Spark的核心概念3、Spark的架构设计Spark的诞生及优...
原创
2021-05-24 21:39:23
479阅读
HIVE创建外表 drop table if EXISTS akcdw.cici_seller;--将as的表结构存储在表中，不存储数据create EXTERNAL table akcdw.cici_seller--数据存储格式STORED AS ORC--数据存储地址，需要在指定'obs://a ...
转载
2021-07-29 18:17:00
217阅读
2评论
Adobe PDF library 包含 APDFL 和DLI APDFL 为Adobe PDF library ,DLI为Datalogics Interface (DLI) is a trademark of Datalogics Incorporated. Otherproducts mentioned hereinas Datalogics p
<!DOCTYPE html PUBLIC "-//W3C//Dli XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/Dli/xhtml1-transitional.dli"> <html xmlns="http://www.w3.o
原创
2021-07-19 16:54:11
223阅读
导读： 本文主要介绍Serverless计算相关技术与其在华为云数据湖探索服务（后文简称DLI）中的技术落地。Serverless是DLI将计算能力服务化和产品化关键技术，与传统IAAS和PAAS技术不同，DLI运用Serverless技术向客户提供了一种高效易用易扩展的计算框架，使得客户更能聚焦业
转载
2020-06-23 10:34:00
97阅读
2评论
摘要：本文主要介绍Serverless计算相关技术与其在华为云数据湖探索服务（后文简称DLI）中的技术落地。导读本文主要介绍Serverless计算相关技术与其在华为云数据湖探索服务（后文简称DLI）中的技术落地。Serverless是DLI将计算能力服务化和产品化关键技术，与传统IAAS和PAAS技术不同，DLI运用Serverless技术向客户提供了一种高效易用易扩展的计算框架，使得客户更能聚焦业务，避免牵扯集群运维的细枝末节。本文将从以下几点解读Serverless技术：1.se...
原创
2021-05-24 21:36:58
633阅读
slmgr.vbs –dli http://www.microsoft.com/china/genuine/consumer/validate-online.aspx ...
转载
2021-08-19 13:53:00
78阅读
2评论
