通过 API 对外提供数据服务是大部分企业中比较常见的数据应用方式，对于 API 平台管理者、开发者和调用者来说，API 的调用性能、安全性和稳定性是在平台选型时最需要考虑的三个因素。袋鼠云API开发及管理平台【数栈-数据服务 DataAPI】通过多种手段标准化管控服务，可完成从 API 创建、发布、申请/审批、调用的全生命周期管控，至今已经服务于300+客户。本文将为大家分享 DataAPI 是
设想一下，作为一个开发人员，你现在所在的公司有一套线上的 Hadoop 集群。A部门经常做一些定时的 BI 报表，B部门则经常使用软件做一些临时需求。那么他们肯定会遇到同时提交任务的场景，这个时候到底应该如何分配资源满足这两个任务呢？是先执行A的任务，再执行B的任务，还是同时跑两个？如果你存在上述的困惑，可以多了解一些 Yarn 的资源调度器。Yarn 的三种调度器从 Hadoop2 开始，官方把
如今，大规模、高时效、智能化数据处理已是“刚需”，企业需要更强大的数据平台，来应对数据查询、数据处理、数据挖掘、数据展示以及多种计算模型并行的挑战，湖仓一体方案应运而生。《实时湖仓实践五讲》是袋鼠云打造的系列直播活动，将围绕实时湖仓的建设趋势和通用问题，邀请奋战于企业数字化一线的核心产品&技术专家，结合实践案例分析，和听众共同探讨实时湖仓领域的前沿技术。*《实时湖仓实践五讲》第一讲——《企
随着业务的发展，实时场景在各个⾏业中变得越来越重要。⽆论是⾦融、电商还是物流，实时数据处理都成为了其中的关键环节。Flink 凭借其强⼤的流处理特性、窗⼝操作以及对各种数据源的⽀持，成为实时场景下的⾸选开发⼯具。FlinkSQL 通过 SQL 语⾔⾯向数据开发提供了更友好的交互⽅式，但是其开发⽅式和离线开发 SparkSQL 仍然存在较⼤的差异。袋鼠云实时开发平台StreamWorks，⼀直致⼒于
时下，众多金融机构在积极推行数字化改革，以适应时代高速革新。为回应市场对信息即时生效的迫切需求，各家券商机构都需要更具竞争力的信息服务。本次方案结合券商场景与业务实践，围绕客户实际面临的业务和数据问题，输出整体建设方案，方案包括业务背景、业务痛点、以及相关解决方案和实际案例。以上内容节选自案例集，点击链接下载完整案例集
Apache Hudi 是一款开源的数据湖解决方案，它能够帮助企业更好地管理和分析海量数据，支持高效的数据更新和查询。并提供多种数据压缩和存储格式以及索引功能，从而为企业数据仓库实践提供更加灵活和高效的数据处理方式。在金融领域，企业可以使用 Hudi 来处理大量需要实时查询和更新的金融交易数据。在电商业务中，企业可以使用 Hudi 来跟踪订单数据，以及对订单进行实时更新和查询。在物流和供应链管理中
企业数字化转型以数据为中心，通过数据驱动业务发展、管理协同和运营。因此，数字化转型关键在于数据，数据治理则需先行。从而更好激发数据生产要素潜能，实现业务数据化、数据价值化，助力企业数字化转型。那么何为数据治理？国际数据管理协会（DAMA）在其《DAMA数据管理知识体系指南（第2版）》一书中将数据治理进行了定义，即数据治理是对数据资产管理行使权力、控制和共享决策（规划、监测和执行）的系列活动。此外，
确定用户价值是整个用户运营过程中极其重要的一环。传统的工作流程中，业务人员向数据部门提出数据需求，等待返回结果后再进行价值分析是主要的准备工作，但这个过程非常耗时。为了提高工作效率，业务人员经常会基于自己对用户的理解制定一系列的运营策略，但完成了运营活动后，比较难及时进行活动效果的跟进与评估，到了可以评估的时候又往往发现活动效果并不理想。造成以上情况的主要原因就是业务人员认为的用户群体特征与用户实
这段时间，我们对产品本身以及客户反馈的一些问题进行了持续的更新和优化，包括对离线平台数据同步功能的更新，数据资产平台血缘问题的优化等，力求满足不同行业用户的更多需求，为用户带来极致的产品使用体验。以下为袋鼠云产品功能更新报告第五期内容，更多探索，请继续阅读。离线开发平台1.支持工作流参数背景：很多业务场景下一个工作流中需要有一些能生效于整个工作流的参数，统一配置其下所有子节点通用。新增功能说明：工
随着世界经济由工业经济向数字经济转型，数据逐步成为关键的生产要素，企业开始将数据作为一种战略资产进行管理。数据从业务中产生，在IT系统中承载，要对数据进行有效治理，需要业务充分参与，IT系统确保遵从，这是一个非常复杂的系统工程。数据治理架构实践证明，企业只有构筑一套企业级的数据治理综合体系，明确关键数据资产的业务管理责任，依赖规范的制度流程机制，构建有效的管理平台及工具，数据的价值才能真正发挥出来
回顾大数据的发展历程，一句话概括就是海量数据的高效处理。在当今快节奏、不断变化的市场环境下，优秀的开发效率已经成为企业数字化转型的必备条件。数栈离线开发BatchWorks 是一款专注离线数据ELT开发的产品，采用先进的大数据生态底层技术，具备高性能且功能丰富的大数据处理能力，对大数据离线计算、数据仓库建设提供有效支撑，是企业建设数据中台、数据仓库，加速数字化转型的基础设施。BatchWorks
ChunJun 是一款稳定、易用、高效、批流一体的数据集成框架，⽀持海量数据的同步与计算。ChunJun 既可以采集静态的数据，比如 MySQL，HDFS 等，也可以采集实时变化的数据，比如 binlog，Kafka 等。同时 ChunJun 也是一个支持原生 FlinkSQL 所有语法和特性的计算框架。经过5年的迭代和开发，ChunJun 已经帮助很多公司快速进行数据整合，并解决数据开发人员需要
我们今天常说的大数据技术，它的理论基础来自于2003年 Google 发表的三篇论文，《The Google File System》、《MapReduce: Simplified Data Processing on Large Clusters》、《Bigtable: A Distributed Storage System for Structured Data》。这三篇论文分别对
数据治理是推动大型集团企业转型升级、提升竞争优势、实现高质量发展的重要引擎。通过全链数据结构化，实现业务对象、业务规则、业务流程数字化，推进全链业务深度数字化，夯实数据运营底座。厦门国贸集团股份有限公司（简称“国贸股份”）是国有控股上市公司，同时也是首批全国供应链创新与应用示范企业，在“十四五”规划期内以聚焦供应链管理核心主业作为主要战略发展方向。供应链运营管理以大宗商
袋鼠云数栈从2016年发布第⼀个版本开始，就始终坚持着以技术为核⼼、安全为底线、提效为⽬标、中台为战略的思想，坚定不移地⾛国产化信创路线，不断推进产品功能迭代、技术创新、服务细化和性能升级。在数栈过去的产品迭代中受限于当前组件的版本，积累了很多待解决的问题，随着新的功能需求不断增加，很多原先的组件以及交互设计需要进行优化。2月，伴随着数栈 UI5.0 的焕新升级
近日，作为首届未来数商大会协办单位之一，袋鼠云承办“首届未来数商大会——业数融合创新论坛”，与参会嘉宾共同探讨数据驱动企业业务增长提效的新思路。袋鼠云联合创始人、易知微CEO 宁海元发表主题演讲《数智视融合，构建数字产业生态链，释放数据价值》，并带来了本次论坛的重头戏，首发《数据治理行业实践白皮书》。当前许多企业坐拥海量数据，却仍停留在数据治理的初级阶段，只有先将数据治理好，形成
Kerberos，在古希腊神话故事中，指的是一只三头犬守护在地狱之门外，禁止任何人类闯入地狱之中。那么在现实中，Kerberos 指的是什么呢？一、Kerberos 介绍01 Kerberos 是什么根据百度词条释义，Kerberos 是一种计算机网络授权协议，用来在非安全网络中，对个人通信以安全的手段进行身份认证。Kerberos 旨在通过密钥加密技术为客户端 / 服务器
Hadoop 是 Apache 基金会旗下最知名的基础架构开源项目之一。自 2006 年诞生以来，逐步发展成为海量数据存储、处理最为重要的基础组件，形成了非常丰富的技术生态。作为国内顶尖的 Hadoop 开源生态技术峰会，第四届 China Apache Hadoop Meetup 于 2022 年 9 月 24 日在上海成功举办。围绕 “云数智聚 砥柱笃行” 的主题，来自华为、阿里、网易、字节跳
一、直播介绍 前几期，我们为大家分享了ChunJun的数据还原、Hive事务表及传输模块的一些内容
上一篇文章详细给大家介绍了标签的设计与加工，在标签生命周期流程中，标签体系设计完成后，便进入标签加工与上线运行阶段，一般来说数据开发团队会主导此过程，但我们需要关心以下几个问题：・标签如何快速创建和实现标签逻辑的在线化管理・业务人员怎么参与到标签建设流程中・百万级别的标签如何落表一、加工方式：传统 VS 在线当企业无标签系统时，一般由数据开发在离线数仓中完成标签的加工和运行，运营或市场同学需要某个
8 月 27 日，ChunJun 社区与 OceanBase 社区联合组织的开源线下 Meetup 成功举办，会上重磅发布了「OceanBase&ChunJun：构建一体化数据集成方案」。这是 OceanBase&ChunJun 联合解决方案的首次发布，将针对分库分表的实时数据集成、跨集群 / 租户的数据集成、不同数据源的实时数据集成、日志类型数据的全增量一体化处理等诸多场景，提供
ChunJun 是易用、稳定、高效的批流一体的数据集成框架，主要应用于大数据开发平台的数据同步 / 数据集成模块，使大数据开发人员可简洁、快速的完成数据同步任务开发，供企业数据业务使用。本文主要整理 ChunJun 的各类链接以及如何提交 pr、Issue 的方法，希望大家更好地参与开源，参与社区。ChunJun 百科● 开源地址GitHub：https://github.com/DTStac
2008 年，“大数据” 一词在《大数据时代》中被首次提出，距今已有整整 14 个年头。在这 14 年中，许多人亲眼见证了数据的力量，以及目睹它如何改变世界。大部分企业的决策者都明白了一个道理：数据才是企业中最有价值的商品，它可以被人为选择成就还是破坏业务。然而，自流行词 “大数据” 出现的 14 年后，如何获得更高质量的数据，以及更智能的数据管理，帮助企业做出明智和及时的决策，仍然是许多企业的
质量是产品的生命线，代码检查是软件开发过程中至关重要的一环，它可以帮助我们发现并纠正潜在的错误，提高软件质量，降低维护成本。在袋鼠云产品中也存在这个问题，由于离线数据开发人员 SQL 水平不一，导致代码书写混乱、SQL 代码运行问题较多。本文将介绍在离线产品中如何利用 SQL 检查规则规范化 SQL 代码，对代码书写问题进行拦截，便于统一管理，用于预防引入需要治理的问题。通过本文的介绍，我们希望您
最近，某白酒品牌频频吸引大众眼球，白酒与咖啡、巧克力等联名衍生品一经推出便掀起热潮。某商品由于太过火爆，甚至一度售罄下架。不得不说，我国拥有超大规模内需市场，消费潜力巨大。当前，创新消费场景加上数字化融合转型，成为酒企品牌开疆扩土、逆势增长的重要途径。如今越来越多的酒企开始拥抱数字化，建立涵盖白酒品系开发、酒体设计、基地建设、白酒生产运营、营销等环节的数字化体系，实现全链路数字化，提高产品质量及市
欢迎来到袋鼠云07期产品功能更新报告！在瞬息万变的市场环境中，袋鼠云始终将客户需求和反馈置于优化工作的核心位置，本期也针对性地推出了一系列实用性强的功能优化，以满足客户日益增长的业务需求。以下为袋鼠云产品功能更新报告07期内容，更多探索，请继续阅读。离线开发平台新增功能更新1.数据源引入支持对接审批中心背景：数据源的使用让用户走审批流程，而非只是由管理员分配，方便进行审计记录。新增功能说明：项目管
本文将从 e2e 的基本介绍，e2e 的使用与扩展，session 日志隔离三个维度为大家带来 ChunJun e2e & session 日志隔离的分享。大量具体代码和演示请看视频教程⬇️视频课程：://bilibili./video/BV1ru411P7oZ/?spm_id_from=333.999.0.0课件获取：://dtstack.
近日，袋鼠云大数据引擎专家郝卫亮，为大家带来了《袋鼠云在实时数据湖上的探索与实践》主题分享，帮助大家能了解到什么是实时数据湖、如何进行数据湖选型及数据平台建设数据湖的经验。如今，大规模、高时效、智能化数据处理已是“刚需”，企业需要更强大的数据处理能力，来应对数据查询、数据处理、数据挖掘、数据展示以及多种计算模型并行的挑战。因此，袋鼠云基于自研的一站式大数据基础软件——数栈提出相应的实时数据湖解决方
2022年4月，在 FlinkX 进行初版开源的整整四年后，技术团队决定对FlinkX进行整体升级，并更名为 ChunJun。到目前为止，ChunJun 正式更名上线已经过了一年多了。作为一款稳定、易⽤、⾼效、批流⼀体的数据集成框架，相信各位关注着、喜爱着、使用着 ChunJun 的开发者们在过去的这段日子里肯定和 ChunJun 发生了众多有趣的故事。本着促进社区活跃，倾听用户诉求的目的，我们将
当谈到数据湖的时候，大家都在说，可以把所有数据（结构化/半结构化/非结构化）一股脑都丢进去，进行统一的元数据管理。然后上层计算对接，进行流批计算/OLAP 分析/算法分析。这个没问题，数据湖确实能承接底层的这部分能力，但是同时出现的问题也是不容忽视的。本文将关注讨论，利用湖仓架构，统一结构化/半结构化数据的流批计算，和大家聊聊为什么企业需要实时湖仓。非结构化的视频/图片/文本等数据的存储和计算不在
Copyright © 2005-2023 51CTO.COM 版权所有 京ICP证060544号
