摘要：2019年1月18日，由阿里巴巴MaxCompute开发者社区和阿里云栖社区联合主办的“阿里云栖开发者沙龙大数据技术专场”走近北京联合大学，本次技术沙龙上，阿里巴巴高级技术专家吴永明为大家分享了MaxCompute，基于Serverless的高可用大数据服务，以及MaxCompute低计算成本背后的秘密。以下内容根据演讲视频以及PPT整理而成。一、什么是MaxComputeBig Data
转载
2024-05-11 23:26:41
54阅读
一、整体架构 从下至上依次分为数据采集层、数据计算层、数据服务层、数据应用层 数据采集层：以DataX为代表的数据同步工具和同步中心 数据计算层：以MaxComputer为代表的离线数据存储和计算平台 数据服务层：以RDS为代表的数据库服务（接口或者视图形式的数据服务） 数据应用层：包含流量分析平台等数据应用工具二、数据采集（离线数据同步） 数据采集主要分为日志采集
转载
2023-12-13 16:07:07
624阅读
分享：范伦挺-高级运维专家编辑：白凡讲师介绍：首先简单介绍一下我自己，我叫范伦挺，也算是运维的老兵了，大概 2008年开始进入运维行业，现在就职于阿里巴巴计算平台事业部大数据基础工程技术团队。先后负责过阿里 MaxCompute、AnalyticDB、PAI等大数据产品运维工作，目前主要专注于实时计算平台 Stream-Compute 的运维工作。右手边是我们团队的微信公众号，会经常推一些文章来介
原创
2021-03-18 21:08:55
2002阅读
1.出于吞吐量以及系统压力上的考虑，并不是新增一条数据记录就采集一次，而是几句下面的原则，按照批次对数据进行采集 数据大小限制：当达到限制条件的时候，把目前采集到的新数据作为一批（例如512kb写一批） 时间阈值限制：当时间达到一定条件的时候，也会把目前采集到的新数据作为一批，避免在数据量少的情况下
原创
2022-01-16 13:37:29
891阅读
找工作第一站--阿里巴巴--没有笔试机会
原创
2009-09-22 12:40:53
1062阅读
2评论
阿里数据人都在用的内部技术经验关注数智化转型俱乐部，数智化不迷路摘要相对于离线批处理技术，流式实时处理技术作
转载
2022-07-04 09:54:12
169阅读
2019杭州云栖大会大数据技术专场，由阿里云通用计算平台负责人关涛带来以 “阿里巴巴大数据技术关键进展及展望” 为主题的演讲。本文首先讲解了从阿里巴巴的角度看待大数据领域的客户价值迁移，概览了核心技术的发展点，最后针对如何构建智能化大数据平台的相关工作进行了介绍，从引擎优化到 “自动驾驶”，并
转载
2019-11-06 15:43:00
167阅读
2评论
简介： 相对于离线批处理技术，流式实时处理技术作为一个非常重要的技术补充，在阿里巴巴集团内被广泛使用。前言：-更多关于数智化转型、数据中台内容请加入阿里云数据中台交流群—数智俱乐部 和关注官方微信公总号（文末扫描二维码或点此加入）-阿里云数据中台官网 https://dp.alibaba.com/index来源：数智化转型俱乐部数据价值是具有时效性的，在一条数据产生的时候，如果不能及时处理并在业务
转载
2020-08-20 11:58:04
395阅读
简介：介绍MaxCompute和阿里巴巴内部基于MaxCompute的大数据开发套件，并对在数据开发过程中经常遇到的问题和相关解决方案进行介绍。前言：-更多关于数智化转型、数据中台内容请加入阿里云数据中台交流群—数智俱乐部和关注官方微信公总号（文末扫描二维码或点此加入）-阿里云数据中台官网https://dp.alibaba.com/index数据只有被整合和计算，才能被用于洞察商业规律，挖掘潜在
转载
2020-08-11 17:35:59
380阅读
阿里数据人都在用的内部技术经验关注数智化转型俱乐部，数智化不迷路摘要服务架构的每次升级，均在性能、稳定性、扩
转载
2022-06-30 11:42:36
129阅读
大数据之路：阿里巴巴大数据实践简介：在Alibaba集团内，数据人员面临的现实情况
原创
2022-09-18 08:29:09
1281阅读
简介： 介绍MaxCompute和阿里巴巴内部基于MaxCompute的大数据开发套件，并对在数据开发过程中经常遇到的问题和相关解决方案进行介绍。前言：-更多关于数智化转型、数据中台内容请加入阿里云数据中台交流群—数智俱乐部 和关注官方微信公总号（文末扫描二维码或点此加入）-阿里云数据中台官网 https://dp.alibaba.com/index数据只有被整合和计算，才能被用于洞察商业规律，挖
转载
2020-08-11 19:51:38
432阅读
阿里数据人都在用的内部技术经验关注数智化转型俱乐部，数智化不迷路摘要介绍MaxCompute和阿里巴巴内部基
转载
2022-07-04 10:00:18
425阅读
Ceph是一种开源的分布式存储系统，具有高性能、高可靠性和高可扩展性的特点。而阿里巴巴作为中国领先的互联网公司，一直致力于技术创新和发展，相信Ceph在其存储领域将有着广阔的应用前景。
Ceph与阿里巴巴的合作可以追溯到2015年，当时阿里巴巴与Ceph的开发和支持团队紧密合作，共同研究和推动Ceph在云存储领域的应用。通过这一合作，阿里巴巴逐渐认识到了Ceph作为分布式存储系统的优势，包括其良
原创
2024-03-08 09:38:04
213阅读
FastJson解析 一、阿里巴巴FastJson是一个Json处理工具包，包括“序列化”和“反序列化”两部分，它具备如下特征：速度最快，测试表明，fastjson具有极快的性能，超越任其他的Java Json parser。包括自称最快的JackJson；功能强大，完全支持Java Bean、集合
转载
2016-11-21 15:22:00
396阅读
2评论
阿里巴巴（Alibaba Group）作为中国最大的电商平台之一，一直以来以其领先的技术和创新能力著称。随着互联网行业的竞争日益激烈，如何提高研发速度和产品质量成为阿里巴巴及其他公司面临的重要挑战。在这样的背景下，DevOps这一概念应运而生，成为公司在研发和运维过程中的利器。
DevOps（Development和Operations的结合）是一种注重开发团队和运维团队之间合作、沟通和整合的软
原创
2024-03-01 11:16:32
167阅读
阿里巴巴集团离线大数据处理平台介绍上周报名参加了2013阿里巴巴暑期学校，课程为期两天，主要介绍阿里巴巴离线大数据处理平台（开放数据处理服务ODPS）。这里通过博客形式与大家分享一下。暑期学校官网：http://102.alibaba.com/competition/dataSummer.htm备注：该课程面向各高校院所的在读研究生，属于公开课程，且主要介绍系统的基本架构，并未对实现细节做过多阐述
原创
2013-07-15 21:38:26
2856阅读
点赞
DevOps 追求更短的迭代周期、更高频的发布。但发布的次数越多，引入故障的可能性就越大。更多的故障将会降低服务的可用性，进而影响到客户体验。所以，为了保证服务质量，守好发布这个最后一道关，阿里逐步发展出了适应 DevOps 要求的发布策略。
原创
2022-01-28 15:09:15
568阅读
点赞
不可否认，阿里巴巴走得越来越快也越来越好。技术的成熟让很多B2B B2C网站都在跟风学习它们。在这里我就来说一说它的搜索效果吧。如图所示： 看起来很不错吧，感觉很清爽。咦？？？不对，怎么在FF下看怎么下面那块没有了呢？怪！！！ 在这里当然我不是研究这个问题，其实它们的搜索代码我都没有看，因
转载
2024-03-06 21:55:54
76阅读
一命名风格1、代码中的命名均不能以下划线或美元符号开始，也不能以下划线或美元符号结尾。反例：_name / $name / name_ / name$2、类名使用UpperCamelCase风格，但以下情形例外：DO/BO/DTO/VO/AO/PO等正例：MarcoPolo/UserDO/XmlService反例：macroPolo/userDo/XMLService3、常量命名全部用大写，单词间
转载
2023-10-23 10:17:41
113阅读
