云平台近几年在飞速发展，有些公司也会把自己的在线业务和离线数据业务迁移到阿里云上，一方面节省研发成本，另一方面服务更加稳定，下面我以自己粗浅的认识对比下两者。 2021年7月又换了一家公司，又用回了原生的大数据组件，之前3年都用的阿里云，最近觉得很不适应，对两者的区别有了更多的感受，再回来总结下。指标自建集
转载
2024-05-28 10:14:37
526阅读
今天在某乎上看见这么一个问题： 其实，这个问题就相当于是把自己的组织架构透露给外部了，因为太多的人想要知道大数据的平台怎么架构，组织怎么架构，每一步应该做什么，有什么注意点等等。今天我就把我自己所知道的，全都告诉你们。 首先，先来回答一下这个问题：大数据平台，必须要上吗？答案是肯定的，数据量TB级以上，必须上大数据平台，你这么想：你刷微博，看抖音，玩游戏，每时每刻都在产生数据，
转载
2023-07-31 11:55:35
140阅读
前言：有很多初级程序员会把Tomcat仅仅当做一个工具，而忽略了它的重要性。对于一个最简单的Web项目架构来说，Tomcat是前军，SSM是中军，Mysql是后方，而我们通常非常重视SSM框架的学习，而忽略Tomcat，如果能够多懂得关于Tomcat的底层原理知识，那么对于日常开发工作或项目性能调优是非常重要的。第1章 Tomcat介绍：1. Tomcat历史2.Tomcat许可3.安装和启动3.
引言：微服务现在辣么火，业界流行的对比的却都是所谓的Monolithic单体应用，而大量的系统在十几年前都是已经是分布式系统了，那么微服务作为新的理念和原来的分布式系统，或者说SOA（面向服务架构）是什么区别呢？论微服务架构的核心概念微服务架构和SOA区别我们先看相同点需要Registry，实现动态的服务注册发现机制；需要考虑分布式下面的事务一致性，CAP原则下，两段式提交不能保证性能，事务补偿机
转载
2024-06-11 13:38:00
112阅读
之前有读者留言让写一篇大型网站的架构演进过程，发现下面这篇文章讲解得很详细，特此分享给大家，相信看完会有所收获。文章在介绍一些基本概念后，按照以下过程阐述了整个架构的演进过程：单机架构第一次演进：Tomcat与数据库分开部署第二次演进：引入本地缓存和分布式缓存第三次演进：引入反向代理实现负载均衡第四次演进：数据库读写分离第五次演进：数据库按业务分库第六次演进：把大表拆分为小表第七次演进：使用LVS
转载
2023-08-25 20:23:12
218阅读
近日，科技媒体 InfoQ 专访了阿里云统一调度团队，详细解读了阿里云调度系统演进历程。2021年双11统一调度系统打通并统一了阿里巴巴电商、搜推广、MaxCompute 大数据和蚂蚁业务，全面支撑了全球数十个数据中心、数百万容器、数千万核的大规模资源调度。在阿里云十三年的发展历史上，重新设计调度系统算得上是一个重要的技术抉择。云计算是一个庞大的技术工程。2009 年，阿里云从 0 到 1 自建国
转载
2024-08-08 21:59:11
119阅读
Q：子账号使用DataWorks需要选择什么授权策略？A：DataWorks还未采用这种授权方式哈！DataWorks给子账号使用的流程是：主账号创建项目->主账号新建子账号->将子账号加入项目并赋予角色->子账号登录及更新个人信息注： 主账号新建子账号时，创建AK这一步的时候，AK一定要保存好，不然子账号在更新个人信息的时候，还需要主账号重新去创建一次AK。Q： 我进入了 Da
就最近的情况来看，市场对Java工程师的需求并没有因为经济发展受阻而大幅减少，只是市场对Java工程师的要求越来越高。但我们要知道，寒冬之中，什么是最珍贵，就让鄙人告诉你：人才。只要有过硬的技术和装备，在逆风直下的情况下，咱们也能迎难而上，打他个戳手不及。不是“李云龙”大哥说：“过狭路相逢勇者胜.”一面自我介绍谈一个你觉得你学到最多的项目，使用了什么技术，挑战在哪里Spring的bean的作用域？
转载
2024-06-03 22:29:52
43阅读
前言：来阿里也已经四个多月了，这段时间我学了很多东西，简单说起来，就是一个走出舒适区的过程，从一开始的新手入门，到逐渐熟悉业务和技术，再到慢慢的适应环境，胜任工作。总体来说，这几个月还是学到了很多东西，感觉成长的很快，但同时工作的压力也非常的大。总体来说，归纳几个点吧。第一点：就是阿里的技术。大家都知道阿里的iOS技术栈，在业内基本上是可以排第一的，这也归功于阿里的技术发展十分迅速，所以底层的技术
转载
2023-08-27 21:15:29
98阅读
先说下阿里云的认证考试，大家通过下面的介绍简单了解下（部分摘自阿里云大学官网）：考证意义 证多不压身，证比项目经历更具有说服力，证是行业的标准认证。更多时候，是有证的人说，“证其实不重要”。 acp 考试偏简单，考试也不算很高，相对于很多所谓的国际认证，性价比高。 云计算+阿里云认证，对于以后从事任何行业，都是有益的，即使是传统企业也有趋势上云的需求。阿里云的认证体系： 基于核心技术及岗位的阿里云
以阿里的职级体系为标杆，先给大家对比几个知名公司的职级体系，以及与阿里职级对应关系，这样首先能够帮助你更好地评估自己在行业中大概的水平和位置。这几家公司的职级对应关系如下表所示。你可能还是不清楚每个级别的要求到底是什么。在这之前，我想先通过三个类比带你纵向透视职级档次，对不同档次的核心能力建立一个形象的认知，如下图所示。P5/P6:专业工匠P5/P6 这一档相当于“专业工匠”，就像木匠、铁匠、粉刷
阿里技术岗位要求及体系图：好多人对阿里巴巴技术岗的体系结构及级别的技术要求设置不太清楚，想去面试也不知道面试什么级别的岗位，下面说说阿里的技术体系又是一个怎么样的水平划分！阿里P6(技术主管)工作要求：能独立解决问题，制定系统的技术实现方案，考核会涉及部分技术深度。技能要求：除P5的技能外，还需掌握以下技能，以下技能至少需要做到熟悉。架构设计，运维能力，操作系统。阿里P7(技术专家)工作要求：能独
转载
2023-12-26 09:09:41
127阅读
1、阿里共享业务事业部发展史先简而言之，提纲接领说下结论：阿里的淘宝、天猫、1688等等业务扩张是IT架构演进的根本动力。共享业务事业部能否存在，中台能否立起来，技术能力不是核心。核心是组织/业务架构和绩效考评方式，阿里中台也是因把握了“聚划算”这一流量入口抓手，才把与电商部门不平等的话语权拉回平衡点。持续需求->产品不断迭代，才凸显了统一中台的重要性，否则各部门各干个系统免不了。项目制的系
转载
2023-12-14 07:47:58
121阅读
改进的功能：webpack5、antd4、Pro组件化、jotai原子化状态管理、权限方案、请求拦截、面包屑、标题切换、路由懒加载、组件热更新、history路由、mock数据、typescript等产生的价值：1、antd3升级antd4，提供更多组件功能
2、antd pro组件化，页面更标准，美观，统一交互
3、jotai原子化状态管理，方便全局状态管理与复用接口数据
4、优化权限方案，统一
转载
2023-07-10 23:55:13
89阅读
一、整体架构 从下至上依次分为数据采集层、数据计算层、数据服务层、数据应用层 数据采集层：以DataX为代表的数据同步工具和同步中心 数据计算层：以MaxComputer为代表的离线数据存储和计算平台 数据服务层：以RDS为代表的数据库服务（接口或者视图形式的数据服务） 数据应用层：包含流量分析平台等数据应用工具二、数据采集（离线数据同步） 数据采集主要分为日志采集
转载
2023-12-13 16:07:07
624阅读
Dataphin是阿里巴巴集团OneData数据治理方法论内部实践的云化输出，一站式提供数据采、建、管、用全生命周期的大数据能力，以助力企业显著提升数据治理水平，构建质量可靠、消费便捷、生产安全经济的企业级数据中台。Dataphin兼容多种计算平台，并开放可拓展的能力，以适应不同行业客户的平台技术架构和特定诉求。Dataphin产品能力大图如下图所示基本概念：数据板块：（原名业务板块 < V
转载
2023-07-30 20:39:40
873阅读
# 如何实现阿里Brand Databank技术架构
## 一、流程图
```mermaid
flowchart TD
A[了解需求] --> B[搭建数据库]
B --> C[导入数据]
C --> D[进行数据分析]
D --> E[生成报告]
```
## 二、步骤
| 步骤 | 描述 |
| ------ | ------ |
| 1 | 了解需求：
原创
2024-03-06 03:59:47
74阅读
# 阿里信贷平台技术架构解析
阿里信贷平台是一个实现智能信贷决策和风险控制的复杂系统。本文将从技术架构、主要组件和示例代码等方面对其进行详细介绍。
## 技术架构概述
阿里信贷平台的整体架构通常可以分为几个主要组件：
1. **数据层**：负责数据的存储与管理，包括用户信息、信贷记录等。
2. **服务层**：用于提供各种服务接口，保证系统的灵活性和可扩展性。
3. **应用层**：提供用
原创
2024-09-07 04:43:32
129阅读
# 阿里巴巴的“人货场”技术架构解析
随着互联网经济的快速发展，各大企业都在探寻更加有效的商业模式。阿里巴巴作为中国最大的电子商务平台之一，其“人货场”理论已经被广泛采用。本文将通过对“人货场”的定义及其在技术架构中的实现进行详细解析，并提供相应代码示例，让读者对这一重要的互联网经济模型有更深刻的理解。
## 什么是“人货场”
“人货场”是阿里巴巴提出的一种商业模型，包含三方面的内容：
-
简介什么是DataWorks：DataWorks（数据工场，原大数据开发套件）是阿里云重要的PaaS（Platform-as-a-Service）平台产品，为您提供数据集成、数据开发、数据地图、数据质量和数据服务等全方位的产品服务，一站式开发管理的界面，帮助企业专注于数据价值的挖掘和探索。DataWorks支持多种计算和存储引擎服务，包括离线计算MaxCompute、开源大数据引擎E-MapRed
