一、海量数据大课+架构课程简介

  • 海量数据项目大课,是小滴课堂准备耗时近1年的综合性实战项目,从0~1开发商用短链平台;

  • 从产品需求文档定制出发,掌握核心要点和互联网大厂专业术语,项目周期和背景

  • 采用新版微服务架构体系+容器编排+海量数据处理+大数据技术栈+分布式调度追踪

  • 分布式事务+数据一致性处理+分布式锁解决方案

  • 掌握Flink实时计算+大数据分层清洗处理+ClickHouse实战

  • 新一代容器编排平台Rancher2.5部署多节点+动态扩容实战+容器编排急速认知

  • 宏观上看多个中间件和JDK源码设计思想,再项目中应用落地

  • 明白大厂面试喜欢问底层原理设计思想,而普通公司没能力

  • 架构师的角度看问题抽思想:选多个解决方案,【部分会项目中落地,部分触类旁通】

  • Redis6.X惰性删除 在海量数据流量套餐包中应用

  • ConcurrentHashMap分段锁在秒杀中的必杀技

  • CopyOnWriteArrayList 读写分离+最终一致思想精髓

  • Kafka sender和main线程异步发送和liner.ms应用场景

  • 技术解决方案和产品需求的博弈对抗

  • ...更多

二、大课项目 对应岗位和能力

  • 技术:对标阿里P7架构师能力级别+大数据技术栈交集

  • 管理:带5到10人团队+考核

  • 薪资:一线城市年总包40到70万、月薪25到40k

  • 掌握产品分析、解决方案、团队管理方法论,对上汇报沟通+对下管理考核

三、短链平台技术栈

  • 微服务技术:新版SpringCloudAlibaba全家桶+SpringBoot2.5+Nacos2.x+MybatisPlus

  • 缓存+MQ中间件+调度:Redis6.X+RabbitMQ+Zookeeper+Kafka + XXLJob

  • 海量数据分库分表+文件存储:Mysql8.0+ShardingSphere多维度分库分表 + 阿里云OSS

  • 实时计算+数据处理+存储可视化:Flink1.13 + ClickHouse + HDFS + 数据清洗分层 + Echart可视化数据

  • 分布式链路追踪+监控+持久化存储:Apache Skywalking + ElasticSearch7.X

  • 上线部署:Jenkins CICD + 阿里云Git仓库+ 阿里云ECS CentOS7 + Rancher2.5 + 容器编排调度

  • 高级测试必备生产环境流量压测:Jmeter5.X单接口压测+混合流量录制+流量压测扩大重放

四、海量数据商用短链平台项目亮点

海量数据下-商用短链平台从0~1实战(P1、P2、P3 难度逐级下降)

账号微服务

账号模块

图形验证码防刷设计(P2)

短信验证码接入(P2)

高并发下新用户免费流量包处理(P1)

分布式文件存储(P2)

流量包模块(重点:多场景分布式事务+锁、数据一致性、业务复杂)

流量包使用管理(P1)

海量数据下流量包过期处理解决方案:惰性+随机(P1)

海量数据下每日流量包更新解决方案:惰性(P1)

高并发下流量包扣减处理(P1)

高并发、多案例分布式事务+锁、复杂业务逻辑(P1)

冷热数据归档和处理(P1)

商品微服务

商品模块

商品列表和详情(P3)

支付模块(重点)

AOP应用+自定义注解防重提交设计(P1)

新版微信扫码支付V3接口文档对接(P1)

PC端支付宝支付扫码对接(P2)

多渠道支付回调通知+异步MQ承接(P1)

ShardingSphere从0到1到商业项目实战(P1)

订单数据快照+常规分库分表(P3)

分库分表后C端解析和B端查询处理解决方案一:NoSQL法(P1)

短链服务

短链模块

多案例短链码设计方案和落地(P1)

高性能短链解析(P1)

多案例数据上报设计和方案对比(P1)

C端解析+B端查询 分库分表常见解决方案(P1)

海量数据分库分表处理(P1)

分库分表后C端解析和B端查询处理解决方案二:冗余双写法(P1)

分库分表后短链CURD【冗余双写】 分布式事务数据一致性解决方案(P1)

单一PartitionKey做分库分表解决方案三:基因法(P1)

短链库表数据库【免迁移扩容】解决方案四:基因法(P1)

数据可视化服务

从0~1掌握ClickHouse新一代OLAP数据库(P2)

从从0~1掌握新版分布式调度任务xxl-job+alibabcloud实战(P2)

ClickHouse多场景查询、echart可视化数据对接(P1)

违规短链站点动态黑名单检测解决方案(P1)

实时计算服务

后端工程师角度进阶数据仓库+分层+大数据领域技术视野(P1)

Flink+Kafka短链数据实时计算+多维度数据处理(P1)

Async异步关联查询+多维度宽表拓展(P1)

Flink多流合并+dws层整合ClickHouse存储(P1)

DevOps全链路流程+新一代容器编排平台部署(P1、P2、P3 难度逐级下降)

Jenkins CICD搭建+阿里云Git仓库+Docker私有镜像仓库构建部署(P1)

Rancher2.x部署+快速入门+容器编排核心知识上手+部署Linux公有云(P1)

Skywalking链路追踪+SpringCloud容器化整合+ElasticSearch7.X持久化部署(P2)

Jmeter5.x压测 + 混合流量录制 + 流量压测扩大重放(P1)

汇报、分析、沟通软技能+面试跳槽简历编写

技术选型/团队管理方法论+互联网大厂跨团队职责配合讲解(P1)

需求文档分析/商业化能力讲解(P2)