大数据与云计算技术周报（第138期)

原创

大数据和云计算技术 2021-07-27 14:47:29 ©著作权

文章标签 大数据 文章分类 大数据

©著作权归作者所有：来自51CTO博客作者大数据和云计算技术的原创作品，请联系作者获取转载授权，否则将追究法律责任

导语

“大数据” 三个字其实是个marketing语言，从技术角度看，包含范围很广，计算、存储、网络都涉及，知识点广、学习难度高。

本期会给大家奉献上精彩的：Kafka、推荐系统

、云、MongoDB、平台架构、Doris、Hbase。全是干货，希望大家喜欢！！！

1MongoDB

本文讲述了MongoDB的备份机制，使用mongodump备份和MongoDB Cloud Manager备份逻辑过程；常用MongoDB监控工具mongostat、mongotop、serverStatus等；最后描述了索引对MongoDB查询效率的影响。

https://mp.weixin.qq.com/s/IuBQBFl_7c-MFhfqsifNgw

2平台架构

本次分享将聚焦大数据平台离线计算和大家一起系统的探讨58在离线计算平台建设实践的思路、方案和问题解决之道。

https://mp.weixin.qq.com/s/uR4QiMlzfPWGZFNPvBmLzg

3平台

实现统一的云管平台能够有效整合和利用银行内部多种异构资源，简化内部IT架构，实现设备的全生命周期管理，消除设备使用信息孤岛，降低运维和管理成本，因此如何对现有的IT进行有效的整合和管理是每家金融企业必须要考虑的事情。

https://mp.weixin.qq.com/s/PwgVHYXjYOJKBt7lNC4WBg

4云

Krishna写道：“基本面已经到位。从长远来看，我们的混合云方法是最灵活、最具成本效益的。再加上我们深厚的专业知识，IBM有独特的能力帮助用户认识到混合云业务模式的潜力。”

https://mp.weixin.qq.com/s/7Pi1ivWbPde3VgdEKN30tw

5Kafka

本文分享了Apache Kafka 在 360 的深度实践。。

https://mp.weixin.qq.com/s/qdOoJP2byehaYJM8JV-L8Q

6推荐系统

随着移动互联网泛娱乐化行业的发展，直播与短视频越来越深入人们的生活，人们对于直播与短视频的质量要求也越来越高。是否能够匹配用户的兴趣，满足用户的需求，已经成为决定平台增长的关键因素。今天会和大家分享下花椒直播平台在直播场景中运用推荐算法，怎么样从0到1建立推荐系统。

https://mp.weixin.qq.com/s/Tfy75Qt02OHNoLPnkS3dCw

7Kafka

本文列举了笔者认为最重要的十多个broker端参数并进行了详细介绍

https://mp.weixin.qq.com/s/zxzezhmpAMrfTZjNVkwCqQ

8Doris

美团外卖数据仓库技术团队负责支撑日常业务运营及分析师的日常分析，由于外卖业务特点带来的数据生产成本较高和查询效率偏低的问题，他们通过引入Apache Doris引擎优化生产方案，实现了低成本生产与高效查询的平衡。并以此分析不同业务场景下，基于Kylin的MOLAP模式与基于Doris引擎的ROLAP模式的适用性问题。希望能对大家有所启发或者帮助。

本文侧重于以Doris引擎为“发动机”的数仓生产架构的改进与思考。在开源的大环境下，各种数据引擎百花齐放，但由于业务的复杂性与多样性，目前并没有哪个引擎能够适配所有业务场景，因此希望通过我们的业务实践与思考为大家提供一些经验参考。美团外卖数仓技术团队致力于将数据应用效率最大化，同时兼顾研发、生产与运维成本的最小化，建设持续进步的数仓能力，也欢迎大家多给我们提出建议。

https://tech.meituan.com/2020/04/09/doris-in-meituan-waimai.html

9架构

首先业务流程图镇楼，常见的大数据系统结构如上图所示，主要由这么几个部分构成

数据采集 - flume收集业务方上报的数据；

数据存储层 - 依赖HDFS提供的强大的分布式数据存储方案，主要是使用Hbase进行数据存储；

协调&调度层面 - 常见的就是zookeeper，主要是用于分布式系统中的资源协调；

实时处理框架（计算框架） - 用于海量数据的计算，常见的分析框架由spark、storm或者samza；

数据分析层 - 企业大数据系统必然是基于业务并且反哺业务的，提供简单易用的数据分析功能给到业务方也是必然要求。

https://www.jianshu.com/p/2b52705b8412

10Hbase

HBase 读取数据的流程分析，并根据此流程介绍如何在客户端以及服务端优化性能，同时结合有赞线上 HBase 集群的实际应用情况，将理论和实践结合，希望能给读者带来启发

https://mp.weixin.qq.com/s/4lbvdcBNBoo_Vzhtd3CvRw