大数据和云计算技术周报（第134期)

原创

mob604756ec296f 2021-03-14 14:55:53 ©著作权

文章标签 Java 文章分类 Java 后端开发

©著作权归作者所有：来自51CTO博客作者mob604756ec296f的原创作品，请联系作者获取转载授权，否则将追究法律责任

导语 “大数据” 三个字其实是个marketing语言，从技术角度看，包含范围很广，计算、存储、网络都涉及，知识点广、学习难度高。

本期会给大家奉献上精彩的：ES、Hbase、Hadoop、ClickHouse、监控、数据中台、MangoDB。全是干货，希望大家喜欢！！！

1Elasticsearch

Elasticsearch 7.10 版本最近发布，该版本有一个重磅特性：Searchable snapshots （可搜索快照功能），可以大幅度地降低存储成本

https://mp.weixin.qq.com/s/t7ZD8LUk9cKly4pp3_KLcQ

2HBase

如何将HBase的数据迁移到Kafka呢？今天笔者就给大家来分享一下具体的实现流程。 https://mp.weixin.qq.com/s/-J9nQs8IjEOcSj849tYigg

3Hadoop

本文将介绍eBay ADI Hadoop team如何克服万难，在短短两小时内将近1000万级别文件数量与10PB规模大小的数据全部迁移至新的namespace，从而达到RPC流量迁移的效果，保证了HDFS集群的稳定性。

https://mp.weixin.qq.com/s/DqCSKeUuIuF6nbZkjVI7GA

4监控

本文内容分为3部分，首先简单介绍了美图的业务背景和监控体系，然后是两个美图的监控实践——基于Grafana FlowCharting插件的「监控大盘」实战和基于GrafanaImageRender+企业微信机器人的「图文告警」实战。https://mp.weixin.qq.com/s/fVZ_xlQ9UeflNYsdMjG0cw

5ClickHouse

本文主要介绍了ClickHouse 中物化视图的相关概念及物化视图在 ClickHouse中的应用示例。

https://www.jianshu.com/p/3f385e4e7f95

6数据中台

数据中台思索

https://mp.weixin.qq.com/s/5MtALA_MBAZiGOfwGgfbeQ

7MongoDB

本文讲述了使用writeConcern:majority方式向MongoDB导入数据，在整体负载非常低情况下，出现写入请求出现超时，从单节点慢和主从复制慢分析writeConcern:majority处理流程，最终通过找到反映OpTime的方法解决；

https://mongoing.com/archives/76098

8AWS

HDFS集群随着使用时间的增长，难免会出现一些“性能退化”的节点，主要表现为磁盘读写变慢、网络传输变慢，我们统称这些节点为慢节点。当集群扩大到一定规模，比如上千个节点的集群，慢节点通常是不容易被发现的。大多数时候，慢节点都藏匿于众多健康节点中，只有在客户端频繁访问这些有问题的节点，发现读写变慢了，才会被感知到。

因此，要想维护HDFS集群读写性能稳定，慢节点问题一直是一个绕不开的话题。在Hadoop2.9之后，社区支持了从Namenode jmx上查看慢节点的功能，小米基于此框架，开发了一整套HDFS集群慢节点监控及自动处理流程，在实际生产环境中，具有不错的应用效果，可以保证慢节点能够被及时准确发现，并在NameNode端自动规避处理。

https://www.iteblog.com/archives/9890.html