大数据和云计算技术周报（第124期)

原创

大数据和云计算技术 2021-07-27 15:08:45 ©著作权

©著作权归作者所有：来自51CTO博客作者大数据和云计算技术的原创作品，请联系作者获取转载授权，否则将追究法律责任

导语

“大数据” 三个字其实是个marketing语言，从技术角度看，包含范围很广，计算、存储、网络都涉及，知识点广、学习难度高。

本期会给大家奉献上精彩的：flink、一致性、MongoDB、SpringCloud、sql server、nlp、kafka、。全是干货，希望大家喜欢！！！

1OpenTSDB

使用降采样器，单个时间序列在一个时间范围内的多个数据点在一个对齐的时间戳中与数学函数一起聚合成单个值。这样我们可以将数量从604,800减少到168。

https://mp.weixin.qq.com/s/o3sfs4JNxsUt6h_-sWxY3w

2SQL Server

SQL Server还是很流行

https://mp.weixin.qq.com/s/19E7uHsZmj-sqhDa_GLD_A

3NLP

本次分享的题目是 UC 国际信息流推荐中的多语言内容理解，讲一下UC在国际信流推荐场景下的多语言内容理解方面的一些工作和思考，主要分为：多语言内容理解的需求和挑战和多语言内容结构化信号建设方法https://mp.weixin.qq.com/s/qkKf3XOdJhrvyvt7ROJWug

4Kafka

这篇文章我们从Kafka内存缓冲机制的设计思路开始，一直分析到了JVM GC问题的产生原因以及恶劣的影响。

https://mp.weixin.qq.com/s/Fcw7jMAcXETOsw1oYNjyLQ

5flink

本文简单介绍了之家实时团队过去基于stom的实时作业开发的痛点以及基于flink实时sql平台的设计实现

https://mp.weixin.qq.com/s/dqdUuSa3w5rjZE8b7N_h7A

6微服务

微服务架构是一种架构模式，它提倡将单体应用程序划分成一组小的服务，服务之间互相协调、互相配合，为用户提供最终价值。每个服务运行在其单独的进程中，服务与服务间采用轻量级的通信机制互相协作（通常是基于HTTP协议的RESTful API）。每个服务都围绕着具体业务进行构建，并且能够被独立的部署到生产环境、类生产环境等。另外，应当尽量避免统一的、集中式的服务管理机制，对具体的一个服务而言，应根据业务上下文，选择合适的语言、工具对其进行构建。

https://mp.weixin.qq.com/s/VKy0FqqGTCp3LFNLcgNcCQ

7MongoDB

本文讲述了MongoDB的使用BI Connector来支持BI组件直接使用SQL或ODBC数据源方式直接访问MongoDB.

http://www.mongoing.com/archives/28508

8数据中心

数据中心的功能定位影响到数据中心是建在大城市还是建在环境更适宜的偏远地区，冷数据备份、离线计算分析以及其他对网络时延要求较低的应用将优先选择环境更适宜的偏远地区数据中心，降低建设运行成本；面向区域、对时延敏感、以实时应用为主的业务将选择在用户聚集地区依市场需求灵活部署数据中心。

https://mp.weixin.qq.com/s/zttoKc5VVz8pwa3k6NXA2A

9一致性实现

本文介绍了主流系统Spark/Flink/Kafka/DataFlow端到端一致性实现对比。https://mp.weixin.qq.com/s/XchNuPu8IozP7pQsYi-dUA

10分布式事务

阿里分布式事务解决方案 Fescar 解析,作者从微服务带来的分布式问题作为话题引入，遇到的问题，

然后作者介绍了fescar的发展历程、原理和设计、适用场景分析、扩展点、以及相关的源文档链接，给你在分布式事务，提供解决方案参考