写在第7期周报
坚持是一种品格!
“大数据” 三个字其实是个marketing语言,从技术角度看,包含范围很广,计算、存储、网络都涉及,知识点广、学习难度高。
#大数据和云计算技术社区#希望通过坚持定期分享能帮助同学在大数据学习道路上尽一份微博之力。也请同学们继续打赏,支持社区,支持编辑们持续奉献高质量知识!
本期会给大家奉献上精彩的:AI浪潮 \用户画像 大数据应用在教育 NoSQL基础、spark计算和流处理。全是干货,希望大家喜欢。
#大数据和云计算技术社区#长期招募有兴趣参与社区编辑和运营的同学,欢迎扫描文末二维码联系(参与社区工作,收获知识和进步,还有红包哦)。
特别提醒,文末有惊喜!
以下是正文,限于众编辑水平有限,不保证大家都喜欢。
1AI浪潮
1)李开复说,人工智能发展大概有四波浪潮:互联网AI化、商业AI化、实体世界感知AI化,以及全自动AI化。它们同时发生、没有先后顺序,但是,都会给未来经济带来巨大的商机。
http://m.pedaily.cn/news/424699?from=singlemessage
2)“多个朋友多条路,少个敌人少堵墙”——百度COO陆奇。
http://dwz.cn/78bX0m
2用户画像 用户画像,它完美地抽象出一个用户的信息全貌,为进一步精准、快速地分析用户行为习惯、消费习惯等重要信息,提供了足够的数据基础。在个性化推荐和精准广告有着广泛的应用。本文先简述了用户画像的基本构建过程,然后分别讲述了新浪微博,金融行业等多家企业的用户画像的构建。
http://dwz.cn/78bXKs
** 3大数据应用在教育** 未来,以大数据实现教育个性化,用人工智能赋能教育,在成倍放大教育产能的同时,将使得优质教学资源得到充分利用,从而做到因材施教、因人施教。
http://dwz.cn/76LQKL
4NoSQL基础
1)本文从Hbase的原理架构。数据组织。Hbase设计思路等对Hbase做了一个系统介绍,希望对于喜欢Hbase的同学们能起到一点儿帮助。
http://dwz.cn/78bYDu
2)本文是同程旅游对对Redis过度依赖的分享,Redis看似为系统带来了简单又方便的性能提升和稳定性,但在使用中缺乏对不同场影的数据的分离造成了一个逻辑上的单点问题。
http://dwz.cn/78bZaF
5Spark计算 Spark是大数据领域中相当火热的计算框架,
由于它是运行在JVM之上,所以任务的执行依赖序列化及类加载机制,本文重点讲述: Java对象序列化机制、类加载器的作用、closure序列化的处理、Application的class的加载、REPL(spark-shell)中的代码是如何分布式执行。相信对深入理解Spark原理的同学会大有裨益。
http://dwz.cn/78bZgf
6流处理 1)Storm是一个分布式的,可靠的,容错的数据流处理系统,被称为实时处理领域的Hadoop,高度专注于流处理领域
http://dwz.cn/78bZq8
2)Flume+Kafka数据收集比较推荐的组合,详细讲述了flume采集数据的优势和kafka技术架构设计,值得一看!
http://dwz.cn/78bZM4
3)Apache Flink 和 Apache Storm 是当前业界广泛使用的两个分布式实时计算框架。其中 Apache Storm(以下简称“Storm”)在美团点评实时计算业务中已有较为成熟的运用,有管理平台、常用 API 和相应的文档,大量实时作业基于 Storm 构建。而 Apache Flink(以下简称“Flink”)在近期倍受关注,具有高吞吐、低延迟、高可靠和精确计算等特性,对事件窗口有很好的支持,目前在美团点评实时计算业务中也已有一定应用。通过本篇文章,让大家Flink和Strom有进一步的了解。
https://tech.meituan.com/Flink_Benchmark.html
007开心一刻 猪丢了:)