列举了流式处理架构应用的基础，描述了他们的挑战，约束，和优势。深入了解了Spark Streaming 的内部工作原理包括如何Spark Core 适用，以及与Spark SQL 和 Spark MLlib对话， 通过TCP sockets 解释了流处理概念。使用Kafka最大限度地增加了流处理架构的弹性
对于全栈而言，数据库技能不可或缺，关系型数据库或者nosql，内存型数据库或者偏磁盘存储的数据库，对象存储的数据库或者图数据库……林林总总,但是第一必备技能还应该是MySQL。MySQL数据库技术的方方面面也是很多，这里只涉及必备的性能调优，推崇从下向上的性能调优，主要包括运行环境，配置参数，SQL性能，数据库架构......
一个互联网应用（例如网上商城），搜索功能基本上是必备的。搜索的解决方案要快，最好有一个零配置和完全免费的搜索模式，能够简单地使用JSON通过HTTP的索引数据。搜索服务器始终可用，并能够从一台扩展到数百台，搜索的实时性要好......Elasticsearch（简称ES）不仅可以解决这些问题，而且可以做更多的事情。ES 是什么ES是基于Lucene的实时搜索和分析引擎，可以用来做全文检索、结构化数
系统性能调优尤其是mysql数据库性能调优一个主要依据就是慢查询日志了。原来在ubantu 或centos 上有一个强大工具就是 percona toolkit，那么在mac 上如何使用pt-query-digest呢？下载 percona toolkit访问 http://www.percona.com/downloads/percona-toolkit , 采用源代码安装......
不论是数据分析还是机器学习，乃至于高大上的AI，数据源的获取是所有过程的入口。读取文件的操作，文件有各种各样的格式：文本，音视频，pdf，word，excel等等...... Life is short, just use python.
社交网络由时尚变为主流，有人建议用巨型全球图（Giant Global Graph，GGG）来代替万维网（www），进一步地说，语义网（www.foaf-project.org）是未来网络的趋势。自然语言工具包（NLTK）提供了大量用于文本分析的工具，包括常见度量的计算、信息提取和NLP。回答“人们正在讨论什么的问题”的最简单的方法是进行基本词频分析。Grahviz是可视化社区的主要工具，DOT语
码农不识贝叶斯，虽知数据也枉然呀！
先研究一下不断改变的动态环境带来的挑战，在列出流处理应用的先决条件（如，Twitter的TCP Sockets连接）之后， 结合Spark, Kafka 和 Flume 把数据放入一个低延迟，高吞吐量，可缩放的处理流水线。 要点如下: • 分析流式应用架构的挑战，约束和需求 • 利用Spark Streaming 从 TCP socket 中处理
系统性能调优尤其是mysql数据库性能调优一个主
一个互联网应用（例如网上商城），搜索功能基本上是必备的。搜索的解决方案要快，最好有一个零配置和完全免费的搜索模式，能够简单地使用JSON通过的索引数据。搜索服务器始终可用，并能够从一台扩展到数百台，搜索的实时性要好......Elasticsearch（简称ES）不仅可以解决这些问题，而且可以做更多的事情。ES 是什么ES是基于Lucene的实时搜索和分析引擎，可以用来做全...
Copyright © 2005-2025 51CTO.COM 版权所有 京ICP证060544号
