赵锴 KaiZhao


如果你要成为大数据分析中的佼佼者,那么你怎么也得清楚地知道下面的大数据分析的十大技术。


1: 数据仓库技术

全球数据仓库的领导者是Teradata。

Teradata收购的Aster Data( Teradata Aster) 拥有强大的SQL/MR技术。

Greenplum和Aster Data都是基于PostgreSQL的MPP并行数据仓库,不同的是Aster Data是MR是基于PostgreSQL的,而Greenplum是基于商业Hadoop版本的。

开源的MPP系统也有一些,请google自查之。


2: 数据库技术

数据库除了老牌的Oracle, SqlServer,还有开源的MySQL和PostgreSQL。Inside SQL Server这本老书可以多翻得的看看。

建议多多关注PostgreSQL,因为那是一个至今为止你还可以读的懂内核的数据库系统,代码优美,值得信赖。


3: Hadoop等衍生系统技术

这个就不多说了,从Hadoop到Spark,不知道现在有多少家公司要头痛的选择到底是选用新的Spark还是已有的Hadoop。

头痛的原因还有就是,公司好不容易培养好了Hadoop的人员,现在又要培养Spark。这个显然给商业MPP公司带来了销售上的说辞。。。


4: 数据挖掘技术

分类,聚类, 平凡项集挖掘,协同过滤,回归预测这些概念怎么也得弄懂了。

各种距离也得略知一二。

Weka,R, Mahout, Spark怎么也得会几个。


5: 自然语言处理技术

英文的不说。

中文的你得知道 分词,词性标注POS,语法树,指代消歧,关键词抽取,实体抽取,情感分析。


6: 社交网路分析技术(图分析)

图的基本理论

图上操作SSSP, PageRank等等请google之。

知道怎么找到社区和社区中的关键人物。


7: 信息检索技术

知道Ngram, 停用词,倒排索引,会用lucene。


8: 云计算技术

知道如何管理和分配主机、存储、网络、操作系统。

熟悉OpenNebula , OpenStack, CloudStack, 至少一种。


9: No-SQL技术

众多No-SQL技术。希望能至少了解一种技术。


10: 数据可视化技术

如果你看懂了Tableau是怎么做的,那么数据可视化你就是没有问题了。