赵锴 KaiZhao
如果你要成为大数据分析中的佼佼者,那么你怎么也得清楚地知道下面的大数据分析的十大技术。
1: 数据仓库技术
全球数据仓库的领导者是Teradata。
Teradata收购的Aster Data( Teradata Aster) 拥有强大的SQL/MR技术。
Greenplum和Aster Data都是基于PostgreSQL的MPP并行数据仓库,不同的是Aster Data是MR是基于PostgreSQL的,而Greenplum是基于商业Hadoop版本的。
开源的MPP系统也有一些,请google自查之。
2: 数据库技术
数据库除了老牌的Oracle, SqlServer,还有开源的MySQL和PostgreSQL。Inside SQL Server这本老书可以多翻得的看看。
建议多多关注PostgreSQL,因为那是一个至今为止你还可以读的懂内核的数据库系统,代码优美,值得信赖。
3: Hadoop等衍生系统技术
这个就不多说了,从Hadoop到Spark,不知道现在有多少家公司要头痛的选择到底是选用新的Spark还是已有的Hadoop。
头痛的原因还有就是,公司好不容易培养好了Hadoop的人员,现在又要培养Spark。这个显然给商业MPP公司带来了销售上的说辞。。。
4: 数据挖掘技术
分类,聚类, 平凡项集挖掘,协同过滤,回归预测这些概念怎么也得弄懂了。
各种距离也得略知一二。
Weka,R, Mahout, Spark怎么也得会几个。
5: 自然语言处理技术
英文的不说。
中文的你得知道 分词,词性标注POS,语法树,指代消歧,关键词抽取,实体抽取,情感分析。
6: 社交网路分析技术(图分析)
图的基本理论
图上操作SSSP, PageRank等等请google之。
知道怎么找到社区和社区中的关键人物。
7: 信息检索技术
知道Ngram, 停用词,倒排索引,会用lucene。
8: 云计算技术
知道如何管理和分配主机、存储、网络、操作系统。
熟悉OpenNebula , OpenStack, CloudStack, 至少一种。
9: No-SQL技术
众多No-SQL技术。希望能至少了解一种技术。
10: 数据可视化技术
如果你看懂了Tableau是怎么做的,那么数据可视化你就是没有问题了。