feiweihy的博客_Mysql,Oracle,SQL Server,Linux,Apache,Windows server,AIX,Windows,Red Hat,大数据(学习),大数据(研究),JAVA技术_51CTO博客

鸿蒙开发者社区

WOT技术大会

公众号矩阵

移动端

短视频免费课程课程排行直播课软考学堂

全部课程厂商认证 IT技术 24年11月软考 PMP项目管理免费题库

在线学习

文章资源问答课堂专栏直播

51CTO

鸿蒙开发者社区

51CTO技术栈

51CTO官微

51CTO学堂

51CTO博客

CTO训练营

鸿蒙开发者社区订阅号

51CTO软考

51CTO学堂APP

51CTO学堂企业版APP

鸿蒙开发者社区视频号

51CTO软考题库

51CTO博客

首页
关注
排行榜
精品课程
免费资料
软考题库

科目全、试题精、讲解专业，扫码免费刷

搜索历史清空

热门搜索

查看【】的结果
写文章
创作中心
登录注册

执行java程序是不是只能java -jar？

java

cp

jar

原创 2016-11-01 15:44:00 1073 阅读

HIVE和SPARKSQL计算引擎在TEXT导入PARQUET格式的HIVE存储引擎分片数量机制

HIVE的存储格式使用PARQUET格式之后，从其它TEXT格式的原表导入该表，分别使用hive和sparksql进行数据导入，产生文件分片数量的机制研究

SQL

SPARK

HIVE

原创 2016-03-25 15:12:33 3270 阅读

SQOOP可能会导致HDFS分片数量过多的总结

如果数据比较少的情况下，我们更加建议，在关系型数据库将数据合并之后再使用sqoop移植；当数据量比较多，比如一天数据本身本身就有500万甚至上千万数据的时候，一天的大小可能就会与几个G甚至几十个G，那么这个时候我们就算用多个mapreduce任务也没关系！！！

HDFS

SQOOP

分片数量

原创精选 2016-03-16 16:18:47 3295 阅读

从0开始搭建基于Zookeeper的Spark集群

从0开始搭建基于Zookeeper的Spark集群

Spark

Zookeeper

开始搭建

原创 2016-02-22 16:30:23 10000+阅读