最近在用mac笔记本搭建hadoop+hive+spark的测试环境,中间遇到不少问题,所以,记录一下,希望以
一 股票数据1、新浪实时股票数据接口 地址:://hq.sinajs.cn/list=sh6
1、hive查询卡死现象:执行hive查询时,迟迟不能出现map-reduce任务进度原因:空间不足导致,清理掉无用的文件,释放出空间即可。通常建议剩余空间为查询数据的两倍2、hdfs使用空间超出实际占用空间现象:通过hdfs dfs-du-h/命令查看到各个目录所占的空间原因:因为删除操作,大量的垃圾文件堆积在/user/root/.Trash ,这个
======持续更新中======针对kafka、storm、mongodb集群1、intellij gradle项目开发gradle内dependences配置方法:://mvnrepository.com/artifact/storm/storm上面页面中搜索框,搜索要引入的依赖名称,如storm,点击搜索后,会返回可以引入的storm
原文网址:https://www.zhihu.com/question/29092950Carey Tzou的回答。如有转载请著名版权。作者:Carey Tzou链接: ,非商业转载请注明出处。先上图,这是一年前技术选型时做的一个对比表...
参考的安装文章地址:https://blog.csdn.net/pengjunlee/article/details/81607890实际安装的版本为: hadoop 2.9.2, hive 2.3.6;操作系统:centos 3.10.0-957.1.3.el7.x86_但安装步骤与原文相同,可直接参考。操作实录:1、hive中建立数据库后,会在hdfs中出现对象的库名.db...
Copyright © 2005-2024 51CTO.COM 版权所有 京ICP证060544号