Logo

  • 陈元CY

    发布于:1 天前

    0

    docker预告-命令与安装包
    docker预告 yuminstall--installroot=/home/chen/vhost yum chroot /home/chen/vhost
    阅读 111 评论 0 收藏 1
  • choulanlan

    发布于:10 天前

    0

    记一次HDFS的block corrupt事件
    还有最后两天班,明天晚上回家过年了,可是CDH突然报了一个blockmissing的错误,用hdfsfsck/检查了一下,我们的块一共有500W个,missing了将近100W个,天呐,不过由于Hdfs的replication的机制,只要不是3份全丢就可以修复,这样,绝大部分的块都修复了,但是还是有3000多个块是3份都丢失了,3份全丢后,状态就为corrupt,直接导致小时报和日报收到影响,很多
    阅读 123 评论 0 收藏 0
  • lhmlogin

    发布于:12 天前

    0

    实现并行运算的方法汇总
    1、实现的手段1.1MPIMPI实现并行是进程级;采用的是分布式内存系统,显式(数据分配方式)实现并行执行,通过通信在进程之间进行消息传递,可扩展性好。MPI虽适合于各种机器,但它的编程模型复杂:需要分析及划分应用程序问题,并将问题映射到分布式进程集合;需要解决通信延迟大和负载不平衡两个主要问题;调试MPI程序麻烦;MPI程序可靠性差,一个进程出问题,整个程序将错误;1.2PthreadsPthr
    阅读 92 评论 0 收藏 0
  • choulanlan

    发布于:17 天前

    0

    Access denied for user 'root'@'10.%.%.%' to databa
    安装CDH时,在mysql中初始化cm数据库时,报没有权限的错误:com.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxErrorException:Accessdeniedforuser'root'@'10.%.%.%'todatabase'cm'不要用%这些模糊匹配后面直接加CM的IP就可以了GRANTALLPRI
    阅读 117 评论 0 收藏 0
  • cs312779641

    发布于:17 天前

    20

    详解Linux运维工程师高级篇(大数据安全方向)
    详解linux运维工程师高级篇(大数据安全方向)
    阅读 2W+ 评论 6 收藏 13
  • 9pc9com

    发布于:17 天前

    0

    sqlserver数据库的服务器 改名字后 数据库登录不上 解决方案
    计算机名称修改后,sqlserver原来的windows验证无法登录标签:数据库2016-09-2615:041491人阅读评论(1)收藏举报分类:DB之路——sqlserver(3)计算机改名后,SQL数据库不能登录问题的解决方法。1.用sa登录数据库为master中新建查询selectfromsys.sysservers进行查询可发现数据库中还保留着之前的计算机名2.在输入以下进行删除以原计算
    阅读 112 评论 0 收藏 1
  • choulanlan

    发布于:19 天前

    0

    org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask
    ExecutionError,returncode1fromorg.apache.hadoop.hive.ql.exec.mr.MapredLocalTask这个问题是hive进行mapjoin而机器内存不够导致mapjoin会把join中的小表读到内存中,然后再对比较大的表格进行map操作。join就发生在map操作的时候,每当扫描一个大的table中的数据,就要去去查看小表的数据,哪条与之相符
    阅读 96 评论 0 收藏 0
  • choulanlan

    发布于:19 天前

    1

    解决kylin build cube报错java.lang.NullPointerException
    网上说的reloadmetadata的方法根本没有用,这个是zookeeper上面已经存在/kylin的节点所致,这个节点有问题导致没有数据,又无法创建新的节点,删除zookeeper下/kylin的节点就可以了明明是zk的问题报了个hive的错,尼玛kylin是真坑啊
    阅读 90 评论 0 收藏 0
  • 巴利奇

    发布于:19 天前

    0

    hadoop mapreduce开发实践文件合并(join)
    有两份不同的文件,他们有相同的键,把他们合并成一个文件;1、文件内容合并前的文件a.txt和b.txt$heada.txtb.txt==>a.txt<==aaa1hdfsaaa2hdfsaaa3hdfsaaa4hdfsaaa5hdfsaaa6hdfsaaa7hdfsaaa8hdfsaaa9hdfsaaa10hdfs==>b.txt<==aaa1mapreduceaaa2ma
    阅读 202 评论 0 收藏 0
  • 小强测试帮

    发布于:20 天前

    1

    小白学习大数据测试之hadoop hdfs和MapReduce小实战
    在湿货|大数据测试之hadoop单机环境搭建(超级详细版)这个基础上,我们来运行一个官网的MapReduce demo程序来看看效果和处理过程。大致步骤如下:新建一个文件test.txt,内容为Hello HadoopHello xiaoqiangHello testingbangHello http://xqtesting.sxl.cn将test.txt上传到hdfs的根目录/usr/lib/h
    阅读 235 评论 0 收藏 0
写文章