Logo

  • Rawirm

    发布于:15 小时前

    0

    Parquet性能测试调优及其优化建议
                      Parquet性能测试调优及其优化建议  一、我们为什么选择parquet  1、选择parquet的外部因素  (1) 我
    阅读 240 评论 0 收藏 0
  • choulanlan

    发布于:4 天前

    0

    记一次HDFS的block corrupt事件
    还有最后两天班,明天晚上回家过年了,可是CDH突然报了一个blockmissing的错误,用hdfsfsck/检查了一下,我们的块一共有500W个,missing了将近100W个,天呐,不过由于Hdfs的replication的机制,只要不是3份全丢就可以修复,这样,绝大部分的块都修复了,但是还是有3000多个块是3份都丢失了,3份全丢后,状态就为corrupt,直接导致小时报和日报收到影响,很多
    阅读 99 评论 0 收藏 0
  • lhmlogin

    发布于:6 天前

    0

    MPI安装步骤
    MPICHsetupinstallsame(notmust)LinuxOSon2ormorecomputerconfigssh:mastercomputershouldbeabletosshloginslavecomputerwithoutpasswd:run"ssh-keygen-trsa"onmastercomputerscp~/.ssh/id_rsa.pub192.168
    阅读 35 评论 0 收藏 0
  • lhmlogin

    发布于:6 天前

    0

    实现并行运算的方法汇总
    1、实现的手段1.1MPIMPI实现并行是进程级;采用的是分布式内存系统,显式(数据分配方式)实现并行执行,通过通信在进程之间进行消息传递,可扩展性好。MPI虽适合于各种机器,但它的编程模型复杂:需要分析及划分应用程序问题,并将问题映射到分布式进程集合;需要解决通信延迟大和负载不平衡两个主要问题;调试MPI程序麻烦;MPI程序可靠性差,一个进程出问题,整个程序将错误;1.2PthreadsPthr
    阅读 80 评论 0 收藏 0
  • Rawirm

    发布于:6 天前

    1

    不使用Sqoop流程,利用CacheManager直接完成SparkSQL数据流直接回写Oracle
    以前都是使用Sqoop来完成数据从生成的hdfs数据存储上来抽取至oracle的数据库:sqoop抽取语句:sqoopexport--connect"jdbc:oracle:thin:@ip:port:sid"--username用户名--password密码--tablesid.表名--export-dirhdfs://nameservice1/user/XXX(hdfs地址
    阅读 201 评论 1 收藏 0
  • 人气王子333

    发布于:6 天前

    0

    Java并发编程原理与实战
    Java并发编程原理与实战网盘地址:https://pan.baidu.com/s/1c3mpC7A密码:pe62备用地址(腾讯微云):https://share.weiyun.com/11ea938c7ad43783a934ed1d492eed8d密码:ogHukS
    阅读 49 评论 0 收藏 0
  • Rawirm

    发布于:7 天前

    2

    Parquet性能测试之项目实践中应用测试
    因为从事大数据方面的工作,经常在操作过程中数据存储占空间过大,读取速率过慢等问题,我开始对parquet格式存储进行了研究,下面是自己的一些见解(使用的表都是项目中的,大家理解为宽表即可):一、SparkSql中两种格式存储的读写性能(以资源产品拓扑信息宽表为例)1、假设:由于对于parquet存储格式来说,针对列式的查询读取操作以及列式的计算性能更高于普通的存储格式,所以在读取相同的sql过程中
    阅读 3027 评论 0 收藏 0
  • 小象慢跑

    发布于:8 天前

    0

    发现网站收录下降应该怎么办
     录入状况的好与坏直接关系到网站关键词排名状况,假如呈现网站录入规则下降,就需求立刻排查原因,阻挠问题恶化。  一种状况是网站录入量直接被清零  假如网站原先有录入,之后发现网站的录入量为零了,需求排查网站是否运用了过错的robots协议,网站是否被黑,网站是否被查找引擎严峻赏罚,网站是否在服务器端屏蔽了baiduspider。录入量被清零的状况很少呈现,但也会发作。  一种状况是网站录入量下降削
    阅读 35 评论 0 收藏 0
  • choulanlan

    发布于:10 天前

    0

    Access denied for user 'root'@'10.%.%.%' to databa
    安装CDH时,在mysql中初始化cm数据库时,报没有权限的错误:com.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxErrorException:Accessdeniedforuser'root'@'10.%.%.%'todatabase'cm'不要用%这些模糊匹配后面直接加CM的IP就可以了GRANTALLPRI
    阅读 103 评论 0 收藏 0
  • cs312779641

    发布于:10 天前

    19

    详解Linux运维工程师高级篇(大数据安全方向)
    详解linux运维工程师高级篇(大数据安全方向)
    阅读 2W+ 评论 6 收藏 9
写文章