谁伴我闯荡的博客_HBASE,HADOOP,JAVA转载

解决com.mysql.jdbc.PacketTooBigException: Packet for query is too large (3158064）问题

在做查询数据库操作时，报了以上错误，还有out of memery heap hacp ,原因是mysql的max_allowed_packet设置过小引起的，我一开始设置的是1M，后来改为了20Mmysql根据配置文件会限制server接受的数据包大小。有时候大的插入和更新会被max_allowed_packet 参数限制掉，导致失败。查看目前配置 show VARIABLES like '%m

mysql

转载 2017-02-13 16:21:01 2492 阅读

HIVE2.1.0安装

https://my.oschina.net/jackieyeah/blog/735424

HIVE

转载 2017-02-09 18:36:00 726 阅读

Spark通过Java Web提交任务

http://blog.csdn.net/u010022051/article/details/48240173

SPARK

转载精选 2016-07-07 15:05:58 2593 阅读

Java实现KMP算法

package arithmetic; /** * Java实现KMP算法 * * 思想：每当一趟匹配过程中出现字符比较不等，不需要回溯i指针， * 而是利用已经得到的“部分匹配”的结果将模式向右“滑动”尽可能远 * 的一段距离后，继续进行比较。 * * 时间复杂度O(n+m) * * @author xqh * */ publ

KMP

转载精选 2016-06-30 10:25:24 554 阅读

eclipse svn检出项目为非JAVA项目

Java代码 <buildCommand> <name>org.eclipse.jdt.core.jav

服务器

配置文件

folder

dynamic

java项目

转载精选 2016-06-20 14:51:59 1124 阅读

Spark RDD API详解(一) Map和Reduce

RDD是什么？RDD是Spark中的抽象数据结构类型，任何数据在Spark中都被表示为RDD。从编程的角度来看，RDD可以简单看成是一个数组。和普通数组的区别是，RDD中的数据是分区存储的，这样不同分区的数据就可以分布在不同的机器上，同时可以被并行处理。因此，Spark应用程序所做的无非是把需要处理的数据转换为RDD，然后对RDD进行一系列的变换和操作从而得到结果。本文为第一部分，将介绍Spark

应用程序

元素

如何

转载精选 2016-06-13 17:06:59 574 阅读

HADOOP监控

Hadoop负载均衡均衡器（balancer）是一个Hadoop守护进程，它将块从忙碌的datanode移到相对空闲的datanode，从而重新分配块。同时坚持块副本放置策略，将副本分散到不同机架，以降低数据损坏率。它不断移动块，直到集群达到均衡，即每个datanode的使用率（该节点上已使用的空间与空间容量之间的比率）和集群的使用率（集群中已使用的空间与集群的空间容量之间的比率）非常接近，差距不

Hadoop 监控

转载精选 2016-05-11 22:45:36 416 阅读

Hadoop集群日常运维

（一）备份namenode的元数据namenode中的元数据非常重要，如丢失或者损坏，则整个系统无法使用。因此应该经常对元数据进行备份，最好是异地备份。1、将元数据复制到远程站点（1）以下代码将secondary namenode中的元数据复制到一个时间命名的目录下，然后通过scp命令远程发送到其它机器[plain] view plain copy #!/bin/ba

HADOOP运维

转载精选 2016-05-11 18:21:43 1282 阅读

深入理解HBase Memstore

MemStore是HBase非常重要的组成部分，深入理解MemStore的运行机制、工作原理、相关配置，对HBase集群管理以及性能调优有非常重要的帮助。HBase Memstore首先通过简单介绍HBase的读写过程来理解一下MemStore到底是什么，在何处发挥作用，如何使用到以及为什么要用MemStore。图一：Memstore Usage in HBase Read/Write

HBASE memstore

转载精选 2016-04-18 16:41:19 1731 阅读

hbase内存分配那些事

最近一直在研究Hbase，上班时间能去研究这些hbase一些稍微深层次的原理，或者做一些有用的优化是非常宝贵的，既能拿钱又能获得宝贵经验。咳。。有点扯远了。接下来进入正题。 1、hbase-env.sh中的内存配置 hbase-env.sh中可以配置很

HBASE

转载精选 2016-04-18 15:10:00 10000+阅读

JAVA锁机制

一段synchronized的代码被一个线程执行之前，他要先拿到执行这段代码的权限，在java里边就是拿到某个同步对象的锁（一个对象只有一把锁）；如果这个时候同步对象的锁被其他线程拿走了，他（这个线程）就只能等了（线程阻塞在锁池等待队列中）。取到锁后，他就开始执行同步代码(被synchronized修饰的代码）；线程执行完同步代码后马上就把锁还给同步对象，其他在锁池中等待的

JAVA

关键字

多线程

安全性

转载精选 2016-04-18 13:45:33 338 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客