51CTO博客开发
#! /usr/bin/expect -f set timeout 30spawn ssh -p 22 -o ServerAliveInterval=30 -o ServerAliveCountMax=10 iwjw@30.0.0.23expect "Password:*"send "s8H30lk8w4l)2Ls@2k1d03\n"interact#! /bin/shssh -CPfN -o S
当我们手动执行脚本没有问题时，我们认为万事OK了 。其实不然放入crontab之后缺少各种东西。我的业务是 使用hive中原始表当数据源，创建一个临时表，将数据原的数据清洗一遍放入临时表，再使用sqoop将临时表的数据导入到Mysql中。首先我的hive表是orc文件压缩格式，sqoop无法直接读取，所以在清洗时顺便换了文件格式。一部分表是与hbase关联表，所以需要将hbase/lib中的 hb
创建一个点的beanpublic class Point { private double lat; private double lon; public double getLat() { return lat; } public void set
创建表create [external<外联>] table log_app_web (log map<string,string>) partitioned by (year int,month int,day int) ROW FORMAT DELIMITED COLLECTION ITEMS TERMINATED BY '\t' MAP KEYS
语法：ROW_NUMBER() OVER(PARTITION BY COLUMN<针对排名的字段> ORDER BY COLUMN<需要排名的字段> （desc<倒序>）)SELECT *, Row_Number() OVER (partition by deptid ORDER BY salary desc) rank FROM employee
一dd的作用是转换和拷贝文件，我们可以利用它来分割文件，相关的选项如下：if=filename：输入的文件名of=finename：输出的文件名bs=bytes：一次读写的字节数，默认是512bytesskip=blocks:拷贝前，跳过的输入文件的前blocks块，块的大小有bs决定count=blocks：只拷贝输入文件的前blocks块 例如，现在有一个文件file，大小为1166
续上面 获得资源后我们要将转换为相应的日志,落在统一的服务器中.在flume中的对file操作的sink只有RollingFileSink但这个对我们来一点用都没有,package com.ule.flume.sink.file; import java.io.BufferedOutputStream; import java.io.File; import&nbs
开一个监听持续间断的获取某个日志的续写的信息,并传入sink中,在flume默认的组建中并没用这样的功能,只能自己根据业务就行开发,下面flume获得source信息概要:首先 我们在获得持续输出的日志并创建一个文件中记录我们获取这个日志的信息变化的位置,根据这个位置文件来完成,我们需要的断点续传功能.所谓日志搬家我们必须要知道这个日志 是哪里来要搬到哪里去 这里是source我只做在哪里来,首先
在flume中 原有的sink的hdfs接口中只有根据写入多少秒存储关闭文档或者写入多少量存储关闭文档,饼不能根据实际需求来关闭文档,所以需要自己改写代码来满足我们的要求.例如 我们需要他在每天到了0点以后关闭上一日的文档,并在写一个新的文档出来,首先我找到源码在flume的源码中一个单独的项目flume-hdfs-sink是针对hdfs的可以只接在这个项目里进行修改,然后打包好在放到lib包中.
##设置用户允许对外访问GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '123456' WITH GRANT OPTION;
版本： activemq 5.9.1 zookeeper 3.4.5 leveldb 1.5.0activemq zookeeper 解压
之前的hbase的文件没记下来 又弄丢了 现在重新做了一遍 这次可要认真记下来 浪费我了1一天宝贝时间去实验啊。这次的版本使用的是hadoop1.2.0 hbase0.94.7 首先确认环境 jdk hadoop 就不说了ip 机器名 域名 对hbase 很重要的问题/etc/hosts127.0.0.1
package com; import java.util.HashMap; import java.util.Map; import java.util.concurrent.ArrayBlockingQueue; import java.util.concurrent.ConcurrentHashMap; /** *
1. servlet 流程是短的，url传来之后，就对其进行处理，之后返回或转向到某一自己指定的页面。它主要用来在业务处理之前进行控制. 2.filter 流程是线性的，url传来之后，检查之后，可保持原来的流程继续向下执行，被下一个
配置hadoop集群首先选准备3台liunx机器（我用的Ubuntu虚拟机）Ubuntu 还是 Centos 随便192.168.1.101 h1 (准备装成namenode)192.168.1.102 h2 (准备装成datanode)192.168.1.103 h3 (准备装成datanode) 首先，联通这3台机子
tomcat/conf/Catalina/localhost目录下添加配置文件<Context path="/v" docBase="/" reloadable="true" crossContext="true"></Context>可访问当前服务器的根路径 http://127.0.0.1:8080/v<Context path="/co
HTML5 + 流媒体文件目前安装过的服务器版本ubuntu 1.3 Centos 6.5下面2个是在Centos上使用的Centos 准备安装删除已安装包yum erase ffmpeg x264 x264-develCentos 安装各种依赖包yum install gcc make nasm pkgconfig wget curl curl-devel zlib-devel o
最近研究流媒体的部署使用，网上有个pdf是入门的很不错，里面7个例子做完差不多算是入门了。首先说下版本，red5现在出到1.0.2版本，在1.0之前的版本不支持MP4视频格式，因为这个走了很多弯路，https://code.google.com/p/red5/ 在这里可以下最新版本，我目前使用的 1.0的版本 地址是http://red5.org/downloads/r
最近一直忙都不知道在忙什么，只是一是在思考一个问题，【钱是什么】，感觉自己逐渐的成熟，逐渐的了解了社会和自己的需求，开始并发操作我的人生，今天把前些日用的2个spring的知识留下记录，以后用时方便找到， 首先说个 MVC 的拦截器 ，最初我们的网站正在集成单点登录，但在没有集成之前，也必须控制请求和session，这部分之前不是我做的，我同事
今天心情真心不爽，发现公司居然这么瞧不起人。唉。挥泪啊。。。换工作 总结下前几天做了个实例 自定义annotation的用法，这个完全可以更新我们之前提到封装的ldap基层的map。 首先先上个代码，先创建annotationpackage com.annotation.pengbo.annotation; impo
前几天想做一个异常的处理机制,就自定义了一些异常,然后在service层中使用aop中的after thowing来截取自定义的异常,处理之后在抛出,(因为开始以为,只是想截取service中的异常所以没有必要使用aop中的环绕),处理之后会把所有的异常都整合掉一个总的异常类中再抛给controller层在做返回视图操作. 但最近发现这个 af
最近一直在ldap开发项目中 对ldap方方面面都接触到很多 之前很多都是基本的操作，增删改查，配事物，连接池，这些只要会用spring的人应该都可以很轻松的弄出来，其实spring-ldap的提供了很好的说明。接下来 说下认证的问题，这个是我今天才弄好的。 可以看到官网的文档上有个相关的认证的方法 在第10章，但是有一个问题，如果你没有按照文
本事甚是喜欢JPA简单方便明了，所以在LDAP项目要加上MYSQL数据库，但LDAP没有与jpa连用的事物处理 是一个很头疼的事，找到源码 发现里面只有2种对组合事物的支持：ContextSourceAndDataSourceTransactionManager LDAP与JDBC的组合支持ContextSourceAndHibernateTra
忙了 好久 有时间来整理下最近的知识了 首先封装LDAP的方法 让他可以已实体的方式来进行操作，思路类似于JPA 传入传出最好是实体 在实体里 使用map当作注解映射。下面 先上2个代码第一个封装一个baseDao；import java.util.HashMap; import java.util.Li
上回我门解读了第三章的简化操作,其实只要了解SpringJDBC操作 再了解Spring LDAP是一件非常容易得事,因为ldap使用的是最初的原理. 我们先简单说下第四章是干什么万应的就OK了 不去细说它了 因为我觉的没必要 . 第四章中所讲的就是先定义一个"查询执行者"的东西 里面有
书接上回,上章,主要讲的操作的思想和方法,所以上一章是非常重要,如果上一章还没测底明白,最好还是先多看看上章或官方帮助. 接下来我门看下第三章.第三章的上班部是一些简单的桥梁,上来承上启下,所以感觉没必要解读,很鸡肋,跟上上章的思路看下面的代码,这个spring总结出来的完整类package com.example.dao; import j
Spring LDAP 由于公司最近要启用一个 LDAP项目，并要求去学习，（好复杂的一个目录服务器。。），还好代码不难，下面就解读下帮助中案例。纯属于个人理解而总结出来的，并非官方结论，仅供参考!! 首先先说配置文件，一个简单的spring配置文件 注入到dao中<beans> <bean
介绍轻型目录访问协议（LDAP）是目录访问协议的轻型版本，是X.500协议的一部份。它即不是目录也不是数据库，LDAP是一个在目录环境中客户端如何能够访问和更新数据的访问协议。些刻，shark的用户组和认证API接口的LDAP实现支持LDAP结构的两种类型。第一种结构是标记类型0，第二种结构是标记类型1。LDAP 结构，类型0这是一个简单LDAP结构。它包含组和用户。LDAP对象类列表描述通过配置
根据不同需求，做出不同实现File dir = new File("目录路径"); String[] children = dir.list(); if (children == null) { // 为空则不纯在目录 } else { for (int i=0; i < children.length; i++) {
Copyright © 2005-2024 51CTO.COM 版权所有 京ICP证060544号
