wukong0716的博客_java算法,java优化,hadoop应用(2)

学习日志---linux打卡7

回顾：权限、bash权限和用户：Linux进程：属主、属组文件：属主、属组、其它r、w、xchmod: OCTAL-MODE u,g,o,a = u,g,o,a +/-bash特性：快捷操作、补全 ELF：可执行文件格式，二进制文件 #!/bin/bash 程序=指令+数据变量：弱类型语言： 1、不强制区分变量的类型，无论存储何种数据，均以字符格式进行； 2、无

linux

原创 2015-10-12 17:47:30 296 阅读

学习日志---Linux打卡6

回顾：文件管理：ls, cat, tac, tail, head, more, less, cp, mv, rm, touch, stat, file, nano用户管理：useradd, usermod, userdel, passwd, groupadd, groupmod, groupdel, id, su, chage, chfn, chsh, newgrp, gpasswd用户类型：管

linux

原创 2015-10-11 10:48:22 451 阅读

学习日志---Linux打开5

文件系统：stat命令，文本编辑器：nanotouch：change file timestamps 这三个时间戳 access time, atime modify time, mtime change time, ctime 直接使用touch创建的是普通文件 -c: 不创建空文件 -a: 仅修改访问时间 -m: 仅修改修改时间 -t STAMP: [CC]YYMM

linux

原创 2015-10-10 14:03:04 419 阅读

学习日志---hbase+zookeeper+hadoop

hadoop的HA机制的namenode根据配置去找到zookeeper集群；hbase也是根据配置文件去找到zookeeper集群；zookeeper集群只需要根据配置文件去找该集群的机器即可，其他的会去找它。简单理解。

hadoop

原创 2015-10-06 12:36:19 312 阅读

学习日志---hbase优化总结

转载至：http://www.cnblogs.com/panfeng412/archive/2012/03/08/hbase-performance-tuning-section1.html 也有少许自己的理解

hadoop

原创 2015-10-06 10:01:56 1069 阅读

学习日志---hbase学习（最大版本查询）

在HBase中一个row对应的相同的列只会有一行。使用scan 或get 得到都是最新的数据如果我们对这某一row所对应的列进行了更改操作后，并不会多生成一条数据，不会像RDBMS一样insert时多生成一条记录，在HBase中对同一条数据的修改或插入都只是put操作，最终看到的都是最新的数据，其它的数据在不同的version中保存，就像隐藏的东西一样那么如何才能看到这些隐藏version的值

hadoop

原创 2015-10-06 08:58:14 740 阅读

学习日志---hbase学习

HBase是实时的、分布式、高维的数据库。实用于对大数据实时的查询，但前提是要利用Hbase的数据结构来存数据，才可以查询。HBase是一个真正的数据库，是nosql数据库，主要用来存储非结构化和半结构化的松散数据。与Hive很不同，Hive不是数据库，数据存在HDFS上，只是建立一种表结构，最终使用mapreduce去操作。HBase是后台服务，数据存在HDFS上，但是数据结构是特有的数据结构，

hadoop

原创 2015-10-05 16:32:45 1188 阅读

学习日志---treemap

http://huangqiqing123.iteye.com/blog/1461163java代码：package test.tool.gui.common; import java.util.Comparator; import java.util.TreeMap;

java基础

转载精选 2015-10-02 19:58:55 348 阅读

学习日志---hive的搭建与配置以及应用

Hive：数据仓库，其实就是写一些脚本代码（HQL），通过hive转换为java代码，在hadoop上运行。操作的是hdfs上的数据，写的HQL脚本转为mapreduce程序处理hdfs上的数据。Hive：解释器，编译器，优化器等。解释HQL为java代码，然后编译，优化后放在hadoop上运行。hive不是关系型数据库，不是后台的服务，它相当于是一个hadoop的客户端。Hive：支持类似sql

hadoop

原创 2015-10-02 19:55:13 996 阅读

学习日志---基于hadoop实现PageRank

PageRank简单介绍：其值是通过其他值得指向值所决定，具体例子如下：第一部分：对应于每个mapReduce的计算：由mapper算出每个点所指节点的分值，由reduce整个key相同的，由公式算出。三角号表示的是迭代两次之间计算的差值，若小于某个值则计算完成，求的每个点的pagerank值。自我实现的代码：如下输入的数据分为：input1.txtA,B,DB,CC,A,BD,B,C表示每行第一

hadoop

原创 2015-09-30 08:38:55 1691 阅读

学习日志---本地javaApi连接集群hdfs

本地电脑连接指定集群的代码：public class Tt_one { public static void main(String[] args) throws Exception { &

hadoop

原创 2015-09-30 08:05:13 1422 阅读

学习日志---hadoop的join处理

Join方法需求：处理input1和input2文件，两个文件中的id都一样，也就是key值一样，value值不同，把两者合并。input1存的是id和名字，input2存的是id和各种信息。处理方法一：package org.robby.join; import java.io.IOException; import org.apache.hadoop.conf

hadoop

原创 2015-09-29 09:34:59 408 阅读

学习日志---redhat安装redis

在配置好Yum的基础上安装gcc如下[root@hadoop1 ~]# yum install gcc安装好后，redhat上拷贝tar文件，[root@hadoop1 software]# cd redis-2.8.19 [root@hadoop1 redis-2.8.19]# ls 00-RELEASEN

hadoop

原创 2015-09-28 22:17:14 470 阅读

学习日志---partitioner和采样器

Mapreduce中：shuffle阶段是在map和reduce之间，可以自定义排序，自定义分区和自定义分组！Mapreduce中，map出的数据是键值对，默认的是hashPatitionner来对map出的数据进行分区；分区的方法还有其他几个：RandomSampler<Text, Text> sampler = &n

hadoop

原创 2015-09-28 15:37:28 656 阅读

学习日志---mapreduce详细过程分析

转自：http://my.oschina.net/itblog/blog/275294后面有些自己理解的地方，如果有误，请指出。分析MapReduce执行过程 MapReduce运行的时候，会通过Mapper运行的任务读取HDFS中的数据文件，然后调用自己的方法，处理数据，最后输出。Reducer任务会接收Mapper任务输出的数据，作为自

hadoop

转载精选 2015-09-28 11:57:42 506 阅读

学习日志---打造搜索引擎搜索提示

打包过程将网站程序打成war包，使用clean package；将war包放到服务器的tomcat上的webapps中；在conf的目录下更改server.xml文件：加上如下编码，更改编码方式，防止乱码URIEncoding="UTF-8"<Connector port="8080" protocol="HTTP/1.1" URIEncoding="UTF-8

hadoop

原创 2015-09-25 18:11:25 293 阅读

学习日志---FP-growth算法发现频繁集

作者：peter harrington，确实牛B！！！构建FP树，实现频繁集挖掘class treeNode: def __init__(self, nameValue, numOccur, parentNode):

机器学习

原创 2015-09-25 16:00:08 1273 阅读

学习日志--hadoop maven打包jar问题

起初是用maven的build来clean package项目，生成jar包，然后在hadoop上运行，出现classNotFound错误。提示没有找到redis.jedis.redis..错误。错误原因：生成的jar包里，没有打进去maven依赖。解决办法：重建了maven项目，把单独的运行在mapreduce上的程序打包，用runnable jar来打包，生成的jar比原先的jar包大一个数量

hadoop应用

原创 2015-09-25 09:54:55 767 阅读

学习日志---初次接触mapreduce

wordcount程序package org.robby.mr; import java.io.IOException; import java.util.StringTokenizer; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path;

hadoop

原创 2015-09-24 11:58:02 448 阅读

学习日志---随机发牌（easy）

package com.poker; import java.util.ArrayList; import java.util.Collections; import java.util.List; public class PokerDemo { &

java算法

原创 2015-09-23 10:43:51 483 阅读

学习日志---动态规划（背包问题）

背包问题：利用动态矩阵的方式，一步一步在前一次有最优解的时候，推断后面的最优解核心：bestValues[i][j] = Math.max(bestValues[i - 1][j], &nbs

java算法

原创 2015-09-20 17:12:39 567 阅读

学习日志---贪心算法

贪心算法：贪心算法（又称贪婪算法）是指，在对问题求解时，总是做出在当前看来是最好的选择。也就是说，不从整体最优上加以考虑，他所做出的仅是在某种意义上的局部最优解。贪心算法不是对所有问题都能得到整体最优解，但对范围相当广泛的许多问题他能产生整体最优解或者是整体最优解的近似解。 &nb

java算法

原创 2015-09-20 09:32:04 504 阅读

学习日志---Linux网络配置

如何配置linux的网络以及如何使用ssh连接：ifconfig etho [ip地址]：占时设定该虚拟机上的ip地址1，修改主机名 /etc/sysconfig/network2, 修改eth0 /etc/sysconfig/network-scripts/ifcfg-eth0DEVICE=eth0TYPE=E

Linux

原创 2015-09-19 14:33:08 370 阅读

学习日志---hdfs配置及原理+yarn的配置

个别地方对其他文献有所摘录，在此表示感谢

hadoop

原创 2015-09-18 23:37:54 2512 阅读

Java 集合系列11之 Hashtable详细介绍(源码解析)和使用示例

http://www.cnblogs.com/skywang12345/p/3310887.html转载

java基础

转载精选 2015-09-18 14:00:48 231 阅读

学习日志---Apriori算法发现频繁集

一个很重要的思想：如果某元素不是频繁的，那么包含该元素的超集也是不频繁的。发现dataSet的频繁集：import numpy as np import pandas as pd def loadDataSet(): return [[1, 3, 4

机器学习

原创 2015-09-17 22:34:07 816 阅读

学习日志---查找算法

二分查找：//二分查找算法 public class BinarySearchDemo { /* arr:表示要查找的数组 * low:查找的下界 * high:查找的上

java算法

原创 2015-09-17 17:05:46 292 阅读

学习日志---树回归（回归树，模型树）

CART算法的树回归：返回的每个节点最后是一个最终确定的平均值。#coding:utf-8 import numpy as np # 加载文件数据 def loadDataSet(fileName): #general function to p

机器学习

原创 2015-09-16 21:36:17 2299 阅读

学习日志---决策树算法ID3

ID3算法#coding=utf-8 from math import log import operator #这里定义个样本集 def createDataSet(): dataSet =

机器学习

原创 2015-09-16 15:00:37 1905 阅读

学习日志---朴素贝叶斯算法

import numpy as np #返回样本数据集 def loadDataSet(): postingList=[['my', 'dog', 'has', 'flea', 'problems', 'help', 'please'], &nbs

机器学习

原创 2015-09-15 22:29:09 615 阅读 1点赞

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

2015-8-3

学习日志---linux打卡7

学习日志---Linux打卡6

学习日志---Linux打开5

学习日志---hbase+zookeeper+hadoop

学习日志---hbase优化总结

学习日志---hbase学习（最大版本查询）

学习日志---hbase学习

学习日志---treemap

学习日志---hive的搭建与配置以及应用

学习日志---基于hadoop实现PageRank

学习日志---本地javaApi连接集群hdfs

学习日志---hadoop的join处理

学习日志---redhat安装redis

学习日志---partitioner和采样器

学习日志---mapreduce详细过程分析

学习日志---打造搜索引擎搜索提示

学习日志---FP-growth算法发现频繁集

学习日志--hadoop maven打包jar问题

学习日志---初次接触mapreduce

学习日志---随机发牌（easy）

学习日志---动态规划（背包问题）

学习日志---贪心算法

学习日志---Linux网络配置

学习日志---hdfs配置及原理+yarn的配置

Java 集合系列11之 Hashtable详细介绍(源码解析)和使用示例

学习日志---Apriori算法发现频繁集

学习日志---查找算法

学习日志---树回归（回归树，模型树）

学习日志---决策树算法ID3

学习日志---朴素贝叶斯算法