51CTO博客开发急速学习者vmware技术支持经验分享
#!/bin/sh mkdir /home/zhengyk/Desktop/tmp #创建临时文件夹，用来存放解压后的文件 #mkdir /home/zhengyk/Desktop/local #创建临时文件夹，用来存放过滤结果 list_alldir(){ for&nb
1、首先在Eclipse-》help-》Eclipse marketplace 搜索 maven 插件下载。 注意插件要与Eclipse版本对应，我的Eclipse版本为Luna的，插件就要下载Luna版本的，我下载的是 Maven Integration for Eclipse (Luna and newer) 1.5。否则的话新建maven工程的时候没有
1、需把hadoop.dll 和 winutils.exe 放到hadoop的bin目录下，我的是：E:\Hadoop\hadoop-2.4.0\bin2、且需要配置HADOOP_HOME 和 PATH 路径。我的如下： HADOOP_HOME——E:\Hadoop\hadoop-2.4.0 &nbs
由于项目中需要，需要过滤掉指定某个磁盘，并且要对显示出来的非本地系统盘符过滤掉，只保留CDEF等盘符。网上没有可供参考的资料，折腾了很久，终于搞定了，现在写下来以供后人借鉴。一、过滤指定磁盘过滤指定磁磁盘，我们可以通过QSortFilterProxyModel自带的setFilterRegExp过滤。proxyModel = new MySortFilterProxy
Qt 为何没有提供 Sleep论坛上不时见到有人问：Qt 为什么没有提供跨平台的 sleep 函数？使用平台相关的 Sleep 或 nanosleep 以后，界面为什么没有反应？QThread 中提供了protected 权限的 sleep 函数，如何用到主线程中？使用 QTest 中的 qSleep，在windows下如何隐藏控制台？这些问题其实归结为一点：在主线程中使用这些函数是一种错误，这会
解决办法如下：打开注册表，设置HKLM\Software\Microsoft\FTH\Enabled 为0打开CMD，运行Rundll32.exe fthsvc.dll,FthSysprepSpecialize参考http://msdn.microsoft.com/en-us/library/dd744764
/* QTreeView */ QTreeView { alternate-background-color: yellow; } QTreeView {
QPushButton *leftToRightBtn = new QPushButton; leftToRightBtn->setToolTip(tr("Transfer File(s) from Left to Right")); &nbs
Qt下面，字符串都用QString，确实给开发者提供了方便，想想VC里面定义的各种变量类型，而且函数参数类型五花八门，经常需要今年新那个类型转换Qt再使用第三方开源库时，由于库的类型基本上都是标准的类型，字符串遇的多的就是Char*类型在Qt下怎样将QString转char*呢，需要用到QByteArray类，QByteArray类的说明详见Qt帮助文档。因为char*最后都有一个‘/0’作为结束
原因是客户端程序运行时java虚拟机内存分配不够，修改run configuration（run as >run configurations），选择Arguments选项卡，在VM arguments栏中加入-Xmx1024m，保存后执行没有问题（即将执行时虚拟机内存调大）
Volatile修饰的成员变量在每次被线程访问时，都强迫从主内存中重读该成员变量的值。而且，当成员变量发生变化时，强迫线程将变化值回写到主内存。这样在任何时刻，两个不同的线程总是看到某个成员变量的同一个值。 Java语言规范中指出：为了获得最佳速度，允许线程保存共享成员变量的私有拷贝，而且只当线程进入或者离开同步代码块时才与共享成员变量的原
在启动集群的时候，namenode无法启动，用tail命令查看log,可以看到出现如下错误：[hadoop@master hadoop]$ tail -100f /usr/local/hadoop/libexec/../logs/hadoop-hadoop-namenode-master.out log4j:ERROR setFile(null,t
一、硬件环境操作系统：Linux ubuntu-13.04-desktop-i386jdk安装版本：jdk-7u51-linux-i586Hadoop版本：Hadoop-1.1.1（一个Namenode，三个Datanode部署）二、安装步骤在Mahout安装之前读过几篇有关机器学习的文章，面对协同过滤、分类聚类等算法的讲解我是深感无力啊，那么深奥的算法实现简直看着就要哭了好嘛，但庆幸的是Maho
自动分裂是分布式系统中的一项重要技术，通常与自动迁移和负载均衡一起考虑，提供了系统的可扩展性和良好的性能。例如 Google 的 BigTable 和 Yahoo 的 PNUTS 都实现了类似的功能，我之前也认为这应该是一个好的分布式系统标配。但读了 Facebook 关于实时 Hadoop 的文章后，结合我自己在工程上的实践，我开始反思这一想法，认识到了这个功能的一些局限性。Facebook 在
Facebook 在今年六月 SIGMOD 2011 上发表了一篇名为“Apache Hadoop Goes Realtime at Facebook”的会议论文 (pdf)，介绍了 Facebook 为了打造一个实时的 HBase 系统使用到的独门秘技。由于该论文提到的应用场景与小弟负责的系统要解决的问题域有相似之处，因而抽时间仔细阅读了这篇论文。下面便是结合论文的内容，谈一谈我的一些看法和感想
一、概述手机图片或者像淘宝这样的网站中的产品图片特点：（1）、大量手机用户同时在线，执行上传、下载、read等图片操作（2）、文件数量较大，大小一般为几K到几十K左右 HDFS存储特点：（1） 流式读取方式，主要是针对一次写入，多次读出的使用模式。写入的过程使用的是append的方式。（2） &n
HBase简介HBase – Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。HBase是Google Bigtable的开源实现，类似Google Bigtable利用GFS作为其文件存储系统，HBase利用Hadoop HDFS作为其文件存储系统；Google运行MapReduce
转载自：http://blog.sina.com.cn/s/blog_6a1837e90101128k.html register：这个关键字请求编译器尽可能的将变量存在CPU内部寄存器中，而不是通过内存寻址访问，以提高效率。注意是尽可能，不是绝对。你想想，一个CPU 的寄存器也就那么几个或几十个，你要是定义了很多很多register 变量
转载自：http://www.cnblogs.com/kinuxroot/archive/2013/05/06/linux_hadoop_eclipse_plugin.html 在RedHat，hadoop1.1.2下测试通过。有些地方注明详细了。刚刚开始研究Hadoop，在写Map Reduce程序的时候觉得用vim不够用，于是想在Eclipse下面配置一下相关的环境。按照Hadoop in A
最近搭了一个hadoop的局域网的集群，选的是NAT的方式。一开始只是局域网内访问，没有访问外网。今天要访问外网访问不了，在网上搜了一下，大都说选择NAT方式，只涉及到VNnet8网卡，查看了下发现VMnet8的IP和网关和自己设的linux下的ip地址等不一致，于是改回来一致还是不行。折腾许久，后来才发现只需要把linux的DNS设置成和宿主机（windows）下的DNS一致即可。这跟VMnet
本文转载自：http://blog.csdn.net/strongerbit/article/details/7013221HDFS Federation(HDFS 联盟)介绍张贵宾guibin.beijing@gmail.com2011.11.251. 当前HDFS架构和功能概述我们先回顾一下HDFS功能。HDFS实际上具有两个功能：命名空间管理（Namespace management）和块/
gcc hdfs_cpp_demo.c -I $HADOOP_HOME/src/c++/libhdfs -I $JAVA_HOME/include -I $JAVA_HOME/include/linux/ -L $HADOOP_HOME/c++/Linux-i386-32/lib/ -l hdfs -L $JAVA_HOME/jre/lib/i386/server -ljvm -o hdfs_cp
启动hadoop的时候，datanode无法启动，使用如下命令查看日志信息：tail -100f /usr/local/hadoop/libexec/../logs/hadoop-hadoop-datanode-master.log提示以下错误：ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: I
在启动hadoop的时候，会出现namenode节点启动不起来的情况。这时用以下命令查看日志：tail -100f /usr/local/hadoop/libexec/../logs/hadoop-hadoop-namenode-master.log可以看到出现如下的提示错误信息：Cannot lock storage /data/hadoop/hdfs/name. The directory i
java.lang.UnsupportedClassVersionError: org/apache/nutch/crawl/Crawl3 : Unsupported major.minor version 51.0 at java.lang.ClassLoader.defineClass1(Native Method) at java.lang.ClassLoader.defineClassCo
在控制台启动脚本%HADOOP_HOME%/bin/start-dfs.sh的时候发现datanode报错：Error: JAVA_HOME is not set原因是在%HADOOP_HOME%/conf/hadoop-env.sh内缺少JAVA_HOME的定义，只需要在hadoop-env.sh中增加：export JAVA_HOME=/your/jdk/root/path
Alt+shift+M : 将一段代码抽取出来放入一个方法里面Alt+/:代码提示Alt+左右方向键:跳到前一次/后一次的编辑位置。Ctrl+/ : 注释/取消注释Ctrl+K : 将光标停留在变量上，按Ctrl+K键可以查找到下一个同样的变量 (有不好用的时候)ctrl+L : 进入你想要去的一行ctrl+D ：删除当前光标所在的那一行Ctrl+A : 全选C
网上看到很多方法，大多都不管用（在IP协议那里设置静态DNS也不行），好不容易找到了以下这个，分享下。看下IE的设置，应该是你设了代理服务器的关系。Internet选项，连接选项卡，局域网设置按钮，把代理服务器去掉。
Hadoop：适合海量数据的分布式存储与计算平台Hadoop核心项目：HDFS：Hadoop Distributed File System 分布式文件系统MapReduce：并行计算框架 HDFS的架构主从结构- 主节点，只有一个：namenode- 从节点，有很多歌：datanodesnamenode负责：- 接收用户操作请求- 维护文件系统的目录结构- 管理文件与block之间关
Copyright © 2005-2023 51CTO.COM 版权所有 京ICP证060544号
