刀刀_高扬的博客_大数据

搭建最简易的TensorFlow集群

安装最简单tensorflow 集群

tensorflow 集群

翻译精选 2016-07-13 19:28:08 5040 阅读

tensorflow入门简单卷积神经网络

tensorflow入门，简单卷积神经网络

tensorflow 入门

翻译精选 2016-07-06 20:42:33 1487 阅读

tensorflow入门MNIST回归模型

tensorflow入门MNIST

tensorflow 入门

翻译精选 2016-07-06 19:57:51 2409 阅读

CentOS7 安装 tensorflow 0.8

安装tensorflow

安装

tensorflow

原创 2016-07-04 15:08:02 2672 阅读 1收藏

CentOS7 安装 scikit-learn

centos7 安装 scikit-learn

安装

learn

scikit

原创 2016-07-04 14:56:30 2886 阅读

系统优化的基本原则

优化究竟应该怎么样优化呢？优化有没有一些原则或者判断标准的，答案是肯定的。

系统优化

原创 2015-12-22 21:23:59 1786 阅读

架构师应该做些什么

一个架构师都应该做些什么才是一个合格的甚至优秀的架构师呢？

架构师

原创 2015-12-22 20:57:47 803 阅读

部署PrestoDB on Cassandra

部署prestodb在cassandra上

prestodb cassandra 大

原创 2015-12-22 15:05:35 2273 阅读

安装cassandra 2.2.4

安装 cassandra

原创 2015-12-21 19:16:48 1805 阅读 1点赞 1评论

数据挖掘-Mahout-Canopy聚类实践

Mahout Canopy入门实践

mahout hadoop canopy

原创 2015-10-22 20:39:38 1436 阅读

安装Mahout

mahout的安装，简单到不能再简单的安装过程

安装 mahout hadoop 数据挖

原创 2015-10-22 10:30:24 651 阅读

安装Pig

安装Pig是一项非常简单的工作，除了下载有点慢以外1、安装好hadoop 2.x（略）2、安装pigwget http://apache.dataguru.cn/pig/latest/pig-0.15.0.tar.gztar zxvf pig-0.15.0.tar.gz -C /home/hadoopmv /home/hadoop/pig-0.15.0 /home/hadoop/pig3、环境配置

安装

安装pig

pig

原创 2015-07-13 15:39:35 783 阅读

Ambari安装

Ambari是Apache的一个开源项目，专门用来安装和管理hadoop环境，并提供GUI的WEB页面。安装过程非常简单，只有几步。以在CentOS6上操作为例1、下载repo信息cd /etc/yum.repos.d/wget http://public-repo-1.hortonworks.com/ambari/centos6/2.x/updates/2.0.1/ambari.rep

安装

centos

ambari

原创 2015-06-26 19:21:27 1118 阅读 1点赞

scala调用mysql

用一个常用的例子vim connMysql.scalaimport java.sql.DriverManagerimport java.sql.Connectionobject ScalaJdbcConnectSelect {def main(args: Array[String]) {val driver = "com.mysql.jdbc.Driver"val url = "jdbc

mysql

scala

转载精选 2015-06-23 17:48:27 578 阅读

centos服务器开机自动启动hadoop和spark

在 /etc/rc.local里添加su - hadoop -c /home/hadoop/hadoop/sbin/start-dfs.shsu - hadoop -c /usr/local/spark/spark-1.3.0-bin-hadoop2.3/sbin/start-all.sh

centos

自动启动

hadoop

spark

原创 2015-06-23 17:47:35 2251 阅读

HUE 3.7.0 安装与配置

1、安装依赖包yum install rsync gcc openldap-develpython-ldapmysql-develpython-devel python-setuptools python-simplejson sqlite-devellibxml2-devel libxslt-devel cyrus-sasl-devel opnldap openldap24-libs open

spark

hive

hue

原创 2015-06-23 17:46:57 1813 阅读

配置并启动spark的thriftserver网关

1、保证spark-sql已经使用mysql作为metadata存储介质2、启动thrift网关$SPARK_HOME/sbin/start-thriftserver.sh --driver-class-path /usr/local/spark/spark-1.3.0-bin-hadoop2.3/lib/mysql-connector-java-5.1.6-bin.jar --master

启动

spark

thriftserver

原创 2015-06-23 17:45:37 2310 阅读

HIVE删除分区

HIVE是不支持TRUNCATE或者DELETE一个分区的，不过有一种代偿的方式alter table v_log_ods drop partition(day='2015-05-31',gt='log0101');

分区

drop

hive

原创 2015-06-23 17:41:06 3017 阅读

SPARKSQL使用MYSQL做METADATA

将hive-site.xml拷贝到$SPARK_HOME/conf中配置如 hive使用 mysql一样，注意赋予相应的权限。javax.jdo.option.ConnectionURLjdbc:mysql://xxxx:3306/sparkmetadata?createDatabaseIfNotExist=true启动spark-sql要给driver路径spark-sql --driver-

mysql

metadata

sparksql

原创 2015-06-23 17:40:17 608 阅读

HIVE使用MYSQL作为METADATA

hive的hive-site.xml中加入 <property> <name>javax.jdo.option.ConnectionURL</name> &nb

mysql

metadata

hive

原创 2015-06-23 17:39:43 597 阅读

HADOOP 压缩

目前在Hadoop中用得比较多的有lzo，gzip，snappy，bzip2这4种压缩格式，笔者根据实践经验介绍一下这4种压缩格式的优缺点和应用场景，以便大家在实践中根据实际情况选择不同的压缩格式。1 gzip压缩优点：压缩率比较高，而且压缩/解压速度也比较快；hadoop本身支持，在应用中处理gzip格式的文件就和直接处理文本一样；有hadoop native库；大部分linux系统都自带g

压缩

hadoop

转载精选 2015-06-23 17:37:31 397 阅读

安装SPARK和SCALA

1、下载 sparkhttp://mirrors.cnnic.cn/apache/spark/spark-1.3.0/spark-1.3.0-bin-hadoop2.3.tgz2、下载scalahttp://www.scala-lang.org/download/2.10.5.html3、安装scalamkdir /usr/lib/scalatar –zxvf scala-2.10.5.tgzmv

安装

spark

scala

原创 2015-06-23 17:33:32 574 阅读 1点赞

关于几种压缩算法以及hadoop和hbase中的压缩配置说明

Hadoop中常用的压缩算法有bzip2、gzip、lzo、snappy，其中lzo、snappy需要操作系统安装native库才可以支持下面这张表，是比较官方一点的统计，不同的场合用不同的压缩算法。bzip2和GZIP是比较消耗CPU的，压缩比最高，GZIP不能被分块并行的处理；Snappy和LZO差不多，稍微胜出一点，cpu消耗的比GZIP少。通常情况下，想在CPU和IO之间取得平衡的话，用S

压缩

hadoop

hbase

hive

转载精选 2015-06-23 17:29:27 2608 阅读

在R中安装 sqldf包

安装这个包的时候直接install.packages("sqldf")就可以不过可能会有点小插曲，就是会有报错：Error : .onLoad failed in loadNamespace() for 'tcltk', details:call: fun(libname, pkgname)error: Tcl/Tk support is not available on this system

R

sqldf包

原创 2015-06-23 17:19:02 4552 阅读

Namenode和Secondarynamenode的关系

NameNode将对文件系统的改动追加保存到本地文件系统上的一个日志文件（edits）。当一个NameNode启动时，它首先从一个映像文件（fsp_w_picpath）中读取HDFS的状态，接着应用日志文件中的edits操作。然后它将新的HDFS状态写入（fsp_w_picpath）中，并使用一个空的 edits文件开始正常操作。因为NameNode只有在启动阶段才合并fsp_w_picpath和

功能

namenode

secondary namenode

原创 2015-06-23 17:08:28 1202 阅读

ZOOKEEPER的作用

一、什么是ZookeeperZooKeeper 顾名思义动物园管理员，他是拿来管大象(Hadoop) 、蜜蜂(Hive) 、小猪(Pig) 的管理员， Apache Hbase和 Apache Solr 以及LinkedIn sensei 等项目中都采用到了 Zookeeper。ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，ZooKeeper是以

作用

hadoop

zookeeper

转载精选 2015-06-23 17:00:11 348 阅读

Hadoop 2.2.0 热添加新节点（含HBASE）

环境：192.168.137.101 hd1192.168.137.102 hd2192.168.137.103 hd3192.168.137.104 hd4四节点hadoop和hbase1、hd5中修改/etc/hosts加入192.168.137.105hd5 2、分发其到所有hd1,hd2,hd3,hd4scp/etc/hostshd1:/etcscp/etc/hostshd2:/etcsc

hadoop

hbase

新节点

原创 2015-06-23 16:58:50 521 阅读

HIVEQL

HiveQL详解HiveQL是一种类似SQL的语言, 它与大部分的SQL语法兼容, 但是并不完全支持SQL标准, 如HiveQL不支持更新操作, 也不支持索引和事务, 它的子查询和join操作也很局限, 这是因其底层依赖于Hadoop云平台这一特性决定的, 但其有些特点是SQL所无法企及的。例如多表查询、支持create table as select和集成MapReduce脚本等, 本节主要

语法

hive

hiveql

转载精选 2015-06-23 16:52:52 439 阅读

Hbase 中 hbase-site.xml 参数含义

hbase.client.scanner.caching定义在扫描器中调用next方法时取回的行数。数值越大，在扫描时客户端需要对RegionServer发出的远程调用次数越少。数值越大，客户端消耗内存越大。hbase.balancer.periodregion均衡器在HBase Master中周期性运行。该属性定义了均衡器运行的时间间隔，默认5分钟，单位毫秒。hbase.client.write

参数

hbase

hbase-site.xml

原创 2015-06-23 16:50:26 1544 阅读

Java代码访问Hbase测试

import java.io.IOException;import java.util.Iterator;import java.util.List;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.Cell;import org.apache.hadoop.hbase.CellUtil

hadoop

hbase

java测试

原创 2015-06-23 16:48:12 990 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

7727197

搭建最简易的TensorFlow集群

tensorflow入门简单卷积神经网络

tensorflow入门MNIST回归模型

CentOS7 安装 tensorflow 0.8

CentOS7 安装 scikit-learn

系统优化的基本原则

架构师应该做些什么

部署PrestoDB on Cassandra

安装cassandra 2.2.4

数据挖掘-Mahout-Canopy聚类实践

安装Mahout

安装Pig

Ambari安装

scala调用mysql

centos服务器开机自动启动hadoop和spark

HUE 3.7.0 安装与配置

配置并启动spark的thriftserver网关

HIVE删除分区

SPARKSQL使用MYSQL做METADATA

HIVE使用MYSQL作为METADATA

HADOOP 压缩

安装SPARK和SCALA

关于几种压缩算法以及hadoop和hbase中的压缩配置说明

在R中安装 sqldf包

Namenode和Secondarynamenode的关系

ZOOKEEPER的作用

Hadoop 2.2.0 热添加新节点（含HBASE）

HIVEQL

Hbase 中 hbase-site.xml 参数含义

Java代码访问Hbase测试