gl_windhome的博客_python,Hbase,深度学习,Hadoop,Strom,机器学习,Hive,Spark,Python,Spark转载

Spark RDD: aggregate函数

aggregate函数

转载 2018-07-29 14:30:37 1726 阅读

特征值和特征向量

从定义出发，Ax=cx：A为矩阵，c为特征值，x为特征向量。矩阵A乘以x表示，对向量x进行一次转换（旋转或拉伸）（是一种线性转换），而该转换的效果为常数c乘以向量x（即只进行拉伸）。我们通常求特征值和特征向量即为求出该矩阵能使哪些向量（当然是特征向量）只发生拉伸，使其发生拉伸的程度如何（特征值大小）。这样做的意义在于，看清一个矩阵在那些方面能产生最大的效果（power），并

特征值;特征向

转载 2018-04-03 09:50:02 4721 阅读

R语言的ATTACH、DETACH和WITH命令小例

attach命令可以实现代码简化的目的，用拗口的术语来说，就是“将数据框添加到R的搜索路径中”。这貌似不容易理解，做一个小例子看看。关于数据框的例子：id <- c(1,2,3)name <- c("Jack","Tom","Mark")age <- c(22,30,27)mydata <- data.frame(id,age,name)mydataid age name1

数据框

转载 2017-07-06 10:43:17 8752 阅读 1评论

海量日志收集利器 —— Flume

Flume 是什么？Flume是一个分布式、可靠、和高可用的海量日志聚合的系统，支持在系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。Flume 特点1、可靠性当节点出现故障时，日志能够被传送到其他节点上而不会丢失。Flume提供了三种级别的可靠性保障，从强到弱依次分别为：end-to-end（收到数据agent首先将event

Flume

转载精选 2016-04-29 20:58:07 2095 阅读 1收藏

sqoop的使用

sqoop的使用----sqoop是一个用来在hadoop体系和关系型数据库之间进行数据互导的工具----实质就是将导入导出命令转换成mapreduce程序来实现sqoop安装：安装在一台节点上就可以了。1.上传sqoop2.安装和配置----修改配置文件 sqoop-env.sh#Set path to where bin/hadoop is availableexport HADO

sqoop

转载精选 2016-04-27 22:58:22 1141 阅读

sqoop学习

Sqoop 是传统数据库与 Hadoop 之间数据同步的工具，它是 Hadoop 发展到一定程度的必然产物，它主要解决的是传统数据库和Hadoop之间数据的迁移问题。这节课我们将详细介绍 Sqoop 这个工具。Sqoop 产生背景 Sqoop 的产生主要源于以下几种需求：

sqoop

转载精选 2016-04-27 21:52:15 1685 阅读

004-storm集群搭建

Storm集群规划主节点： 192.168.20.33从节点： 192.168.20.35 192.168.20.36 192.168.20.37ZK节点： 192.168.20.35 192.168.20.36 192.168.20.37注意： ZK节点上所有的ZooKeeper要

storm集群搭建

转载精选 2016-04-26 15:54:31 860 阅读 2收藏

003-storm设计思想和处理过程

1、Storm设计思想 Storm是对流Stream的抽象，流是一个不间断的无界的连续tuple，注意Storm在建模事件流时，把流中的事件抽象为tuple即元组。 Storm将流中元素抽象为Tuple，一个tuple就是一个值列表value list，list中的每个value都有一个name，并且

storm设计思想和处理过程

转载精选 2016-04-26 13:43:42 867 阅读

002-storm基本概念

1、Storm集群1.1 Storm集群和Hadoop集群对比在Hadoop集群上运行MapReduce jobs，在Storm集群上运行topologies。 jobs和topologies有很大的不同。一个关键的区别是，一个MapReduce jobs最终可完成，然后a topology处理过程永远执行（除非kill it）1.2 在Storm集群中有两类节点：master节点和多个worke

storm基本概念

转载精选 2016-04-26 13:40:26 612 阅读

001-storm简介

1、STORM简介 Storm是Twitter开源的一个类似于Hadoop的实时数据处理框架Storm能实现高频数据和大规模数据的实时处理官网资料显示storm的一个节点在1秒钟能够处理100万个100字节的消息(IntelE5645@2.4Ghz的CPU,24GB的内存)以下是官网的解释：apache storm 是一个免费，开源分布式实时计算系统。storm使得处理无边界的数据流变得

storm简介

转载精选 2016-04-25 16:14:20 962 阅读

hadoop读写mysql数据库

hadoop技术推出一度曾遭到关系研究者的挑衅和批评，认为MapReduce不具有关系中的结构化数据存储和处理能力。为此，hadoop社区和研究人员做了多的努力，在hadoop0.19版支持MapReduce访问关系，如：MySQL、Mongodb、PostgreSQL、Oracle 等几个系统。Hadoop 访问关系主要通过DBInputFormat类

hadoop读写mysql数据库

转载精选 2016-04-21 12:55:37 3799 阅读 1收藏

深入研究java.lang.Runtime类

一、概述 Runtime类封装了运行时的环境。每个 Java 应用程序都有一个 Runtime 类实例，使应用程序能够与其运行的环境相连接。一般不能实例化一个Runtime对象，应用程序也不能创建自己的 Runtime 类实例，但可以通过 getRuntime 方法获取当前Ru

Runtime

转载精选 2016-04-13 11:14:12 463 阅读

String,StringBuffer与StringBuilder的区别

String 字符串常量StringBuffer 字符串变量（线程安全）StringBuilder 字符串变量（非线程安全）简要的说， String 类型和 StringBuffer 类型的主要性能区别其实在于 String 是不可变的对象, 因此在每次对 String 类型进行改变的时候其实都等同于生成了一个新的 String 对象，然后将指针指向新的 String 对象，所以经常改

StringBuffer

转载精选 2016-04-13 10:49:02 336 阅读

Storm记录--12- Storm Transaction 原理+实战

Storm guarantees data processing by providing an at least once processing guarantee. The most common question asked

storm

转载精选 2016-04-08 10:12:31 618 阅读

Storm记录--11- Storm DRPC实战

DRPC ,Distributed Remote Procedure Call RPC本身是个成熟和古老的概念, Storm里面引入DRPC主要是利用storm的实时计算能力来并行化CPU intensive的计算DRPC, 只是storm应用的一个场景,&n

storm

转载精选 2016-04-08 10:10:26 1102 阅读

Storm记录--10- Storm消息机制

这章讨论Storm's reliability capabilities, 如何保证从spout emit出来的所有tuple都被正确的执行(fully processed)?What does it mean for a message to be "ful

storm

转载精选 2016-04-08 10:06:43 1230 阅读

Storm记录09- Storm Topology的并发度

Storm Topology的并发度Understanding the parallelism of a Storm topologyhttps://github.com/nathanmarz/storm/wiki/Understanding-the-parallelism-of-a-Storm-topology概念一个Topology可以包含一个或多个worker(并行的跑在不同的machine

storm

转载精选 2016-04-08 10:04:54 457 阅读

Storm记录08--Storm基本API

Streams, 流流作为storm的核心概念, 定义为无限的tuple序列. 什么是tuple? 命名的value序列, 可以理解成Key/value序列, 每个value可以是任何类型, 动态类型不需要事先声明. &nb

storm

转载精选 2016-04-08 10:02:33 614 阅读

Storm记录07--Maven安装使用

Maven安装使用环境准备：JDK1.6Maven 3.0.4mveclipse8.6.1 （集成mveclipse）安装Maven之前要求先确定JDK已经安装配置完成，Maven是Apache下的一个项目。官网下载Mavenhttp://www.apache.org/dyn/closer.cgi/maven/binaries/apache-maven-3.0.4-bin.tar.gz下载完成后解

storm

转载精选 2016-04-08 10:00:21 774 阅读

Storm记录06--Storm的HelloWorld

Storm学习的HelloWorld1、下载Storm-start(https://github.com/nathanmarz/storm-starter/archive/master.zip)2、进入下载目录，对zip文件解压3、进入解压后的文件目录，修改m2-pom.xml（将twitter4j-core和twitter4j-stream替换为下面的部分） <dependenc

storm

转载精选 2016-04-08 09:59:03 502 阅读

Storm记录005--Storm集群安装

以下是依次需要完成的安装步骤一、安装JDK1.6二、安装Zookeeper三、安装zeromq-2.1.7四、安装jzmq五、安装Python-2.7.2六、安装unzip七、安装Storm一、下载并安装JDK1.6 并设置环境变量，如：export JAVA_HOME=/opt/java6export PATH=$PATH:$JAVA_HOME/bin运行java、javac命令，测试java正

storm

转载精选 2016-04-08 09:49:40 573 阅读

Storm记录04-- Storm适用场景

Storm适用场景流聚合：流聚合就是把两个或多个数据流聚合成一个数据流 -- 基于一些共同的tuple字段。builder.setBolt(5,new MyJoiner(),parallelism) .fieldsGrouping(1,new Fields("joinfield1","joinfield2")) .fieldsGrouping(2,new Fields("joi

storm

转载精选 2016-04-08 09:41:52 400 阅读

Storm记录03--Storm的基本概念

首先我们通过一个 storm 和hadoop的对比来了解storm中的基本概念。HadoopStorm系统角色JobTrackerNimbusTaskTrackerSupervisorChildWorker应用名称JobTopology组件接口Mapper/ReducerSpout/Bolt接下来我们再来具体看一下这些概念。a、Nimbus：负责资源分配和任务调度。b、Supervisor：负责接

storm

转载精选 2016-04-08 09:39:48 327 阅读

Storm记录02-- Storm是什么

Storm是什么：如果只用一句话来描述storm的话，可能会是这样：分布式实时计算系统。按照storm作者的说法，storm对于实时计算的意义类似于hadoop对于批处理的意义。我们都知道，根据google mapreduce来实现的hadoop为我们提供了map, reduce原语，使我们的批处理程序变得非常地简单和优美。对比Hadoop的批处理，Storm是个实时的、分布式以及具备高容错的计算

Storm

转载精选 2016-04-08 09:31:40 485 阅读

Storm记录01-- 实时计算系统

实时计算系统实时计算场景：伴随着信息科技日新月异的发展，信息呈现出爆发式的膨胀，人们获取信息的途径也更加多样、更加便捷，同时对于信息的时效性要求也越来越高。举个搜索场景中的例子，当一个卖家发布了一条宝贝信息时，他希望的当然是这个宝贝马上就可以被卖家搜索出来、点击、购买啦，相反，如果这个宝贝要等到第二天或者更久才可以被搜出来，估计这个大哥就要骂娘了。再举一个推荐的例子，如果用户昨天在淘宝上买了一双袜

Storm

转载精选 2016-04-08 09:29:51 334 阅读

mysql的innodb中事务日志ib_logfile

mysql的innodb中事务日志ib_logfile事务日志或称redo日志，在mysql中默认以ib_logfile0,ib_logfile1名称存在,可以手工修改参数，调节开启几组日志来服务于当前mysql数据库,mysql采用顺序，循环写方式，每开启一个事务时，会把一些相关信息记录事务日志中(记录对数据文件数据修改的物理位置或叫做偏移量);作用:在系统崩溃重启时，作事务重做；在系统正常时，

数据库

事务日志

转载精选 2014-08-20 17:24:41 2565 阅读

mysql query cache优化

query cache原理当mysql接收到一条select类型的query时，mysql会对这条query进行hash计算而得到一个hash值，然后通过该hash值到query cache中去匹配，如果没有匹配中，则将这个hash值存放在一个hash链表中，同时将query的结果集存放进cache中，存放hash值的链表的每一个hash节点存放了相应query结果集在cache中的地址，以及该q

cache

query

转载精选 2014-08-20 17:17:53 286 阅读

mysql binlog日志优化及思路

在数据库安装完毕，对于binlog日志参数设置，有一些参数的调整，来满足业务需求或使性能最大化。Mysql日志主要对io性能产生影响，本次主要关注binlog 日志。查一下二进制日志相关的参数 mysql> show variables like '%binlog%';+------------------------

mysql

日志

转载精选 2014-08-20 14:32:27 1636 阅读

sybase查看数据库使用情况说明

一．sp_spaceused 可看到数据库空间包括日志(对应数据库)打开Sql Advantage 对话框——输入sp_spaceused（上边数据库选择要查的数据库）或直接use your_db_namegosp_spaceusedgo运行！出现如下信息Database name：数据库名称Datebase Size：数据库空间总大小Reserved：已分配空间data数据：已分配空间中数据占用

sybase查看数据库使用情况

转载精选 2014-07-24 16:45:25 1604 阅读

sybase导出数据库的表结构命令

在不同平台上导数据时，只能用BCP命令，但是BCP命令不能导出数据库表结构，所以需进行数据库表结构的导出。在sybase12.5版本以上，可以用如下方式导出表结构：ddlgen –Usa –Pxxx –Ddb_name –Sxxx:port –Ooutput_file其中db_name指所要导出的数据库名。低于sybase12.5版本的，得进行执行脚本的方式导出表结构。脚本文件内容如下：use s

表结构

转载精选 2014-07-24 16:40:23 1289 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

风中一叶

Spark RDD: aggregate函数

特征值和特征向量

R语言的ATTACH、DETACH和WITH命令小例

海量日志收集利器 —— Flume

sqoop的使用

sqoop学习

004-storm集群搭建

003-storm设计思想和处理过程

002-storm基本概念

001-storm简介

hadoop读写mysql数据库

深入研究java.lang.Runtime类

String,StringBuffer与StringBuilder的区别

Storm记录--12- Storm Transaction 原理+实战

Storm记录--11- Storm DRPC实战

Storm记录--10- Storm消息机制

Storm记录09- Storm Topology的并发度

Storm记录08--Storm基本API

Storm记录07--Maven安装使用

Storm记录06--Storm的HelloWorld

Storm记录005--Storm集群安装

Storm记录04-- Storm适用场景

Storm记录03--Storm的基本概念

Storm记录02-- Storm是什么

Storm记录01-- 实时计算系统

mysql的innodb中事务日志ib_logfile

mysql query cache优化

mysql binlog日志优化及思路

sybase查看数据库使用情况说明

sybase导出数据库的表结构命令

欢迎