51CTO首页
AI.x社区
博客
学堂
精品班
软考社区
免费课
企业培训
鸿蒙开发者社区
信创认证
公众号矩阵
移动端
视频课 免费课 排行榜 短视频 直播课 软考学堂
全部课程 软考 信创认证 华为认证 厂商认证 IT技术 PMP项目管理 免费题库
在线学习
文章 资源 问答 课堂 专栏 直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO软考
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
51CTO软考题库

海量日志收集利器 —— Flume

Flume 是什么？Flume是一个分布式、可靠、和高可用的海量日志聚合的系统，支持在系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。Flume 特点1、可靠性当节点出现故障时，日志能够被传送到其他节点上而不会丢失。Flume提供了三种级别的可靠性保障，从强到弱依次分别为：end-to-end（收到数据agent首先将event

Flume
转载 精选 2016-04-29 20:58:07 2095 阅读 1收藏

sqoop的使用

sqoop的使用----sqoop是一个用来在hadoop体系和关系型数据库之间进行数据互导的工具----实质就是将导入导出命令转换成mapreduce程序来实现sqoop安装：安装在一台节点上就可以了。1.上传sqoop2.安装和配置----修改配置文件  sqoop-env.sh#Set path to where bin/hadoop is availableexport HADO

sqoop
转载 精选 2016-04-27 22:58:22 1141 阅读

sqoop学习

 Sqoop 是传统数据库与 Hadoop 之间数据同步的工具，它是 Hadoop 发展到一定程度的必然产物，它主要解决的是传统数据库和Hadoop之间数据的迁移问题。这节课我们将详细介绍 Sqoop 这个工具。Sqoop 产生背景        Sqoop 的产生主要源于以下几种需求：  

sqoop
转载 精选 2016-04-27 21:52:15 1685 阅读

004-storm集群搭建

Storm集群规划主节点： 192.168.20.33从节点： 192.168.20.35      192.168.20.36  192.168.20.37ZK节点： 192.168.20.35      192.168.20.36   192.168.20.37注意： ZK节点上所有的ZooKeeper要

storm集群搭建
转载 精选 2016-04-26 15:54:31 860 阅读 2收藏

003-storm设计思想和处理过程

1、Storm设计思想       Storm是对流Stream的抽象，流是一个不间断的无界的连续tuple，注意Storm在建模事件流时，把流中的事件抽象为tuple即元组。    Storm将流中元素抽象为Tuple，一个tuple就是一个值列表value list，list中的每个value都有一个name，并且

storm设计思想和处理过程
转载 精选 2016-04-26 13:43:42 867 阅读

002-storm基本概念

1、Storm集群1.1 Storm集群和Hadoop集群对比在Hadoop集群上运行MapReduce jobs，在Storm集群上运行topologies。 jobs和topologies有很大的不同。一个关键的区别是，一个MapReduce jobs最终可完成，然后a topology处理过程永远执行（除非kill it）1.2 在Storm集群中有两类节点：master节点和多个worke

storm基本概念
转载 精选 2016-04-26 13:40:26 612 阅读

001-storm简介

1、STORM简介 Storm是Twitter开源的一个类似于Hadoop的实时数据处理框架Storm能实现高频数据和大规模数据的实时处理官网资料显示storm的一个节点在1秒钟能够处理100万个100字节的消息(IntelE5645@2.4Ghz的CPU,24GB的内存)以下是官网的解释：apache storm 是一个免费，开源分布式实时计算系统。storm使得处理无边界的数据流变得

storm简介
转载 精选 2016-04-25 16:14:20 964 阅读

hadoop读写mysql数据库

  hadoop技术推出一度曾遭到关系研究者的挑衅和批评，认为MapReduce不具有关系中的结构化数据存储和处理能力。为此，hadoop社区和研究人员做了多的努力，在hadoop0.19版支持MapReduce访问关系，如：MySQL、Mongodb、PostgreSQL、Oracle 等几个系统。Hadoop 访问关系主要通过DBInputFormat类

hadoop读写mysql数据库
转载 精选 2016-04-21 12:55:37 3799 阅读 1收藏

深入研究java.lang.Runtime类

一、概述      Runtime类封装了运行时的环境。每个 Java 应用程序都有一个 Runtime 类实例，使应用程序能够与其运行的环境相连接。      一般不能实例化一个Runtime对象，应用程序也不能创建自己的 Runtime 类实例，但可以通过 getRuntime 方法获取当前Ru

Runtime
转载 精选 2016-04-13 11:14:12 462 阅读

String,StringBuffer与StringBuilder的区别

String 字符串常量StringBuffer 字符串变量（线程安全）StringBuilder 字符串变量（非线程安全） 简要的说， String 类型和 StringBuffer 类型的主要性能区别其实在于 String 是不可变的对象, 因此在每次对 String 类型进行改变的时候其实都等同于生成了一个新的 String 对象，然后将指针指向新的 String 对象，所以经常改

StringBuffer
转载 精选 2016-04-13 10:49:02 336 阅读

Storm记录--12- Storm Transaction 原理+实战

Storm guarantees data processing by providing an at least once processing guarantee. The most common question asked 

storm
转载 精选 2016-04-08 10:12:31 618 阅读

Storm记录--11- Storm DRPC实战

DRPC ,Distributed Remote Procedure Call      RPC本身是个成熟和古老的概念, Storm里面引入DRPC主要是利用storm的实时计算能力来并行化CPU intensive的计算DRPC, 只是storm应用的一个场景,&n

storm
转载 精选 2016-04-08 10:10:26 1103 阅读

Storm记录--10- Storm消息机制

这章讨论Storm's reliability capabilities, 如何保证从spout emit出来的所有tuple都被正确的执行(fully processed)?What does it mean for a message to be "ful

storm
转载 精选 2016-04-08 10:06:43 1231 阅读

Storm记录09- Storm Topology的并发度

Storm Topology的并发度Understanding the parallelism of a Storm topologyhttps://github.com/nathanmarz/storm/wiki/Understanding-the-parallelism-of-a-Storm-topology概念一个Topology可以包含一个或多个worker(并行的跑在不同的machine

storm
转载 精选 2016-04-08 10:04:54 456 阅读

Storm记录08--Storm基本API

Streams, 流流作为storm的核心概念, 定义为无限的tuple序列.   什么是tuple?       命名的value序列, 可以理解成Key/value序列, 每个value可以是任何类型, 动态类型不需要事先声明. &nb

storm
转载 精选 2016-04-08 10:02:33 614 阅读

Storm记录07--Maven安装使用

Maven安装使用环境准备：JDK1.6Maven 3.0.4mveclipse8.6.1 （集成mveclipse）安装Maven之前要求先确定JDK已经安装配置完成，Maven是Apache下的一个项目。官网下载Mavenhttp://www.apache.org/dyn/closer.cgi/maven/binaries/apache-maven-3.0.4-bin.tar.gz下载完成后解

storm
转载 精选 2016-04-08 10:00:21 774 阅读

Storm记录06--Storm的HelloWorld

Storm学习的HelloWorld1、下载Storm-start(https://github.com/nathanmarz/storm-starter/archive/master.zip)2、进入下载目录，对zip文件解压3、进入解压后的文件目录，修改m2-pom.xml（将twitter4j-core和twitter4j-stream替换为下面的部分） <dependenc

storm
转载 精选 2016-04-08 09:59:03 501 阅读

Storm记录005--Storm集群安装

以下是依次需要完成的安装步骤一、安装JDK1.6二、安装Zookeeper三、安装zeromq-2.1.7四、安装jzmq五、安装Python-2.7.2六、安装unzip七、安装Storm一、下载并安装JDK1.6 并设置环境变量，如：export JAVA_HOME=/opt/java6export PATH=$PATH:$JAVA_HOME/bin运行java、javac命令，测试java正

storm
转载 精选 2016-04-08 09:49:40 571 阅读

Storm记录04-- Storm适用场景

Storm适用场景流聚合：流聚合就是把两个或多个数据流聚合成一个数据流 -- 基于一些共同的tuple字段。builder.setBolt(5,new MyJoiner(),parallelism) .fieldsGrouping(1,new Fields("joinfield1","joinfield2")) .fieldsGrouping(2,new Fields("joi

storm
转载 精选 2016-04-08 09:41:52 400 阅读

Storm记录03--Storm的基本概念

首先我们通过一个 storm 和hadoop的对比来了解storm中的基本概念。HadoopStorm系统角色JobTrackerNimbusTaskTrackerSupervisorChildWorker应用名称JobTopology组件接口Mapper/ReducerSpout/Bolt接下来我们再来具体看一下这些概念。a、Nimbus：负责资源分配和任务调度。b、Supervisor：负责接

storm
转载 精选 2016-04-08 09:39:48 327 阅读

Storm记录02-- Storm是什么

Storm是什么：如果只用一句话来描述storm的话，可能会是这样：分布式实时计算系统。按照storm作者的说法，storm对于实时计算的意义类似于hadoop对于批处理的意义。我们都知道，根据google mapreduce来实现的hadoop为我们提供了map, reduce原语，使我们的批处理程序变得非常地简单和优美。对比Hadoop的批处理，Storm是个实时的、分布式以及具备高容错的计算

Storm
转载 精选 2016-04-08 09:31:40 485 阅读

Storm记录01-- 实时计算系统

实时计算系统实时计算场景：伴随着信息科技日新月异的发展，信息呈现出爆发式的膨胀，人们获取信息的途径也更加多样、更加便捷，同时对于信息的时效性要求也越来越高。举个搜索场景中的例子，当一个卖家发布了一条宝贝信息时，他希望的当然是这个宝贝马上就可以被卖家搜索出来、点击、购买啦，相反，如果这个宝贝要等到第二天或者更久才可以被搜出来，估计这个大哥就要骂娘了。再举一个推荐的例子，如果用户昨天在淘宝上买了一双袜

Storm
转载 精选 2016-04-08 09:29:51 336 阅读

mysql的innodb中事务日志ib_logfile

mysql的innodb中事务日志ib_logfile事务日志或称redo日志，在mysql中默认以ib_logfile0,ib_logfile1名称存在,可以手工修改参数，调节开启几组日志来服务于当前mysql数据库,mysql采用顺序，循环写方式，每开启一个事务时，会把一些相关信息记录事务日志中(记录对数据文件数据修改的物理位置或叫做偏移量);作用:在系统崩溃重启时，作事务重做；在系统正常时，

数据库
事务日志
转载 精选 2014-08-20 17:24:41 2566 阅读

mysql query cache优化

query cache原理当mysql接收到一条select类型的query时，mysql会对这条query进行hash计算而得到一个hash值，然后通过该hash值到query cache中去匹配，如果没有匹配中，则将这个hash值存放在一个hash链表中，同时将query的结果集存放进cache中，存放hash值的链表的每一个hash节点存放了相应query结果集在cache中的地址，以及该q

cache
query
转载 精选 2014-08-20 17:17:53 286 阅读

mysql binlog日志优化及思路

    在数据库安装完毕，对于binlog日志参数设置，有一些参数的调整，来满足业务需求或使性能最大化。Mysql日志主要对io性能产生影响，本次主要关注binlog 日志。 查一下二进制日志相关的参数   mysql> show variables like '%binlog%';+------------------------

mysql
日志
转载 精选 2014-08-20 14:32:27 1636 阅读

sybase查看数据库使用情况说明

一．sp_spaceused 可看到数据库空间包括日志(对应数据库)打开Sql Advantage 对话框——输入sp_spaceused（上边数据库选择要查的数据库）或直接use your_db_namegosp_spaceusedgo运行！出现如下信息Database name：数据库名称Datebase Size：数据库空间总大小Reserved：已分配空间data数据：已分配空间中数据占用

sybase查看数据库使用情况
转载 精选 2014-07-24 16:45:25 1605 阅读

sybase导出数据库的表结构命令

在不同平台上导数据时，只能用BCP命令，但是BCP命令不能导出数据库表结构，所以需进行数据库表结构的导出。在sybase12.5版本以上，可以用如下方式导出表结构：ddlgen –Usa –Pxxx –Ddb_name –Sxxx:port –Ooutput_file其中db_name指所要导出的数据库名。低于sybase12.5版本的，得进行执行脚本的方式导出表结构。脚本文件内容如下：use s

表结构
转载 精选 2014-07-24 16:40:23 1288 阅读

oracle监听器动态注册于静态注册的区别

1, oracle 10g 用netca方式建立的都默认为动态注册方式2，如果想改为静态注册的方式则在listener.ora 中加入如下内容即可SID_LIST_LISTENER =(SID_LIST =(SID_DESC =(SID_NAME = PLSExtProc)(ORACLE_HOME = /u01/app/oracle/product/10.2.0/db_1)(PROGRAM = e

注册
转载 精选 2014-07-24 09:58:25 505 阅读

mysql innodb备份恢复和主从复制 xtrabackup工具的使用

网上关于这方面的知识还是比较多的，不过比较零散。其中比较好的文章链接查看，http://www.linuxidc.com/Linux/2012-10/71919p2.htm用XtraBackup实现MySQL的主从复制快速部署【主不锁表】http://www.360doc.com/content/12/0321/14/834950_196286503.shtmlmysql热备工具xtrabacku

主从复制
转载 精选 2014-06-04 15:19:22 691 阅读

用xtrabackup实现mysql的主从复制快速部署【主不锁表】

四种常用的mysql备份工具，各有缺点：0 tar缺点：不支持热备份，要关闭mysqld服务器再进行备份。恢复时也必须关闭mysqld。1 mysqldump缺点：MySQL自己提供的mysqldump是把数据转换为SQL语句，这种方式的效率比较低，备份和还原的速度都很慢，而且在dump过程中为了保证数据一致性，任何数据插入和更新操作都会被挂起。  2 ibbackup缺点：付

主从复制
转载 精选 2014-06-04 15:16:59 482 阅读
  • 1
  • 2
  • 3
  • 4
  • 5

Copyright © 2005-2025 51CTO.COM 版权所有 京ICP证060544号

关于我们
官方博客 全部文章 热门标签 班级博客
了解我们 网站地图 意见反馈
友情链接
鸿蒙开发者社区 51CTO学堂
51CTO 软考资讯