xrb_jurgen的博客

大数据随笔（二）

Hive Hive是一个构建在Hadoop上的数据仓库框架，设计目的是让精通SQL的分析师能够对存放在HDFS上的大规模数据集执行查询操作。 Hive把数据组织为表，通过这种方式为存储在HDFS的数据赋予结构，并将表模式等元数据存储在名为Merastore的数据库中。基于这种类似关系的数据模型，Hive把SQL查询转换为一系列在Hadoop集群上

大数据

随笔

原创 2018-08-01 09:20:37 583 阅读

云计算与传统IT的联系

1.云计算与网格计算网格计算的目的是实现互联网上所有资源的全面共享，包括计算资源、存储资源、通信资源、软件资源、信息资源等，任何人都可以作为请求者使用其他节点的资源，任何人都需要贡献一定的资源给其他节点。网格计算使用过程中会遇到一些问题，如对资源的可用性和软件的不同配置，包括不同的操作系统、库、编译器、运行环境等。同时用户的应用往往只能运行在

云计算

传统

IT

原创 2018-07-17 09:42:29 1507 阅读 1点赞

大数据随笔（一）

一、概述谈到大数据，离不开云计算、物联网、数据中心这些关键基础技术。云计算是分布式处理、并行处理和网格计算的，或者说是这些计算机科学概念的商业实现。狭义上云计算指IT基础设施的交付和使用模式，即通过网络以按需、易扩展的方式获得所需资源；广义上云计算指服务的交付和使用模式，即通过网络以按需、易扩展的方式获得所需服务。云计算强调云存储和计算能力，是一个动态的过程。大数据是计算的对象，强调的是服务器的存

大数据

原创 2018-06-12 08:03:36 575 阅读

联机分析处理

1.定义OLAP即联机分析处理定义1：OLAP是针对特定问题的联机数据访问和分析处理。通过对信息（这些信息从原始数据转换而来，以反映用户所能理解的企业真实的“维”）的多种可能形式进行快速、稳定、一致的交互式存取，允许决策制定者对数据进行深入的观察。定义2：OLAP是一种软件技术，它使分析人员能够迅速、一致、交互地从各个方面观察信息，以达到深入理解数据的目的。这些信息是从原始数据直接转换过来的，它们

OLAP

OLTP

原创 2018-05-24 20:09:39 1709 阅读

学习数据仓库

1.数据仓库定义数据仓库之父WilliamH.Inmon给出的定义是：“数据仓库是一个面向主题的、集成的、时变的、非易失的数据集合，用于支持管理决策”。概言之，数据仓库是一种语义上一致的数据存储，它充当决策支持数据模型的物理实现，并存放企业决策所需信息。数据仓库也常常被看做一种体系结构，通过将异种数据源中的数据集成在一起而构造，支持结构化和启发式查询、分析报告和决策制定。2.从数据库到数据仓库从如

数据

仓库

原创 2018-05-24 15:52:57 1574 阅读

rabbitmq学习笔记

一、消息确认机制rabbitmq在发送消息后立即从内存中删除消息，因此如果消费者处理消息耗时较长，在处理过程中消费者被kill，则处理中的消息、以及其他发往该消费者的消息都将丢失。为了保证消息不丢失，rabbitmq支持消息确认机制，消费者可以发送ack告诉rabbitm指定消息已经收到并处理，因此rabbitmq可以删除该消息。如果消费者死掉（channel关闭、connection关闭、或者T

Exchange

rabbitmq

原创 2017-06-07 14:08:49 617 阅读

python logging模块配置方法浅析

以下功能函数配置logging模块。它们位于logging.config模块中。它们的使用是可选的 - 可以使用这些功能函数配置logging模块；或者通过调用主API（logging中定义）并且定义在logging或logging.handlers中定义的handlers。logging.config.dictConfig(config)：&nbs

python

logging

原创 2017-04-05 23:17:57 1956 阅读

oslo RPC Client消息接口简介

class oslo_messaging.RPCClient(transport, target, timeout=None, version_cap=None, serializer=None, retry=None)RPCClient是用于在远程RPC服务器上调用方法的类。transport：RPCClient通过transport向

message

oslo

原创 2017-03-02 14:20:32 2326 阅读

RabbitMQ基本概念

RabbitMQ是一种基于AMQP(Advanced Message Queuing Protocol)的消息总线开源实现，下面讲述一下其基本概念：消息通信包括生产者、消费者、代理。生产者创建消息，并发布到代理服务器(RabbitMQ),消费者连接到代理服务器上并绑定订阅队列，接收代理服务器发来的消息。信道：建立在“真实”TCP连接内的虚拟连接，在一条TCP连接上创建多少条信道没有限制，并且信道之

其他

RabbitMQ

原创 2017-02-26 15:12:43 562 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

冰的博客