51CTO博客>热门标签>计算引擎

计算引擎

全部文章近期文章热门文章标签简介

【计算引擎】内容共 100 条

原创 Spark计算引擎原理

一、Spark内部原理 ——通过RDD，创建DAG（逻辑计划） ——为DAG生成物理查询计划 ——调用并执行Task 二、生成逻辑执行图：产生RDD 三、生成逻辑执行图：RDD之间关系四、生成逻辑执行图：Shuffle —每个reduce task要从每个map task端读取一部分数据，网络连接数是：M*R。—shuffle是分布式计算框架的核心数据交换方式，其实现方式直接决定

spark

分布式计算

数据

框架

依赖关系

阅读 33 评论 0 点赞 0

马超的博客 116 天前
原创敏捷数据计算引擎

集算器作为敏捷数据计算引擎，可以在报表数据源、JAVA 计算层、离线自由计算 3 个方面提供高效的计算输出，帮助用户解决由于开发效率低，描述业务难等这些问题： 1、为报表准备数据的 SQL 长达数 K，写起来难，维护更难 2、数据量大，报表呈现太慢，搞不好还溢出，用户抱怨 3、Java 计算太繁琐，随便写个过滤分组都要数百行，太繁 4、算法逻辑改一下，整个应用要重启，难以提供持续服务 5、大批 TXT/CSV/XLS 要处理，又没有 SQL 可用，做个啥事都很繁 6、SQL 不好写，python 也难学，总要专业程序员才能做，成本高 …

SPL

敏捷计算

阅读 367 评论 0 点赞 0

raqsoft 1080 天前
原创修改hive计算引擎

修改hive计算引擎进入hive客户端设置mapreduce引擎set hive.execution.engine=mr;设置tez引擎set hive.execution.engine=tez;设置spark引擎set hive.execution.engine=spark;

hive

spark

tez

hadoop

计算引擎

阅读 949 评论 0 点赞 0

南瓜数据客栈 596 天前
转载 OLAP计算引擎怎么选？

大家好，我是菌哥，今天聊一聊OLAP技术，一哥认为好的OLAP引擎应该具备以下三个条件：易开发、易维护、易移植。今天给大家分享一下常见的几种OLAP计算引擎，他们的特性、适用场景，优缺点等，希望对大家在选型应用上有帮助。Kylin简介1、Kylin是ebay开发的一套MOLAP系统；2、提供Hadoop之上的SQL查询接口及多维分析能力以支持超大规模数据；3、提供与BI工具（如Tableau）的整

数据

kylin

hadoop

阅读 19 评论 0 点赞 0

大数据梦想 113 天前
原创轻量级内存计算引擎

内存计算指数据事先存储于内存，各步骤中间结果不落硬盘的计算方式，适合性能要求较高，并发较大的情况。

内存计算

HANA

TimesTen

阅读 350 评论 0 点赞 0

raqsoft 1618 天前
原创轻量级内存计算引擎

HANA、TimesTen等内存数据库可实现内存计算，但这类产品价格昂贵结构复杂实施困难，总体拥有成本较高。本文介绍的集算器同样可实现内存计算，而且结构简单实施方便，是一种轻量级内存计算引擎。下面就来介绍一下集算器实现内存计算的一般过程。

轻量级

内存计算引擎

阅读 597 评论 0 点赞 0

raqsoft 1592 天前
转载 OLAP计算引擎怎么选？

OLAP引擎应该具备以下三个条件：易开发、易维护、易移植

apache kylin

kudu

大数据

presto

impala

阅读 121 评论 2 点赞 0

mob604756fd7a56 844 天前
原创 Spark计算引擎实战汇总

文章目录一.安装二.理论基础三.实战2.1 hbase2.2 sql2.3 机器学习2.4 Graphx2.5 报错四.源码一.安装Spark介绍系列02–安装集群:https://limeng.blog.csdn.net/article/details/82803783hive on spark安装:https://limeng.blog.csdn.net/article/details/71023759二.理论基础Dataflow Model总结:https://limeng.blog

spark

大数据

.net

spark源码

sql

阅读 78 评论 0 点赞 0

李孟lm 570 天前
原创 Hive更换Tez计算引擎

一、前置准备CentOS7、jdk1.8、hive-2.3.6、hadoop-2.7.7、tez-0.9.2 二、简单了解用Hive直接编写MR程序，假设有4个有依赖关系的MR作业，上图中，蓝色代表MapTask，绿色代表ReduceTask，云状表示中间结果持久化到磁盘Tez可以将多个有依赖的作业转换为一个作业（DAG），这样只需要写一次HDFS，且中间节点较少，从而大大提升作业的计

hadoop

大数据

hive

jar

apache

阅读 613 评论 0 点赞 0

广彐水厂 471 天前
转载 SAP HANA 内存计算引擎

内存数据库意味着来自源系统的所有数据都存储在RAM内存中。在传统的数据库系统中，所有数据都存储在硬盘中。 SAP HANA内存数据库不浪费时间将数据从硬盘加载到RAM。它可以更快地访问多核CPU的数据，以进行信息处理和分析。原文地址：SAP HANA 内存计算引擎...

数据

内存数据库

多核

阅读 80 评论 0 点赞 0

coderliang 289 天前
原创 OLAP计算引擎怎么选？

简介 1、Kylin是ebay开发的一套MOLAP系统； 2、提供Hadoop之上的SQL查询接口及多维分析能力以支持超大规模数据； 3、提供与BI工具（如Tableau）的整合能力；

数据

kylin

大数据

阅读 275 评论 0 点赞 0

数据一哥 270 天前
原创 Hive支持的计算引擎

Hive 支持的3种计算引擎: MR Tez Spark的介绍

hive

大数据

hadoop

spark

mapreduce

阅读 683 评论 0 点赞 0

959_1x 189 天前
原创图计算引擎分析 ——Gemini 荐

作者：京东科技王军前言Gemini 是目前 state-of-art 的分布式内存图计算引擎，由清华陈文光团队的朱晓伟博士于 2016 年发表的分布式静态数据分析引擎。Gemini 使用以计算为中心的共享内存图分布式 HPC 引擎。通过自适应选择双模式更新（pull/push），实现通信与计算负载均衡 [‎1]。图计算研究的图是数据结构中的图，非图片。实际应用中遇到的图，如社交网络中的好友关系、

数据

任务调度

存储空间

阅读 585 评论 0 点赞 0

京东云开发者 88 天前
原创纯JAVA大数据计算引擎

集算器是数据计算中间件，可与Hadoop无缝集成，充当Hadoop的存储过程，提高Hadoop的计算效率和运行性能，库外计算和跨库能力可有效缓解数据库扩容压力，发挥DB的最大效用。集算器还能优化报表的数据源组织，提高报表的计算性能。

java

集算器

大数据计算引擎

阅读 4170 评论 0 点赞 0

datanalysis 3420 天前
转载 OSS构建表_+_计算引擎对接

全文链接看到标题，可能有用户要问：OSS不是用来存图片、视频、及文件的吗，还可以在上面建表、数仓？计算效率和经济性表现怎么样？热点热议存储与计算分离：OSS构建表 + 计算引擎对接作者：cw 发表在：阿里云存储服务springboot(八)：RabbitMQ详解作者：琴瑟琵琶阿里云文件存储SMB协议服务及其申请和使用指南作者：nas-hz 发表在：阿

Linux

图片

数据库

成本

阿里云

阅读 376 评论 0 点赞 0

谁算法 2117 天前
原创 ink大数据计算引擎入门

Flink入门ApacheFlink是一个面向分布式数据流处理和批量数据处理的开源计算平台，提供支持流处理和批处理两种类型应用的功能。ApacheFlink的前身是柏林理工大学一个研究性项目，在2014被Apache孵化器所接受，然后迅速地成为了ApacheSoftwareFoundation的顶级项目之一。Flink特点现有的开源计算方案，会把流处理和批处理作为两种不同的应用类型：流处理一般需要

Java

阅读 387 评论 0 点赞 0

mb5ff40b968831d 806 天前
转载大数据高速计算引擎Spark

第一部分 Spark Core第1节 Spark概述1.1 什么是SparkSpark 是一个快速、通用的计算引擎。Spark的特点：速度快。与 MapReduce 相比，Spark基于内存的运算要快100倍以上，基于硬盘的运算也要快10倍以上。Spark实现了高效的DAG执行引擎，可以通过基于内存来高效处理数据流；使用简单。Spark支持 Scala、Java、Python、R的API，

Spark

阅读 314 评论 2 点赞 0

mob604756e43790 739 天前
原创数仓如何选择计算引擎？

计算引擎选好，数仓任务666

hive

spark

数据

阅读 254 评论 0 点赞 0

数据一哥 290 天前
转载 MaxCompute SQL 2.0全新的计算引擎

原文链接：http://click.aliyun.com/m/13962/MaxCompute2.0 SQL是一个重大更新，新版本相较于旧版本有很大的更新，我们有全新的解析器，全新的基于代价的优化器，全新的运行时库。新版本性能的增长有长足的进步，查询优化减少了大部分人工干预自动统计信息收集也是一个方面。

信息

统计

阅读 343 评论 0 点赞 0

云栖技术 2200 天前
原创 HQChart(C++)指标计算引擎-安装

@TOCWindows 版本安装（64位）下载"HQChart指标计算引擎"动态库git上可以下载 https://github.com/jones2000/HQChart安装 vs2019 VC_redist.x64 运行库, 网上自行下载下安装py 3.7 64位程序目录介绍HQChartPy2.pyd, libcrypto-1_1-x64.dll, libssl-1_1-x64.dll hqchart 指标引擎 + cpython接口封装hqchartpy2_

HQChart使用教程

阅读 82 评论 0 点赞 0

jones2000 627 天前