datanalysis的博客_报表非常规统计,多样性数据源,技术探讨原创(3)

润乾集算报表非常规统计之跨行组运算

报表开发中，经常会碰到一些需要进行非常规统计的报表，固定分组、可重复分组、组内排序，还包括跨行组计算的报表，甚至有些报表本身无数据来源、以及需要对数据源再计算。这些报表本身具备一定的特殊性，使用常规方法往往难于实现。集算报表完成这类特殊统计报表则非常简单，本文通过一个需要完成跨行组计算的报表为例，说明使用集算报表的实现过程。

润乾报表

集算器

集算报表

跨行组运算

原创 2014-10-31 13:55:13 809 阅读

润乾集算报表非常规统计之固定行列交叉表

信息系统中很多数据计算是为前端展示而进行的，其中报表是最常见的一种形式。这些计算的实现过程往往并不简单，使用SQL或存储过程实现起来比较困难，从而影响到前端报表设计。像http://bbs.csdn.net/topics/390883416中提的问题，其目的是为了实现一个固定行列的交叉表，用SQL准备好固定行数的数据源很麻烦。而润乾集算报表则有很灵活的计算能力，可以充分利用问题特点应付各种非常规的计算需求。这里就以链接中业务为背景，给出集算报表实现某种固定列交叉报表的方案。

润乾

交叉报表

集算报表

非常规统计

固定行列

原创 2014-10-30 14:15:08 1128 阅读

润乾集算报表多样性数据源之json

多样性数据源在报表开发中越来越常见，润乾集算报表对多样性数据源的有效支持使得这类报表开发变得非常简单，目前集算报表支持的数据源类型除传统的关系型数据库外，还支持：JSON、HTTP、TXT文本、Excel、Hadoop、mongodb等。 JSON作为一种轻量级数据格式应用非常广泛，报表读取json数据源进行报表开发的需求也很常见，另外有些报表还会接收来自HTTP服务器的数据进行报表展现。本文通过例子来了解集算报表使用json数据源和http数据源的过程。

json

润乾

集算报表

多数据源

复杂

原创 2014-10-29 14:14:39 962 阅读

润乾集算报表多样性数据源之混合多源

多样性数据源在报表开发中越来越常见，润乾集算报表对多样性数据源的有效支持使得这类报表开发变得非常简单，目前集算报表支持的数据源类型除传统的关系型数据库外，还支持：TXT文本、Excel、JSON、HTTP、Hadoop、mongodb等。在集算报表中除了单独使用以上数据源，还可以混合使用。支持混合多数据源是集算报表多样性数据源的又一表现。本文通过实例说明使用过程。

润乾

集算报表

混合数据源

多数据源

原创 2014-10-28 14:02:00 761 阅读

润乾集算报表多样性数据源之多结果集

多样性数据源在报表开发中越来越常见，润乾集算报表对多样性数据源的有效支持使得这类报表开发变得非常简单，目前集算报表除了支持不同类型的数据源（RDB、TXT文本、Excel、JSON、HTTP、Hadoop、mongodb）外，还支持在一个数据集中为报表返回多个结果集使用，这样可以有效避免重复运算，提升报表开发效率和运算性能。下面通过一个实例说明多结果集的使用过程。

润乾

多数据源

集算报表

原创 2014-10-27 14:37:25 1116 阅读

润乾集算报表多样性数据源之动态源

多样性数据源在报表开发中越来越常见，润乾集算报表对多样性数据源的有效支持使得这类报表开发变得非常简单，目前集算报表除了支持不同类型的数据源（RDB、TXT文本、Excel、JSON、HTTP、Hadoop、mongodb）外，还可以根据实际应用情况动态连接不同的数据源完成动态数据源报表的开发。下面通过一个简单实例说明使用过程。

动态

数据源

润乾

集算报表

多数据源

原创 2014-10-24 16:18:26 477 阅读

集算器程序之序列与序表（2）

2、序表是有结构的序列集算器继承了关系数据库中的数据表概念，称为序表。与关系数据库的概念一致，每个序表也有其自身的数据结构，由若干字段构成。序表的成员被称为记录。2.1有结构的二维数据对象序列的成员可以是任意数据类型，比如普通类型、其他序列或者记录。而序表的成员一定是记录，且每条记录的结构相同。比如，下面的数据对象就是序表：因为是有结构的二维数据对象，所以序表通常生成自SQL、文本文件、二进制文件

集算器

序列

序表

原创 2014-10-22 08:53:25 481 阅读

集算器程序之序列与序表(1)

序列、序表、排列是集算器中最常用的数据类型，本文将阐明它们之间的关系和各自的特性。

序列

集算器

序表

原创 2014-10-21 13:58:37 486 阅读

集算器简化SQL式计算之组内运算

在开发数据库应用时，经常会遇到分组后针对组内数据的运算问题，如：列出近3年每年都发表过论文的学生名单，统计全部参加了历次培训的员工，选出每位客户的高尔夫成绩最高的三天等等。SQL完成这类运算较为复杂，一般需要嵌套多层，导致代码难以理解和维护。而集算器擅长表达这类组内计算，且很容易和JAVA或报表工具集成。下面用一个例子来说明。根据数据库表SaleData统计出2013年中，每个月销售金额均排在前2

JAVA

记录

数据库表

数据库应用

高尔夫

原创 2014-10-15 15:33:50 465 阅读

集算器并行处理大文本文件的示例

集算器可以方便地用并行方式处理大文本文件，下面通过一个例子来说明使用方法。假设有个一千万条销售记录的文本文件sales.txt，其主要字段是SellerID（销售员）、OrderDate（订单日期）、Amount（订单金额），请计算每个销售员在近四年里的大订单总金额。其中，金额在2000以上的属于大订单。要进行并行处理，首先要能对文件进行分段，集算器提供了游标数据对象cursor及其函数，可以方便

文件

集算器

数据源

大文本

原创 2014-10-14 13:35:13 597 阅读

R语言计算移动平均的方法

移动平均可以使时间序列变平滑，是典型的有序计算问题，其基本算法是：将N个连续的时间序列成员作为一个集合，计算该集合的平均值，并逐项推移该集合。下面用一个例子来说明R计算移动平均的方法。案例描述：数据框sales有两个字段：日期和当日销售额，需要计算三日移动平均值。具体算法是：求出前一日、当日、后一日的销售额平均值，并逐日推移。部分源数据如下： &n

python

集算器

esProc

移动平均

原创 2014-10-13 11:53:50 8631 阅读

润乾集算报表多样性数据源之json

多样性数据源在报表开发中越来越常见，润乾集算报表对多样性数据源的有效支持使得这类报表开发变得非常简单，目前集算报表支持的数据源类型除传统的关系型数据库外，还支持：JSON、HTTP、TXT文本、Excel、Hadoop、mongodb等。 JSON作为一种轻量级数据格式应用非常广泛，报表读取json数据源进行报表开发的需求也很常见，另外有些报表

报表

json

数据源

原创 2014-10-08 10:51:48 517 阅读

润乾集算报表提升性能之并行取数

有时报表在展现或导出时需要从数据库中取出较多数据，而JDBC的取数速度一向比较慢，有可能超过报表其它运算环节的耗时，导致整个报表的生成过程效率极低。下面我们看如何利用润乾集算报表的并行计算机制提高JDBC的取数性能。所谓并行取数是指，使用多线程技术在报表工具与数据库建立多个连接，同时读取一份源数据，这需要将源数据分段，每个线程（数据库连接）读取其中一段内容，最

提高

并行

润乾

性能

集算报表

原创 2014-09-30 08:50:39 375 阅读

日常数据分析的主要内容仍是结构化计算

日常业务中会出现各种各样的数据分析问题，但究其本质，其主要内容仍然是结构化数据的计算。比如：指定时间段，计算各营业网点的月销售额比上期和同期比。实现思路：对销售数据按时间段过滤，再按照营业网点、年、月进行三级分组汇总，最后进行跨行组的有序计算。找出收盘价连续增长超过10天的股票。实现思路：将日交易数据按照股票分组，

数据

数据分析

结构化

原创 2014-09-29 14:03:56 448 阅读

集算器访问数据库的配置

集算器支持包括数据库在内的多种异构数据源。这里，我们通过例子来看一下集算器访问数据库的方法。集算器可以连接数据库的jdbc驱动，也可以通过jdbc-odbc桥连接数据库。由于版权的原因，使用集算器的程序员需要自行准备数据库的jdbc或者odbc驱动。Jdbc驱动jar包准备好之后，需要放入集算器IDE安装目录的/common/jdbc中，例如：C:\Program Fi

访问

数据库

配置

集算器

原创 2014-09-28 13:52:31 296 阅读

用润乾集算报表提升性能之关联计算

报表开发过程中经常要在报表中完成数据关联计算，有的为了降低报表制作复杂度将关联关系放到可视的报表模板中完成；有的则必须在报表中完成关联，如多数据源、异构数据源的情况。而在报表中做关联往往导致报表效率不高，计算过慢，引发性能问题。润乾集算报表提供了特殊的数据关联方式，可以提升报表性能。这里通过一个常见的多源关联分片报表实例来看一下集算报表的实现过程： &nbs

润乾

性能提高

报表

集算报表

原创 2014-09-28 13:52:09 474 阅读

用集算器分析股票上涨的趋势

这里，我们采用集算器来分析股票上涨的趋势。分析的具体算法可以有很多种，我们采用其中一种加以说明，其他的情况可以用类似的代码解决。具体的要求是：连续上涨了n天的股票当中，又继续上涨了一天的的股票所占的比例。解决这个问题的关键是计算每只股票最长连续上涨的天数（以下简称上涨天数）。用上涨天数大于等于n+1天的股票数除以上涨天数大于等于n天的股票数，就是所求的占比了。股票数据中

趋势

集算器

分析股票

原创 2014-09-26 13:48:49 764 阅读

R语言实现固定分组汇总的方法

组名称和组数量已知的分组汇总被称为固定分组汇总，此类算法的分组依据来自于数据集之外，比如：按照参数列表中的客户名单分组，或按照条件列表进行分组。此类算法会涉及分组依据是否超出数据集、是否需要多余的组、数据是否重叠等问题，解决起来有一定的难度。本文将介绍R语言实现固定分组汇总的方法。例1：分组依据不超出数据集

python

r语言

固定分组

汇总

原创 2014-09-25 13:33:00 10000+阅读

集算器中数据库连接的控制

在处理数据库事务时，有的操作有可能会产生错误，而错误的产生有可能会带来不可预知的操作结果，尤其是在批量事务中。为了避免这种情况的产生，就需要对数据连接进行相应的控制，并对数据库事务中的错误信息进行相应的处理。 1、数据库错误信息下面我们先来研究数据库的错误信息。在这里，用一个Access文件DbC

数据库

控制

连接

集算器

原创 2014-09-23 10:35:32 543 阅读

集算器访问数据库的配置

集算器支持包括数据库在内的多种异构数据源。这里，我们通过例子来看一下集算器访问数据库的方法。集算器可以连接数据库的jdbc驱动，也可以通过jdbc-odbc桥连接数据库。由于版权的原因，使用集算器的程序员需要自行准备数据库的jdbc或者odbc驱动。Jdbc驱动jar包准备好之后，需要放入集算器IDE安装目录的/common/jdbc中，例如：C:\Program Files (x86)\Micr

配置

数据库

访问

集算器

原创 2014-09-22 13:33:35 461 阅读

适应多样性数据源的报表工具

大数据时代的数据不仅数量巨大，还会以各种形式存在，具备多样性。对于报表工具来说，就必须从多种多样的数据源获取数据，计算并展现出来。但是，多数报表工具并没有很好的适应多样性数据源。常见的报表数据源包括： 1、各种关系数据库：oracle、db2、sqlserver、informix、mysql等； &nb

报表工具

集算报表

数据源

多样性

原创 2014-09-19 13:33:12 726 阅读

集算器实现几种常见内存分组的代码示例

集算器可以很方便地实现常见的几种内存分组，比如等值分组、对位分组、枚举分组，下面用相应的例子来说明。等值分组等值分组的分组依据是本数据集的字段（或字段派生的计算列），每个组都是原数据集的子集。例子描述：将销售订单按照订单年份进行分组。数据描述：订单数据如下：上述数据集（序表）可以从数据库或文件读入，比如：A1=file("E:/sales.txt").import@t()集算器代码 &n

分组

等值分组

枚举分组

对位分组

原创 2014-09-18 11:24:58 521 阅读

集算器对数据库的操作

集算器可以从数据库中读取数据，可以将数据写入数据库，也可以调用数据库的存储过程。基于这三种基本操作，集算器可以应用在多种数据库相关的场景任务： 1、数据分析和展现任务，其过程是：通过sql或者存储过程，从数据库读入数据。从其他数据源（其他数据库、文件、hdfs、nosql数据库、http数据源、json数据源等）读入数据。将异构数据统一进

数据库

集算器

原创 2014-09-17 14:17:37 493 阅读

集算器JDBC的集成与使用方法

集算器JDBC 类似一个不完整的数据库JDBC驱动，它不带物理表，可将集算器视为只有存储过程的数据库（较强的计算能力，较弱的存储机制）。与使用数据库JDBC非常类似，可以像调用存储过程一样调用集算器程序。不同的是，集算器JDBC是个完全嵌入式计算引擎，所有运算都在这个嵌入包中完成，而不象数据库那样还有一个独立的服务器来实施计算。1、加载驱动jar集算器JDBC所需jar包括：dm.jar、poi-

集成

使用方法

集算器

jdbd 配置

原创 2014-09-16 15:38:56 562 阅读

数据处理程序语言中的基本数据类型

程序语言根据其设计目的不同，其侧重的基本数据类型也不同。JAVA、C#等语言被设计用来进行通用的应用程序开发，其基本数据类型是字符串、数字、布尔等原子数据类型，以及数组和通用对象。而SQL、PowerBuilder、R、集算器esProc等语言被设计用来进行数据处理，其基本数据类型是有结构的二维数据表对象。比如这句SQL：SELECT T1.id,T1.name,T1.

数据类型

编程语言

集算器

原创 2014-09-15 14:04:10 390 阅读

R实现大文本文件数据过滤的方法

使用R语言过滤文件数据是很普遍的操作，但有时我们会遇到比较大的文件，这类文件无法全部读入内存处理，需要采用分批读取、分批过滤、拼合结果的办法来解决。本文通过一个例子来说明R实现大文件数据过滤的方法。

数据

过滤

r语言

集算器

大文本

原创 2014-09-12 14:30:17 518 阅读

Java访问远程http服务器上数据的简便方法

Java开发项目中，有时会访问远程http服务器上的数据，数据可能是xml格式或者json格式等。本文通过例子讨论两种不同的实现方式。

java

远程访问

http服务器

server 数据

原创 2014-09-10 14:00:23 947 阅读

集算器调用数据库存储过程的代码示例

集算器可以方便的调用数据库的存储过程，这里通过例子来看一下具体的程序写法。调用无返回值的存储过程用oracle的存储过程为例，存储过程只有一个输入参数，没有输出参数：create orreplace procedure pro1(pid IN VARCHAR)asbegin insert into emp values(pid,'mike'); update e

代码

数据库

存储过程

集算器

原创 2014-09-09 14:24:24 352 阅读

R实现大文本文件数据分组汇总的方法

使用R语言对文件数据分组汇总是很普遍的操作，但有时我们会遇到比较大的文件，这类文件的计算结果较小，但源数据太大，无法全部放入内存进行计算，只能采用分批读取、分批计算、拼合结果的办法来解决。本文用一个例子来说明R实现大文件数据分组汇总的方法。

代码

r语言

数据汇总

大文本文件

原创 2014-09-05 14:19:45 872 阅读

集算器读写EXCEL文件的代码示例

集算器可以方便地读写Excel文件，本文用一个例子进行说明。

代码

excel

读写

集算器

原创 2014-09-04 14:51:35 610 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

高性能报表数据计算

润乾集算报表非常规统计之跨行组运算

润乾集算报表非常规统计之固定行列交叉表

润乾集算报表多样性数据源之json

润乾集算报表多样性数据源之混合多源

润乾集算报表多样性数据源之多结果集

润乾集算报表多样性数据源之动态源

集算器程序之序列与序表（2）

集算器程序之序列与序表(1)

集算器简化SQL式计算之组内运算

集算器并行处理大文本文件的示例

R语言计算移动平均的方法

润乾集算报表多样性数据源之json

润乾集算报表提升性能之并行取数

日常数据分析的主要内容仍是结构化计算

集算器访问数据库的配置

用润乾集算报表提升性能之关联计算

用集算器分析股票上涨的趋势

R语言实现固定分组汇总的方法

集算器中数据库连接的控制

集算器访问数据库的配置

适应多样性数据源的报表工具

集算器实现几种常见内存分组的代码示例

集算器对数据库的操作

集算器JDBC的集成与使用方法

数据处理程序语言中的基本数据类型

R实现大文本文件数据过滤的方法

Java访问远程http服务器上数据的简便方法

集算器调用数据库存储过程的代码示例

R实现大文本文件数据分组汇总的方法

集算器读写EXCEL文件的代码示例