datanalysis的博客_其他原创博文

欢迎

集算器程序之序列与序表（2）

2、序表是有结构的序列集算器继承了关系数据库中的数据表概念，称为序表。与关系数据库的概念一致，每个序表也有其自身的数据结构，由若干字段构成。序表的成员被称为记录。2.1有结构的二维数据对象序列的成员可以是任意数据类型，比如普通类型、其他序列或者记录。而序表的成员一定是记录，且每条记录的结构相同。比如，下面的数据对象就是序表：因为是有结构的二维数据对象，所以序表通常生成自SQL、文本文件、二进制文件

集算器

序列

序表

原创 2014-10-22 08:53:25 481 阅读

集算器程序之序列与序表(1)

序列、序表、排列是集算器中最常用的数据类型，本文将阐明它们之间的关系和各自的特性。

序列

集算器

序表

原创 2014-10-21 13:58:37 491 阅读

集算器简化SQL式计算之组内运算

在开发数据库应用时，经常会遇到分组后针对组内数据的运算问题，如：列出近3年每年都发表过论文的学生名单，统计全部参加了历次培训的员工，选出每位客户的高尔夫成绩最高的三天等等。SQL完成这类运算较为复杂，一般需要嵌套多层，导致代码难以理解和维护。而集算器擅长表达这类组内计算，且很容易和JAVA或报表工具集成。下面用一个例子来说明。根据数据库表SaleData统计出2013年中，每个月销售金额均排在前2

JAVA

记录

数据库表

数据库应用

高尔夫

原创 2014-10-15 15:33:50 469 阅读

集算器并行处理大文本文件的示例

集算器可以方便地用并行方式处理大文本文件，下面通过一个例子来说明使用方法。假设有个一千万条销售记录的文本文件sales.txt，其主要字段是SellerID（销售员）、OrderDate（订单日期）、Amount（订单金额），请计算每个销售员在近四年里的大订单总金额。其中，金额在2000以上的属于大订单。要进行并行处理，首先要能对文件进行分段，集算器提供了游标数据对象cursor及其函数，可以方便

文件

集算器

数据源

大文本

原创 2014-10-14 13:35:13 597 阅读

R语言计算移动平均的方法

移动平均可以使时间序列变平滑，是典型的有序计算问题，其基本算法是：将N个连续的时间序列成员作为一个集合，计算该集合的平均值，并逐项推移该集合。下面用一个例子来说明R计算移动平均的方法。案例描述：数据框sales有两个字段：日期和当日销售额，需要计算三日移动平均值。具体算法是：求出前一日、当日、后一日的销售额平均值，并逐日推移。部分源数据如下： &n

python

集算器

esProc

移动平均

原创 2014-10-13 11:53:50 8632 阅读

润乾集算报表多样性数据源之json

多样性数据源在报表开发中越来越常见，润乾集算报表对多样性数据源的有效支持使得这类报表开发变得非常简单，目前集算报表支持的数据源类型除传统的关系型数据库外，还支持：JSON、HTTP、TXT文本、Excel、Hadoop、mongodb等。 JSON作为一种轻量级数据格式应用非常广泛，报表读取json数据源进行报表开发的需求也很常见，另外有些报表

报表

json

数据源

原创 2014-10-08 10:51:48 517 阅读

润乾集算报表提升性能之并行取数

有时报表在展现或导出时需要从数据库中取出较多数据，而JDBC的取数速度一向比较慢，有可能超过报表其它运算环节的耗时，导致整个报表的生成过程效率极低。下面我们看如何利用润乾集算报表的并行计算机制提高JDBC的取数性能。所谓并行取数是指，使用多线程技术在报表工具与数据库建立多个连接，同时读取一份源数据，这需要将源数据分段，每个线程（数据库连接）读取其中一段内容，最

提高

并行

润乾

性能

集算报表

原创 2014-09-30 08:50:39 375 阅读

日常数据分析的主要内容仍是结构化计算

日常业务中会出现各种各样的数据分析问题，但究其本质，其主要内容仍然是结构化数据的计算。比如：指定时间段，计算各营业网点的月销售额比上期和同期比。实现思路：对销售数据按时间段过滤，再按照营业网点、年、月进行三级分组汇总，最后进行跨行组的有序计算。找出收盘价连续增长超过10天的股票。实现思路：将日交易数据按照股票分组，

数据

数据分析

结构化

原创 2014-09-29 14:03:56 448 阅读

集算器访问数据库的配置

集算器支持包括数据库在内的多种异构数据源。这里，我们通过例子来看一下集算器访问数据库的方法。集算器可以连接数据库的jdbc驱动，也可以通过jdbc-odbc桥连接数据库。由于版权的原因，使用集算器的程序员需要自行准备数据库的jdbc或者odbc驱动。Jdbc驱动jar包准备好之后，需要放入集算器IDE安装目录的/common/jdbc中，例如：C:\Program Fi

访问

数据库

配置

集算器

原创 2014-09-28 13:52:31 296 阅读

用润乾集算报表提升性能之关联计算

报表开发过程中经常要在报表中完成数据关联计算，有的为了降低报表制作复杂度将关联关系放到可视的报表模板中完成；有的则必须在报表中完成关联，如多数据源、异构数据源的情况。而在报表中做关联往往导致报表效率不高，计算过慢，引发性能问题。润乾集算报表提供了特殊的数据关联方式，可以提升报表性能。这里通过一个常见的多源关联分片报表实例来看一下集算报表的实现过程： &nbs

润乾

性能提高

报表

集算报表

原创 2014-09-28 13:52:09 474 阅读

用集算器分析股票上涨的趋势

这里，我们采用集算器来分析股票上涨的趋势。分析的具体算法可以有很多种，我们采用其中一种加以说明，其他的情况可以用类似的代码解决。具体的要求是：连续上涨了n天的股票当中，又继续上涨了一天的的股票所占的比例。解决这个问题的关键是计算每只股票最长连续上涨的天数（以下简称上涨天数）。用上涨天数大于等于n+1天的股票数除以上涨天数大于等于n天的股票数，就是所求的占比了。股票数据中

趋势

集算器

分析股票

原创 2014-09-26 13:48:49 764 阅读

R语言实现固定分组汇总的方法

组名称和组数量已知的分组汇总被称为固定分组汇总，此类算法的分组依据来自于数据集之外，比如：按照参数列表中的客户名单分组，或按照条件列表进行分组。此类算法会涉及分组依据是否超出数据集、是否需要多余的组、数据是否重叠等问题，解决起来有一定的难度。本文将介绍R语言实现固定分组汇总的方法。例1：分组依据不超出数据集

python

r语言

固定分组

汇总

原创 2014-09-25 13:33:00 10000+阅读

集算器中数据库连接的控制

在处理数据库事务时，有的操作有可能会产生错误，而错误的产生有可能会带来不可预知的操作结果，尤其是在批量事务中。为了避免这种情况的产生，就需要对数据连接进行相应的控制，并对数据库事务中的错误信息进行相应的处理。 1、数据库错误信息下面我们先来研究数据库的错误信息。在这里，用一个Access文件DbC

数据库

控制

连接

集算器

原创 2014-09-23 10:35:32 543 阅读

集算器访问数据库的配置

集算器支持包括数据库在内的多种异构数据源。这里，我们通过例子来看一下集算器访问数据库的方法。集算器可以连接数据库的jdbc驱动，也可以通过jdbc-odbc桥连接数据库。由于版权的原因，使用集算器的程序员需要自行准备数据库的jdbc或者odbc驱动。Jdbc驱动jar包准备好之后，需要放入集算器IDE安装目录的/common/jdbc中，例如：C:\Program Files (x86)\Micr

配置

数据库

访问

集算器

原创 2014-09-22 13:33:35 461 阅读

适应多样性数据源的报表工具

大数据时代的数据不仅数量巨大，还会以各种形式存在，具备多样性。对于报表工具来说，就必须从多种多样的数据源获取数据，计算并展现出来。但是，多数报表工具并没有很好的适应多样性数据源。常见的报表数据源包括： 1、各种关系数据库：oracle、db2、sqlserver、informix、mysql等； &nb

报表工具

集算报表

数据源

多样性

原创 2014-09-19 13:33:12 726 阅读

集算器实现几种常见内存分组的代码示例

集算器可以很方便地实现常见的几种内存分组，比如等值分组、对位分组、枚举分组，下面用相应的例子来说明。等值分组等值分组的分组依据是本数据集的字段（或字段派生的计算列），每个组都是原数据集的子集。例子描述：将销售订单按照订单年份进行分组。数据描述：订单数据如下：上述数据集（序表）可以从数据库或文件读入，比如：A1=file("E:/sales.txt").import@t()集算器代码 &n

分组

等值分组

枚举分组

对位分组

原创 2014-09-18 11:24:58 521 阅读

集算器对数据库的操作

集算器可以从数据库中读取数据，可以将数据写入数据库，也可以调用数据库的存储过程。基于这三种基本操作，集算器可以应用在多种数据库相关的场景任务： 1、数据分析和展现任务，其过程是：通过sql或者存储过程，从数据库读入数据。从其他数据源（其他数据库、文件、hdfs、nosql数据库、http数据源、json数据源等）读入数据。将异构数据统一进

数据库

集算器

原创 2014-09-17 14:17:37 493 阅读

集算器JDBC的集成与使用方法

集算器JDBC 类似一个不完整的数据库JDBC驱动，它不带物理表，可将集算器视为只有存储过程的数据库（较强的计算能力，较弱的存储机制）。与使用数据库JDBC非常类似，可以像调用存储过程一样调用集算器程序。不同的是，集算器JDBC是个完全嵌入式计算引擎，所有运算都在这个嵌入包中完成，而不象数据库那样还有一个独立的服务器来实施计算。1、加载驱动jar集算器JDBC所需jar包括：dm.jar、poi-

集成

使用方法

集算器

jdbd 配置

原创 2014-09-16 15:38:56 562 阅读

数据处理程序语言中的基本数据类型

程序语言根据其设计目的不同，其侧重的基本数据类型也不同。JAVA、C#等语言被设计用来进行通用的应用程序开发，其基本数据类型是字符串、数字、布尔等原子数据类型，以及数组和通用对象。而SQL、PowerBuilder、R、集算器esProc等语言被设计用来进行数据处理，其基本数据类型是有结构的二维数据表对象。比如这句SQL：SELECT T1.id,T1.name,T1.

数据类型

编程语言

集算器

原创 2014-09-15 14:04:10 390 阅读

R实现大文本文件数据过滤的方法

使用R语言过滤文件数据是很普遍的操作，但有时我们会遇到比较大的文件，这类文件无法全部读入内存处理，需要采用分批读取、分批过滤、拼合结果的办法来解决。本文通过一个例子来说明R实现大文件数据过滤的方法。

数据

过滤

r语言

集算器

大文本

原创 2014-09-12 14:30:17 518 阅读

Java访问远程http服务器上数据的简便方法

Java开发项目中，有时会访问远程http服务器上的数据，数据可能是xml格式或者json格式等。本文通过例子讨论两种不同的实现方式。

java

远程访问

http服务器

server 数据

原创 2014-09-10 14:00:23 947 阅读

集算器调用数据库存储过程的代码示例

集算器可以方便的调用数据库的存储过程，这里通过例子来看一下具体的程序写法。调用无返回值的存储过程用oracle的存储过程为例，存储过程只有一个输入参数，没有输出参数：create orreplace procedure pro1(pid IN VARCHAR)asbegin insert into emp values(pid,'mike'); update e

代码

数据库

存储过程

集算器

原创 2014-09-09 14:24:24 352 阅读

R实现大文本文件数据分组汇总的方法

使用R语言对文件数据分组汇总是很普遍的操作，但有时我们会遇到比较大的文件，这类文件的计算结果较小，但源数据太大，无法全部放入内存进行计算，只能采用分批读取、分批计算、拼合结果的办法来解决。本文用一个例子来说明R实现大文件数据分组汇总的方法。

代码

r语言

数据汇总

大文本文件

原创 2014-09-05 14:19:45 872 阅读

集算器读写EXCEL文件的代码示例

集算器可以方便地读写Excel文件，本文用一个例子进行说明。

代码

excel

读写

集算器

原创 2014-09-04 14:51:35 612 阅读

R读写Excel文件中数据的方法

用R语言读写Excel的方法有很多，但每种方法都有让人头疼的地方，比如xlsx包的代码复杂，只支持Excel2007；RODBC不易理解，限制太多，程序不稳定，会出各种怪毛病。另存为csv格式的方法倒是比较通用比较稳定，但又存在操作麻烦，无法程序化处理多个文件的问题。提取xml也是个办法，但步骤太多代码太复杂，令人望而生畏。用剪贴板转换也不好，这同样需要人工参与，还不如存为csv。

读写

excel

r语言

原创 2014-09-03 14:27:41 1527 阅读

润乾集算报表利用并行计算提高JDBC取数性能示例

实际应用中数据量较大的报表在展现或导出时往往需要一次性将数据从数据库中取出来，而JDBC的取数速度过慢使得整个进程效率极低。如何优化取数速度成为了提升报表性能的关键。在润乾集算报表中可以通过并行计算提高JDBC的取数性能，本文将以oracle为例说明实现方法。

性能

并行

润乾

集算报表

原创 2014-09-02 14:17:50 482 阅读

润乾集算报表实现多数据集关联的示例

多数据源混合的场景在报表开发中非常常见，如：数据来源于多个数据库、数据库和文件混合的场景。传统报表工具在处理这种问题时往往采用两种方式：1将数据统一到一个数据库中，来避免跨库查询或数据库文件混合查询；2使用高级语言为报表自定义数据集，在程序中完成多数据源关联运算。上述做法除了对数据库产生影响、增加实现难度外，往往报表性能也不理想。润乾集算报表对异构数据源的有效支持可以很方便完成多数据源关联报表，本文通过示例说明。

关联

润乾

集算报表

多数据集

原创 2014-09-01 13:57:53 3301 阅读

集算器管理数据库事务的代码示例

集算器可以向数据库写入数据，支持数据库事务管理。本文通过实例来了解集算器控制数据库事务提交和回滚等的方法。

数据库

连接

管理

集算器

原创 2014-08-29 14:08:58 413 阅读

润乾报表使用EXCEL数据源的方法及改进

Excel作为一种常见的文件格式广泛存在，很多报表的数据来源于Excel。由于报表一般都带有参数，经常需要对原始数据进行分组、过滤等，都需要再编写程序代码才能满足有参数报表的查询需求。润乾报表使用Excel数据源，需要用Java程序处理文件，通过自定义数据集为报表提供数据源支持。本文通过实例说明润乾报表的实现过程以及改进方式。

优化

excel

润乾报表

数据源

原创 2014-08-28 14:14:21 942 阅读

润乾报表使用json数据源的方法改进

JSON作为一种轻量级数据格式应用非常广泛，报表读取json数据源进行报表开发的需求也很常见。润乾报表使用json数据源需要在自定义数据集中通过Java程序解析json文件后将结果集返回给报表，本文介绍润乾报表的实现方式以及改进方法。

润乾报表 json数据源

原创 2014-08-27 13:51:27 1627 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

高性能报表数据计算

欢迎

集算器程序之序列与序表（2）

集算器程序之序列与序表(1)

集算器简化SQL式计算之组内运算

集算器并行处理大文本文件的示例

R语言计算移动平均的方法

润乾集算报表多样性数据源之json

润乾集算报表提升性能之并行取数

日常数据分析的主要内容仍是结构化计算

集算器访问数据库的配置

用润乾集算报表提升性能之关联计算

用集算器分析股票上涨的趋势

R语言实现固定分组汇总的方法

集算器中数据库连接的控制

集算器访问数据库的配置

适应多样性数据源的报表工具

集算器实现几种常见内存分组的代码示例

集算器对数据库的操作

集算器JDBC的集成与使用方法

数据处理程序语言中的基本数据类型

R实现大文本文件数据过滤的方法

Java访问远程http服务器上数据的简便方法

集算器调用数据库存储过程的代码示例

R实现大文本文件数据分组汇总的方法

集算器读写EXCEL文件的代码示例

R读写Excel文件中数据的方法

润乾集算报表利用并行计算提高JDBC取数性能示例

润乾集算报表实现多数据集关联的示例

集算器管理数据库事务的代码示例

润乾报表使用EXCEL数据源的方法及改进

润乾报表使用json数据源的方法改进