所生成的处理架构msil 计算处理架构

大数据计算技术

• 大数据计算体系层次

• 1数据应用系统
• 2数据计算处理系统
• 3数据存储系统

• 3.1功能

• 3.1.1数据清洗、抽取和建模

• 3.1.1.1建模

• 3.1.1.1.1概念模型
• 3.1.1.1.2逻辑模型
• 3.1.1.1.3物理模型（存储）

• 3.1.2数据存储架构
• 3.1.3数据仓库和数据服务
• 3.1.4统一数据接口

• 3.2层次单元

• 3.2.1分布式文件系统：提供物理存储架构
• 3.2.2分布式数据库：not only sql database

大数据计算体系层次

1数据应用系统

2数据计算处理系统

计算模型（计算模式）的概念：
计算模型针对领域问题提出技术解决方案的基础模型、数据结构和算法其中不同的计算模型的衡量标准：

3数据存储系统

3.1功能

3.1.1数据清洗、抽取和建模

3.1.1.1建模

3.1.1.1.1概念模型

（定义基于业务的实体类）

3.1.1.1.2逻辑模型

（给出实体类的更多表的细节（主键、外键等）在纸上表达的对数据（关系等）的抽象，数据库提供了数据的逻辑存储结构）

3.1.1.1.3物理模型（存储）

（ 把实体数据存储到磁盘或者内存中，分布式文件系统提供数据的物理存储结构）

3.1.2数据存储架构

3.1.3数据仓库和数据服务

3.1.4统一数据接口

传统的数据库接口：ODBC、JDBC

问题：如果数据库既需要支持java编写的应用程序，也要支持c++写的程序，所以：

目前的大数据采用的是：统一数据读写接口

3.2层次单元

3.2.1分布式文件系统：提供物理存储架构

（对数据的物理存储架构，如果没有，则无法长期、持久保存数据）

例如：HDFS、GFS都采用主从架构

主节点管理一组从节点

数据划分为小的数据块，又生成备份，都会存储到文件系统中

3.2.2分布式数据库：not only sql database