wuzhongjie的博客_嵌入式开发,存储,Linux,虚拟化,存储技术,文件系统,互连技术

物联网硬件：网络化数据采集系统

网络化数据采集系统可以在很多远程监控的场合应用，其主要特点在于采集数据的远程传输。一个典型的网络化数据采集系统电路结构如下图所示：一个数据采集节点通常可以支持多通道并行采样。因此，前端输入通道支持多路并行输入。每路输入信号经过阻抗匹配电路之后进行低通滤波处理。很多接入的传感器信号频率不是很高，因此，需要采用低通滤波器将高频信号滤除（采样预处理），然后接入多通道同步模数转换器

网络

采集

物联网

原创 2014-05-28 08:29:49 1834 阅读

大数据处理——Hadoop解析（二）：MapReduce

大数据处理模型MapReduce （接《大数据处理——Hadoop解析（一）》）大数据时代生产的数据最终是需要进行计算的，存储的目的也就是为了做大数据分析。通过计算、分析、挖掘数据背后的东西，才是大数据的意义所在。Hadoop不仅提供了数据存储的分布式文件系统，更重要的是提供了分布式编程模型和分布式计算系统，通过该编程模型和分布式计算架构可以解决大数据时代所面临的数据处理问题

mapreduce

Hadoop

原创 2014-05-27 23:20:24 2595 阅读

基于ARM的数据中心路在何方？

我们已经了解到百度采用ARM处理器研发数据存储节点。另外，还有一些Startup公司在研发基于ARM的服务器。今年，AMD又宣布开始研发基于ARM的处理器，不再局限于X86处理器架构。这一切都在说明什么？ARM正往数据中心前进。ARM处理器采用RISC的架构，其具有很好的性能/功耗比。对于数据中心而言，低功耗是一个永恒的话题。虽然，在服务器领域，以Intel为首的X86架构一度将MIPS、SPAR

数据中心

ARM

原创推荐 2014-05-25 00:35:38 8322 阅读 1点赞 2评论

大数据处理——Hadoop解析（一）

概述这个时代被称之为大数据时代，各行各业生产的数据量呈现爆发性增长，并且基于这些爆发性增长的数据做深层次的数据挖掘、分析。因此，我们可以很容易的感觉到，在这样一个大数据的时代，我们很多做事情的方法正在发生了改变。例如，基于大数据分析可以做疾病预测控制；基于大数据分析可以做交通流量预测控制；基于大数据分析可以做大型系统故障诊断预测；基于大数据分析可以做客户消费推荐。可以说，大数据时代可以

分布式文件系统

Hadoop

原创 2014-05-24 22:28:39 5740 阅读 1点赞 1收藏 1评论

我的家乡——叠石桥

在泱泱中华地图上，有这么一个似乎并不起眼，有一个非常奇怪名字的地方——叠石桥，那里就是我可爱的家乡。听爷爷讲，家乡人基本都是从崇明岛移民到海门的，主要目的是开垦荒地。如果再往上数几代人，他们是从浙江的嘉兴迁移到崇明岛的，主要目的还是开垦荒地。换句话说，很多叠石桥人、或者海门人的根在浙江嘉兴。这一点从方言就可以得到论证。虽然，历尽时间的磨砺，大江的阻隔，但是，嘉兴片方言还是在

叠石桥

原创 2014-05-20 22:59:27 1914 阅读 1评论

EMC产品分析介绍（三）：备份领域的引领者DataDomain （2）

Contents1、概述... 2、开创磁盘备份的新模式... 3、重复数据删除... 4、破解磁盘瓶颈点... 5、全局数据消重文件系统DDFS. 6、CPU-Centric存储系统... 7、数据无损体系结构... 8、备份与归档一体化... 9、高效的远程数据复制... 4、破解磁盘瓶颈点&

DataDomain

Deduplication

原创 2014-05-15 00:48:09 2297 阅读

PCI9054资料整理

一、PCI9054概述PCI9054是业界广泛使用的一款PCI总线控制器。可以在PCI数据卡以及CPCI、PXI数据卡的设计中使用。下面对PCI9054的资料进行归纳。 PCI9054是PLX公司生产的PCI总线通用接口芯片，采用先进的PLX数据管道结构技术，提供了两个独立的可编程DMA控制器，每个通达均支持块和分散/集中的DMA方式。本地总线可以编程实现8、16、32位的数

PCI

PCI9054

原创推荐 2014-05-14 08:35:59 8280 阅读

基于柯西矩阵的Erasure Code技术详解

一、概述 Erasure Code可以应用于分布式存储系统中，替代多份数据拷贝的数据冗余方式，从而可以提高存储空间利用率。此外，Erasure code还可以应用于传统RAID系统中，增加数据冗余度，支持多块盘同时发生故障，从而可以提高数据可靠性。采用范德蒙矩阵可以构建Erasure code（关于范德蒙矩阵的编解码方法，可以参考文章《基于范德蒙矩阵的Era

RAID

Erasure code

柯西编码

原创 2014-05-12 22:16:47 10000+阅读 1收藏 1评论

PCIe闪存控制器技术解析

一、PCIe-SSD架构解析 PCIe作为CPU的局部总线，最大的特点在于数据传输吞吐量大和延迟低。对于NandFlash固态存储而言，传统磁盘存储领域存在的随机读写问题将不复存在，因此，整个存储系统的瓶颈从存储介质转移到了传输接口上来了。为存储而生的SATA/SAS接口在SSD上的表现不是那么理想了，非常影响IO的传输延迟。为此，显而易见，存储接口应该从传统的SATA/SAS往离CPU

PCIe

闪存控制器

原创推荐 2014-05-10 21:10:35 7647 阅读 1点赞 1评论

EMC收购初创公司DSSD：期待产品发布

在昨天的EMC Word上，EMC宣布收购初创公司DSSD。在未来的几年内一定是flash存储高速增长的时代，那么EMC收购DSSD，扩充自己的flash存储产品线完全满足了自身发展的战略需求。这件事件的背后需要关注的是为什么EMC会收购DSSD公司，而不去收购诸如Skyera之类已经有独特产品的公司呢？众所周知，EMC有自己的flash存储产品线XtreamIO，并且也有基于PCIe的

SSD

DSSD

flash storage

原创 2014-05-06 22:11:00 1392 阅读 2点赞 2评论

EMC产品分析介绍（三）：备份领域的引领者DataDomain （1）

Contents1、概述... 2、开创磁盘备份的新模式... 3、重复数据删除... 4、破解磁盘瓶颈点... 5、全局数据消重文件系统DDFS. 6、CPU-Centric存储系统... 7、数据无损体系结构... 8、备份与归档一体化... 9、高效的远程数据复制... 1、概述

DataDomain

Deduplication

原创 2014-05-05 23:36:32 4736 阅读

基于范德蒙矩阵的Erasure code技术详解

在传统存储领域，随着磁盘容量的不断增大，RAID数据重构时间将会是一个非常严重的问题。大家知道，过长的数据重构时间意味着数据可靠性下降。所以，在RAID设计的过程中，一定要考虑数据重构的时间，并且尽可能的将“无数据保护状态”的时间降到最小。在不改变传统RAID架构前提下，只能通过增加数据冗余度来缓解大容量磁盘引入的超长数据重构时间的问题。这种思路就好比几年前，当RAID5无法满足过长数据重构时间时

Erasure code

原创推荐 2014-05-04 20:57:31 10000+阅读 1评论

SSD固态存储大观（二）

6、NetApp EF540：全闪存阵列过渡版本如果没有充分考虑Flash存储介质的特性，那么研发一款全Flash盘阵也不是什么难事。在硬件上，最简单的方法就是将原来的磁盘替换成SSD盘，在软件上，将传统RAID进行改进，支持Trim资源回收命令即可。这种简单替代型的全Flash盘阵是很多厂商都可以提供的。个人认为这种全Flash盘阵只是一种过渡版本，当真正符合Flash应用

Flsh

SSD盘阵

原创 2014-05-04 00:35:09 2582 阅读 2点赞 2评论

SSD固态存储大观(一)

Contents1、概述... 12、FusionIO：Pcie SSD的始作俑者... 23、Intel PCIe SSD：传统PCIe SSD卡... 34、华为PCIe SSD卡：创新、追求完美... 55、Memblaze: pcie SSD的国产新星... 56、Net

SSD

Flash存储