1. 冯.诺依曼计算机架构 1）内存； 存储数据和代码指令； 2）控制单元； 从内存中fetch instruction/data，解码instrution，之后完成编程的任务 3）算数逻辑单元； 完成基本的算数逻辑操作。 4）IO 人机交互的接口。2. flynn 分类并行计算机的分类有很多方法，上图介绍一种由data stream和instrution stream的两个方面对并行计算机进行分
转载
2023-07-12 11:17:38
164阅读
1.计算科学与并行计算的提出
随着计算机和计算方法的飞速发展，几乎所有的学科都走向定量化和精确化，从而产生了一系列诸如计算物理、计算化学、计算生物学、计算地质学、计算气象学和 计算材料科学等的计算科学，在世界上逐渐形成了一门计算性的学科分支，即计算科学与工程，简称为CSE(Computational Science & Engineering)。当今，
计算机系统漫游1、并发和并行 并发：指一个同时具有多个活动的系统 并行：指的是用并发来使一个系统运行的更快。2、计算机三个层次实现并发和并行 （1）线程级并发 （2）指令级并行 通过借助于流水线（pipelining）技术，将执行一个指令所需要的活动划分为不同的步骤，将处理器的硬件组织成一系列的阶段，每一个阶段执行一个步骤，这些阶段可以并性地操作。 （3）单指令、多数据并行 允许一条指令产生多个可
并行计算概论 传统上来说，串行计算是指在单个计算机(也就是单个中央处理单元)上执行一系列指令解决问题，但其中只有一种指令可提供随时并及时的使用。并行计算就是在此基础上演变而来的。并行计算是指同时利用多种计算资源解决计算问题的过程。所谓多种计算资源，是指计算资源应包括一台配有多处理器(并行处理)的计算机、有专有编号的多个与网络相连的计算机，或者两者结合使用。并行计算的主要好处能够使用多个相对“廉价”
并行计算(Parallel Computing)是指同时使用多台计算机协同合作解决计算问题的过程，其主要目的是快速解决大型且复杂的计算问题。 图1：计算原理 并行计算是相对于串行计算——即在单个计算机(具有单个中央处理单元)上执行的操作，所提出的。具体的说，并行计算是在多台(并行)计算机上将一个应用任务分解成多个子任务，分配给不同的处理器，各个处理器之间相互协同，同时执行子任务的过
转载
2023-08-10 17:55:28
176阅读
大数据主要环节： 数据准备--->数据存储和管理--->计算处理--->数据分析--->知识展现在数据存储和管理中，GFS（谷歌文件系统，GOOGLE FILE SYSTEM）和HDFS（Hadoop的分布式文件系统）是奠定了大数据存储技术的基础。GFS/HDFS能避免在数据密集计算中容易形成的输入/输出吞吐量限制，且有较高的并发访问能力，能在大文件的追加写入和读取时能获
转载
2023-07-08 16:26:41
122阅读
这篇文章主要写给我们这些非计算机专业的又要写程序、实现算法的人，有的连多线程都不会，所以这里就说些不需要大篇幅修改程序就可以简单实现的并行计算。 这边把并行计算分为2类，基于CPU的多线程处理、基于异构架构的并行计算（如GPU等）。基于CPU的主要有：OpenMP、TBB、PPL、Parallel、IPP等，基于异构的并行计
并行算法的一般概念并行算法的定义并行算法是适合于在各种并行计算机上求解问题和处理数据的算法。它是一些可同时执行的诸进程的集合，这些进程相互作用和协调动作从而达到对给定问题的求解。并行算法分类数值计算：基于关系的一类运算。如矩阵运算，多项式求解。非数值计算：基于比较关系的一类运算。如排序、选择、搜索、匹配、图论。同步运算：某些进程必须等待别的进程（结果）的一类运算。异步运算：某些进程的执行不必等待别
转载
2023-08-14 16:42:19
118阅读
致谢1 并行计算机系统及结构模型1.1 并行计算在下面的讲解之前，我们先看一下并行计算的量纲。1.1.1 并行计算和计算机科学随着计算机和计算机学科的发展，所有的学科都转向定量化和精确化，因此也出现了很多计算开头的学科，如计算数学、计算物理、计算生物等。目前所有的学科可以归结为三大类：即理论科学、实验科学和计算科学。其中计算科学是一个交叉学科，用计算的方法来解决应用问题，但是其中的问题也暴露出来—
参考书：《计算机体系结构量化研究方法》 作者：John L. Hennessy一、基本概念几乎所有处理器都使用流水线来重叠指令的执行过程，以提高性能。由于指令可以并行执行，所以指令之间可能实现的这种重叠称为指令级并行（ILP）。 ILP大体有两种不同开发方法依靠硬件来帮助动态发现和开发并行依靠软件技术在编译时静态发现并行基本块：一段顺序执行代码，除入口外没有其他转入分支，除出口外没有其他转出分支
# 教学：GPU并行计算架构实现
## 1. 流程概述
首先我们来看一下实现GPU并行计算架构的整个流程，我们可以用一个表格展示出来：
| 步骤 | 内容 |
| --- | --- |
| 1 | 安装CUDA工具包 |
| 2 | 编写CUDA代码 |
| 3 | 编译CUDA代码 |
| 4 | 运行CUDA程序 |
## 2. 详细教学
### 步骤1：安装CUDA工具包
首先，你需
目录在了解什么是cuda之前，需要先知道什么是gpu；OK，那么GPU有哪些特性呢？OK，那么什么是CUDA呢？那这里为什是异构计算呢？最后让我们用一个CUDA C的hello world来结束这篇blog。在了解什么是cuda之前，需要先知道什么是gpu； GPU这个概念是由Nvidia公司于1999年提出的。GPU是显卡上的一块芯片，就像CPU是主板上的一块芯片。那么1999年之前显
Python并行计算的优越性——提高计算效率的最佳选择对于许多计算机科学家和数据科学家来说，提高计算效率一直是最热门的话题之一。并行计算是一种技术，可以用来加速计算过程，使其更加高效、快速。在众多的编程语言中，Python是最受欢迎的之一。在Python中，有着一些非常优秀的并行计算库，可以帮助程序员们更加容易地实现并行计算，提高计算效率。下面我们一起来探讨一下Python的并行计算库。什么是并行
转载
2023-08-21 11:00:55
201阅读
python的multiprocessing包是标准库提供的多进程并行计算包，提供了和threading（多线程）相似的API函数，但是相比于threading，将任务分配到不同的CPU，避免了GIL（Global Interpreter Lock）的限制。下面我们对multiprocessing中的Pool和Process类做介绍。Pool采用Pool进程池对任务并行处理更加方便，我们可以指定并
转载
2023-07-11 19:20:11
279阅读
EasyMR简介一个并行计算软件框架基于此框架的软件可以运行在多台计算机组成的计算集群上，并且每个计算机的计算任务也是多线程方式并行进行的，对于处理复杂的业务和巨量数据时非常用于。有着MapReduce血统的任务调度监控中心EasyMR的作业会由Mgr平台根据Key集切分成若干个数据集，通过RTP通信协议分配到计算Cell上，Mgr同时负责监控Cell上运行情况。任务脚本管理运行管理平台支持基于C
转载
2023-07-24 23:50:04
74阅读
1.为什么需要并行计算来排序对于大型互联网应用中经常面临对上亿大数据的排序处理等需求，并且上亿大数据量的排序处理能力也是检验分布式系统的计算能力的经典指标之一。通常在单台计算机上的排序算法有插入排序、快速排序、归并排序、冒泡排序、二叉树排序等等。但是如果是上亿规模的数据，也就是大概G以上数量级的排序。超出了单台计算机内存和CUP的能力，实现起来很困难。为了实现上亿的大数据量快速排序，需要考虑利用多
原创
2022-12-06 09:06:26
345阅读
20世纪60年代初期, 由于晶体管以及磁芯存储器的出现, 处理单元变得越来越小, 存储器也更加小巧和廉价。这些技术的发展促进了并行计算机的产生。到80年代蓬勃发展和百家争鸣，再到90年代体系结构框架趋于统一，并行计算机得到突破性的发展。现代计算机的发展历程可以分为2个时代：串行计算时代和并行计算时代。并行计算是在串行计算的基础上发展起来的。并行计算将一项大规模的计算任务交由一组相同的处
主要并行计算机类型：并行向量机– Parallel Vector Processor对称多处理机– Symmetric Multiprocessor大规模并行处理机– Massively Parallel Processor分布共享存储多处理机– Distributed Shared Memory集群或集群系统– Cluster，Cluster of Workstation并行方式：数据并行（分解
原创
2015-03-03 22:11:02
534阅读
转自：http://bitfan.blog.51cto.com/907048/201901 在前面两讲中，基本上介绍完了并行计算基础理论与相关概念，学习不是目的，应用才是。因此，本讲将介绍一个并行计算的例子，并对.NET 4.0的并行扩展作一个总体的介绍。 ======================================================&
python并行运算库 HiPlot is Facebook’s Python library to support visualization of high-dimensional data table, released this January. It is particularly well known for its sophisticated interactive paralle
