思维导图
计算性能提高发展历史
1.20世纪80年代：指令集、编译优化、超标量、多级缓存
2.20世纪90年代：提高时钟频率，提高单线程性能
3.21世纪：多核并行计算
4.当前：计算体系结构创新（规模-从单核向多核转变、架构-各有优势的计算器件组成异构系统）
规模和架构刚好对应并行和异构两个关键词，这也正是当前的研究方向
异构编程发展背景
编程语言设计的两个目标：
1.让编程越来越容易
2.
异构并行计算异构并行计算包括两个方面的内容：异构和并行。异构是指：计算单元由不同的多种处理器组合，如X86 CPU+GPU、ARM CPU+GPU、X86 CPU+FPGA、ARM CPU+DSP等。并行是指：要发挥异构硬件平台的全部性能必须要使用并行的编程方式。通常包含两个层次的内容：多个不同架构的处理器同时计算，要发挥异构系统中所有处理器的性能，可通过并行程序使得每个处理都参与运算，避免处理器
1. 冯.诺依曼计算机架构 1）内存； 存储数据和代码指令； 2）控制单元； 从内存中fetch instruction/data，解码instrution，之后完成编程的任务 3）算数逻辑单元； 完成基本的算数逻辑操作。 4）IO 人机交互的接口。2. flynn 分类并行计算机的分类有很多方法，上图介绍一种由data stream和instrution stream的两个方面对并行计算机进行分
转载
2023-07-12 11:17:38
164阅读
1.计算科学与并行计算的提出
随着计算机和计算方法的飞速发展，几乎所有的学科都走向定量化和精确化，从而产生了一系列诸如计算物理、计算化学、计算生物学、计算地质学、计算气象学和 计算材料科学等的计算科学，在世界上逐渐形成了一门计算性的学科分支，即计算科学与工程，简称为CSE(Computational Science & Engineering)。当今，
当摩尔定律还是行业的铁律时，计算机编程几乎一直都是串行的，绝大多数的程序只存在一个进程或线程。大家还过着“我写个程序，性能达不到就睡个觉，等硬件工艺刷新硬件性能，性能就达标了”的美好生活。2003年以后因为工艺达到了瓶颈，你光“睡觉”是不行了。异构并行计算作为重要技术之一承担起了技术变革的重任。 异构并行计算的本质是把任务分发给不同架构的硬件计算单元(比如说CPU、GPU、FPGA等)，
原创
2021-05-12 13:26:19
1993阅读
并行计算(Parallel Computing)是指同时使用多台计算机协同合作解决计算问题的过程，其主要目的是快速解决大型且复杂的计算问题。 图1：计算原理 并行计算是相对于串行计算——即在单个计算机(具有单个中央处理单元)上执行的操作，所提出的。具体的说，并行计算是在多台(并行)计算机上将一个应用任务分解成多个子任务，分配给不同的处理器，各个处理器之间相互协同，同时执行子任务的过
转载
2023-08-10 17:55:28
176阅读
当深度学习遇上异构并行计算近几年来，以深度神经网络（DNN）为代表的深度学习如火如荼，深度学习的研究领域从开始的图像识别（如imagenet比赛）到现在的自然语言处理，几乎有席卷一切机器学习研究领域的趋势。对于深度神经网络的训练来说，通常网络越深，需要的训练时间越长。对于一些网络结构来说，如果使用串...
转载
2015-06-21 11:17:00
119阅读
2评论
思维导图
计算性能提高发展历史
1.20世纪80年代：指令集、编译优化、超标量、多级缓存
2.20世纪90年代：提高时钟频率，提高单线程性能
3.21世纪：多核并行计算
4.当前：计算体系结构创新（规模-从单核向多核转变、架构-各有优势的计算器件组成异构系统）
规模和架构刚好对应并行和异构两个关键词，这也正是当前的研究方向
异构编程发展背景
编程语言设计的两个目标：
1.让编程越来越容易
2.
大数据主要环节： 数据准备--->数据存储和管理--->计算处理--->数据分析--->知识展现在数据存储和管理中，GFS（谷歌文件系统，GOOGLE FILE SYSTEM）和HDFS（Hadoop的分布式文件系统）是奠定了大数据存储技术的基础。GFS/HDFS能避免在数据密集计算中容易形成的输入/输出吞吐量限制，且有较高的并发访问能力，能在大文件的追加写入和读取时能获
转载
2023-07-08 16:26:41
122阅读
并行算法的一般概念并行算法的定义并行算法是适合于在各种并行计算机上求解问题和处理数据的算法。它是一些可同时执行的诸进程的集合，这些进程相互作用和协调动作从而达到对给定问题的求解。并行算法分类数值计算：基于关系的一类运算。如矩阵运算，多项式求解。非数值计算：基于比较关系的一类运算。如排序、选择、搜索、匹配、图论。同步运算：某些进程必须等待别的进程（结果）的一类运算。异步运算：某些进程的执行不必等待别
转载
2023-08-14 16:42:19
118阅读
并行计算概论 传统上来说，串行计算是指在单个计算机(也就是单个中央处理单元)上执行一系列指令解决问题，但其中只有一种指令可提供随时并及时的使用。并行计算就是在此基础上演变而来的。并行计算是指同时利用多种计算资源解决计算问题的过程。所谓多种计算资源，是指计算资源应包括一台配有多处理器(并行处理)的计算机、有专有编号的多个与网络相连的计算机，或者两者结合使用。并行计算的主要好处能够使用多个相对“廉价”
参考书：《计算机体系结构量化研究方法》 作者：John L. Hennessy一、基本概念几乎所有处理器都使用流水线来重叠指令的执行过程，以提高性能。由于指令可以并行执行，所以指令之间可能实现的这种重叠称为指令级并行（ILP）。 ILP大体有两种不同开发方法依靠硬件来帮助动态发现和开发并行依靠软件技术在编译时静态发现并行基本块：一段顺序执行代码，除入口外没有其他转入分支，除出口外没有其他转出分支
致谢1 并行计算机系统及结构模型1.1 并行计算在下面的讲解之前，我们先看一下并行计算的量纲。1.1.1 并行计算和计算机科学随着计算机和计算机学科的发展，所有的学科都转向定量化和精确化，因此也出现了很多计算开头的学科，如计算数学、计算物理、计算生物等。目前所有的学科可以归结为三大类：即理论科学、实验科学和计算科学。其中计算科学是一个交叉学科，用计算的方法来解决应用问题，但是其中的问题也暴露出来—
# 教学：GPU并行计算架构实现
## 1. 流程概述
首先我们来看一下实现GPU并行计算架构的整个流程，我们可以用一个表格展示出来：
| 步骤 | 内容 |
| --- | --- |
| 1 | 安装CUDA工具包 |
| 2 | 编写CUDA代码 |
| 3 | 编译CUDA代码 |
| 4 | 运行CUDA程序 |
## 2. 详细教学
### 步骤1：安装CUDA工具包
首先，你需
计算机系统漫游1、并发和并行 并发：指一个同时具有多个活动的系统 并行：指的是用并发来使一个系统运行的更快。2、计算机三个层次实现并发和并行 （1）线程级并发 （2）指令级并行 通过借助于流水线（pipelining）技术，将执行一个指令所需要的活动划分为不同的步骤，将处理器的硬件组织成一系列的阶段，每一个阶段执行一个步骤，这些阶段可以并性地操作。 （3）单指令、多数据并行 允许一条指令产生多个可
这篇文章主要写给我们这些非计算机专业的又要写程序、实现算法的人，有的连多线程都不会，所以这里就说些不需要大篇幅修改程序就可以简单实现的并行计算。 这边把并行计算分为2类，基于CPU的多线程处理、基于异构架构的并行计算（如GPU等）。基于CPU的主要有：OpenMP、TBB、PPL、Parallel、IPP等，基于异构的并行计
Python并行计算的优越性——提高计算效率的最佳选择对于许多计算机科学家和数据科学家来说，提高计算效率一直是最热门的话题之一。并行计算是一种技术，可以用来加速计算过程，使其更加高效、快速。在众多的编程语言中，Python是最受欢迎的之一。在Python中，有着一些非常优秀的并行计算库，可以帮助程序员们更加容易地实现并行计算，提高计算效率。下面我们一起来探讨一下Python的并行计算库。什么是并行
转载
2023-08-21 11:00:55
201阅读
python的multiprocessing包是标准库提供的多进程并行计算包，提供了和threading（多线程）相似的API函数，但是相比于threading，将任务分配到不同的CPU，避免了GIL（Global Interpreter Lock）的限制。下面我们对multiprocessing中的Pool和Process类做介绍。Pool采用Pool进程池对任务并行处理更加方便，我们可以指定并
转载
2023-07-11 19:20:11
279阅读
EasyMR简介一个并行计算软件框架基于此框架的软件可以运行在多台计算机组成的计算集群上，并且每个计算机的计算任务也是多线程方式并行进行的，对于处理复杂的业务和巨量数据时非常用于。有着MapReduce血统的任务调度监控中心EasyMR的作业会由Mgr平台根据Key集切分成若干个数据集，通过RTP通信协议分配到计算Cell上，Mgr同时负责监控Cell上运行情况。任务脚本管理运行管理平台支持基于C
转载
2023-07-24 23:50:04
74阅读
1.为什么需要并行计算来排序对于大型互联网应用中经常面临对上亿大数据的排序处理等需求，并且上亿大数据量的排序处理能力也是检验分布式系统的计算能力的经典指标之一。通常在单台计算机上的排序算法有插入排序、快速排序、归并排序、冒泡排序、二叉树排序等等。但是如果是上亿规模的数据，也就是大概G以上数量级的排序。超出了单台计算机内存和CUP的能力，实现起来很困难。为了实现上亿的大数据量快速排序，需要考虑利用多
原创
2022-12-06 09:06:26
345阅读
