致谢1 并行计算机系统及结构模型1.1 并行计算在下面的讲解之前，我们先看一下并行计算的量纲。1.1.1 并行计算和计算机科学随着计算机和计算机学科的发展，所有的学科都转向定量化和精确化，因此也出现了很多计算开头的学科，如计算数学、计算物理、计算生物等。目前所有的学科可以归结为三大类：即理论科学、实验科学和计算科学。其中计算科学是一个交叉学科，用计算的方法来解决应用问题，但是其中的问题也暴露出来—
目录模块介绍文章相近模块1、按并行分类（1）阻塞（非并行）（2）批次并行（3）异步2、按传参分类（1）单个任务，任务多参数（2）多个任务，任务单参数（3）多个任务，任务多参数3、按返回分类（1）返回任务返回值（2）返回list（3）返回ApplyResult（4）返回MapResult（5）返回迭代器或生成器（6）无直接返回值模块介绍文章《python 并行计算 multiprocessing、m
CUDACUDA（Compute Unified Device Architecture）是由NVIDIA推出的通用并行计算架构，提供了直接访问GPU虚拟指令集和并行计算单元的软件层。它可以配合使用C、C++和Fortran等高级编程语言进行GPU应用程序的开发，并且兼容多种操作系统。CUDA仅可以应用于NVIDIA的GPU硬件平台。CUDA SDK包含针对NVIDIA GPU的编译器，数学库和调
转载
2023-07-20 17:09:57
62阅读
最近在做hadoop的时候，总结了一些hadoop的一些基本的功能运用和一些基本性能测试，记录一下，希望可以帮助大家，由于输出信息太多，在这里只介绍命令，具体输出信息大家可以自己试验一下。不同的hadoop版本里自带的测试类也不尽相同，我的版本是2.7.3，里面的测试类是hadoop-mapreduce-client-jobclient.jar，有的hadoop版本里面的类名是hadoop-Tes
转载
2023-09-01 08:40:58
59阅读
我们已经知道Hadoop=HDFS（文件系统，数据存储技术相关）+ MapReduce（数据处理）。本章就来学习MapReduce数据处理。MapReduce是什么 MapReduce是现今一个非常流行的分布式处理数据的编程模型。它被设计用于并行计算海量数据。第一个提出该技术框架的是Google公司，而Google的灵感则来自于函数式编程语言。如LISP, S
转载
2023-08-24 01:42:38
69阅读
基于物品的推荐算法算法步骤 已知以上用户对物品的行为，假设点击行为得1分，搜索行为得3分，收藏5分，付款10分。请为用户推荐合适的物品。1、从以上信息构建用户、物品的评分矩阵，如下图2、由以上矩阵构建物品的相似度矩阵 如1号物品和2号物品，算出其第一行和第二行的余弦相似度，即可得出其第1号物品和第2号物品的相似度，最终得出6*6相似度矩阵3、相似度矩阵*评分矩阵=推荐列表 左边是第二步得到的相似度
转载
2023-08-31 21:22:11
35阅读
Python并行计算的优越性——提高计算效率的最佳选择对于许多计算机科学家和数据科学家来说，提高计算效率一直是最热门的话题之一。并行计算是一种技术，可以用来加速计算过程，使其更加高效、快速。在众多的编程语言中，Python是最受欢迎的之一。在Python中，有着一些非常优秀的并行计算库，可以帮助程序员们更加容易地实现并行计算，提高计算效率。下面我们一起来探讨一下Python的并行计算库。什么是并行
转载
2023-08-21 11:00:55
201阅读
本文从使用 GPU 编程技术的角度来了解计算中并行实现的方法思路。
前言 本文从使用 GPU 编程技术的角度来了解计算中并行实现的方法思路。并行计算中需要考虑的三个重要问题 1. 同步问题 在操作系统原理的相关
python的multiprocessing包是标准库提供的多进程并行计算包，提供了和threading（多线程）相似的API函数，但是相比于threading，将任务分配到不同的CPU，避免了GIL（Global Interpreter Lock）的限制。下面我们对multiprocessing中的Pool和Process类做介绍。Pool采用Pool进程池对任务并行处理更加方便，我们可以指定并
转载
2023-07-11 19:20:11
279阅读
1.计算科学与并行计算的提出
随着计算机和计算方法的飞速发展，几乎所有的学科都走向定量化和精确化，从而产生了一系列诸如计算物理、计算化学、计算生物学、计算地质学、计算气象学和 计算材料科学等的计算科学，在世界上逐渐形成了一门计算性的学科分支，即计算科学与工程，简称为CSE(Computational Science & Engineering)。当今，
1.为什么需要并行计算来排序对于大型互联网应用中经常面临对上亿大数据的排序处理等需求，并且上亿大数据量的排序处理能力也是检验分布式系统的计算能力的经典指标之一。通常在单台计算机上的排序算法有插入排序、快速排序、归并排序、冒泡排序、二叉树排序等等。但是如果是上亿规模的数据，也就是大概G以上数量级的排序。超出了单台计算机内存和CUP的能力，实现起来很困难。为了实现上亿的大数据量快速排序，需要考虑利用多
原创
2022-12-06 09:06:26
345阅读
20世纪60年代初期, 由于晶体管以及磁芯存储器的出现, 处理单元变得越来越小, 存储器也更加小巧和廉价。这些技术的发展促进了并行计算机的产生。到80年代蓬勃发展和百家争鸣，再到90年代体系结构框架趋于统一，并行计算机得到突破性的发展。现代计算机的发展历程可以分为2个时代：串行计算时代和并行计算时代。并行计算是在串行计算的基础上发展起来的。并行计算将一项大规模的计算任务交由一组相同的处
主要并行计算机类型：并行向量机– Parallel Vector Processor对称多处理机– Symmetric Multiprocessor大规模并行处理机– Massively Parallel Processor分布共享存储多处理机– Distributed Shared Memory集群或集群系统– Cluster，Cluster of Workstation并行方式：数据并行（分解
原创
2015-03-03 22:11:02
534阅读
前面我们已经介绍过了，Hadoop内部有两个master/slave架构，分别是：namenode+datanode，resourcemanager+nodemanager，分别对应Hadoop的两个核心组件Hdfs和Yarn。你可能已经发现了问题，这两个架构都是单点的，也就是说只要namenode/resourcemanager宕机，那么整个集群就不能工作了，即使可以恢复数据，但是在生产系统中也
转载
2023-07-12 12:39:26
32阅读
python并行运算库 HiPlot is Facebook’s Python library to support visualization of high-dimensional data table, released this January. It is particularly well known for its sophisticated interactive paralle
Spark1、简介2、四大特性2.1 高效性2.2 易用性2.3 通用性2.4 兼容性3、生态架构3.1 Spark Core3.2 Spark Streaming3.3 Spark SQL3.4 Spark MLlib3.5 GraphX4、运行模式 1、简介Apache Spark是一个开源的、强大的、分布式的并行计算框架，是一个实现快速通用的集群计算平台，用于大规模数据处理的统一分析引擎。
转载
2023-08-10 09:56:46
315阅读
目录在了解什么是cuda之前，需要先知道什么是gpu；OK，那么GPU有哪些特性呢？OK，那么什么是CUDA呢？那这里为什是异构计算呢？最后让我们用一个CUDA C的hello world来结束这篇blog。在了解什么是cuda之前，需要先知道什么是gpu； GPU这个概念是由Nvidia公司于1999年提出的。GPU是显卡上的一块芯片，就像CPU是主板上的一块芯片。那么1999年之前显
并行计算(Parallel Computing)是指同时使用多台计算机协同合作解决计算问题的过程，其主要目的是快速解决大型且复杂的计算问题。 图1：计算原理 并行计算是相对于串行计算——即在单个计算机(具有单个中央处理单元)上执行的操作，所提出的。具体的说，并行计算是在多台(并行)计算机上将一个应用任务分解成多个子任务，分配给不同的处理器，各个处理器之间相互协同，同时执行子任务的过
转载
2023-08-10 17:55:28
176阅读
**当问题的自由度和复杂程度比较小的时候，计算速度也许不是什么太大的问题，但当自由度很多，比如几百万个自由度，又有复杂的接触搜索计算时，计算速度就很重要了。我不精通计算机原理，但在百度Windows和Linux上安装使用过32位和64位ABAQUS，也在64位工作站上用Linux并行计算过，对计算速度有一点自己的心得，写出来和大家讨论下，对计算机比较精通的，希望能解释下原理和表达下自己的看法。我认
大数据主要环节： 数据准备--->数据存储和管理--->计算处理--->数据分析--->知识展现在数据存储和管理中，GFS（谷歌文件系统，GOOGLE FILE SYSTEM）和HDFS（Hadoop的分布式文件系统）是奠定了大数据存储技术的基础。GFS/HDFS能避免在数据密集计算中容易形成的输入/输出吞吐量限制，且有较高的并发访问能力，能在大文件的追加写入和读取时能获
转载
2023-07-08 16:26:41
122阅读
