随着大数据处理从粗放走向集约，性能、成本、功耗等多方面的约束为大数据系统设计提供了新的机遇与挑战。各种异构并行处理体系结构与芯片架构不断创新并被广泛部署，在为大数据处理提供更强大的并行计算能力的同时，显著降低了系统的总体能耗。然而，这些异构并行处理硬件也给面向大数据处理的编程模型、开发调试与系统构建带来了新的挑战。本专题汇集了国内活跃在一线的系统研究者的7篇文章，从GPU的并发同步、大规模异构数据并行处理、高性能并行存储、大规模稀疏计算、深度学习内存管理、全场景人工智能和语言虚拟机应用等多个视角出发，探讨大数据异构并行系统中存在的新思路、新机遇与新挑战，希望引起读者兴趣，促进该领域研究和实践的蓬勃发展。 张为华等人撰写的《GPU事务性内存技术研究》介绍并对比了GPU上基于软件和硬件的事务性内存实现方案，总结了这些方案在GPU场景中遇到的问题和解决思路，并对GPU事务性内存的未来发展做了展望。 罗圣美等人撰写的《大规模异构数据并行处理系统的设计、实现与实践》设计了一种大规模异构数据并行处理系统，实现了对多种异构数据的查询和存储，能满足多业务应用开发的需要，并通过实际的商业部署验证了系统的可行性。 何晓斌等人撰写的《面向大数据异构系统的神威并行存储系统》从存储架构、转发策略和高可用措施等方面对“神威·太湖之光”的并行存储系统进行了优化和改造，从而更好地实现了大数据计算与异构众核架构的融合，使大数据应用获得了明显的I/O性能提升。 薛巍等人撰写的《面向异构众核超级计算机的大规模稀疏计算性能优化研究》分析了稀疏计算的性能优化挑战，并归纳了3种大规模稀疏处理类应用设计和性能优化上的经验，以期为在新一代异构众核系统上开展大规模稀疏计算问题求解提供借鉴。 金海等人撰写的《深度学习中的内存管理问题研究综述》从内存交换、重计算、内存共享和压缩4项技术出发，对相关研究进行了分类阐述，对其优缺点进行了分析和对比，并对内存管理技术的未来发展趋势进行了探索。 于璠撰写的《新一代深度学习框架研究》描述了华为技术有限公司开源的全场景AI计算框架MindSpore。该框架支持云、边、端全场景部署，并具备自动并行、自动微分、自动调优三大技术优势，在提高深度学习模型训练效率的同时，方便了AI工程师编码和调试的工作，对AI技术的发展和普及有很大的促进作用。 陈海波等人撰写的《大数据场景中语言虚拟机的应用和挑战》从主流语言虚拟机出发，介绍了语言虚拟机在大数据场景中的应用范围和实例，总结了使用语言虚拟机面临的挑战，并分别针对不同挑战讨论了现有的解决方案，最后分析了这些方案的不足之处及未来可能的优化方向。 由于篇幅有限，本专题无法覆盖大数据异构并行系统的各个方面，希望通过阐述该领域面临的机遇和挑战，引起各界的关注，从而促进该领域的研究和实践的发展，并推动该领域的研究成果在不同行业中的应用。
作者简介
陈海波（1982-），男，博士，上海交通大学教授、并行与分布式系统研究所所长，领域操作系统教育部工程研究中心主任，国家杰出青年基金获得者，国际计算机学会（ACM）杰出科学家，中国计算机学会（CCF）杰出会员与杰出演讲者，主要研究方向为操作系统和系统安全。曾获教育部技术发明奖一等奖（第一完成人），全国优秀博士学位论文奖、CCF青年科学家奖。目前担任ACMSIGOPSChinaSys主席、CCF系统软件专业委员会副主任、CommunicationsoftheACM中国首位编委与SpecialSections领域共同主席、ACMTransactionsonStorage编委、《大数据》期刊编委。曾任ACMSOSP2017大会共同主席、ACMCCS2018系统安全领域主席、ACMSIGSAC奖励委员会委员。研究工作获得华为技术有限公司最高个人贡献奖、GoogleFacultyResearchAward、IBMX10InnovationAward、NetAppFacultyFellowship等企业奖励 。
