基于

Spark

的分布式机器人强化学习训练框架

方

伟

1,2

，黄增强

3

，徐建斌

4

，黄

羿

1,5

，马新强

1,5

【摘

要】

摘要：强化学习能够通过自主学习的方式对机器人难以利用控制方法

实现的各种任务进行训练完成，有效避免了系统设计人员对系统建模或制定规

则。然而，强化学习在机器人开发应用领域中训练成本高昂，需要花费大量时

间成本、硬件成本实现学习训练，虽然基于仿真可以一定程度减少硬件成本，

但对类似

Gazebo

这样的复杂机器人训练平台，仿真过程工作效率低，数据采

样耗时长。为了有效解决这些问题，针对机器人仿真过程的平台易用性、兼容

性等方面进行优化，提出一种基于

Spark

的分布式强化学习框架，为强化学习

的训练与机器人仿真采样提供分布式支持，具有高兼容性、健壮性的特性。通

过实验数据分析对比，表明本系统框架不仅可有效提高机器人的强化学习模型

训练速度，缩短训练时间花费，且有助于节约硬件成本。

【期刊名称】

《图学学报》

【年

(

卷

),

期】

2019(040)005

【总页数】

6

【关键词】

机器人；强化学习；

Spark

；分布式；数据管道

目前，大多数传统智能机器人系统都是基于精确模型的控制方法，如果实现较

为精准可靠的控制性能则需要花费大量成本预先建立精准模型，且上述机器人

控制模型对于未知环境输入适应性不强。强化学习与传统控制方法相比，无需

建立精准模型，经由大量采样数据训练得到可行的控制模型。但是，强化学习

在模型训练过程中，大量的数据采集需要通过与机器人的交互获得，在使用真

实机器人进行大量数据采样时存在数据获取速度慢、损耗大等问题，特别对于