Unity Machine Learning Agents (ML-Agents) 是一款开源的 Unity 插件,使我们得以在游戏和其它模拟环境中训练智能的 agent。你可以使用 reinforcement learning(强化学习)、 imitation learning(模仿学习)、neuroevolution(神经进化)或其他机器学习方法 通过简单易用的 Python API 对 Agent 进行训练。
ML-Agents 对于游戏开发者和 AI 研究人员双方 都有利,因为它提供了一个集中的平台, 可以在 Unity 的丰富环境中评估 AI 的进步情况, 然后提供给更广泛的研究和游戏开发者社区。
更加详细的介绍在GitHub中。
ML-Agent环境搭建
ML-Agent目前不能直接在Unity中配置,需要在github上下载之后手动导入。
下载解压之后如图:
是Unity端的安装包
com.unity.ml-agents:包含将集成到 Unity 项目中的 Unity C# 开发工具包。此软件包包含一个示例,以帮助您开始使用 ML-Agents。
com.unity.ml-agents.extensions:包含实验性的 C#/Unity 组件,这些组件尚未准备好成为基础包的一部分,直接依赖于com.unity.ml-agents。
是python端的安装包
ml-agents-envs是python和Unity进行通信的环境,包含用于与Unity场景交互的Python API。它是一个基础层,有助于在 Unity 场景和 Python 机器学习算法之间进行数据消息传递。
ml-agents是算法的实现,包含机器学习算法,使您能够在 Unity 场景中训练行为。ML 代理的大多数用户只需要直接安装 。
gym-unity是给openai的gym用的(这个暂且按下不表)),为Unity场景提供一个支持OpenAI Gym界面的Python包装器。
以下安装根据官网提供的入门指南目录进行的安装
1、Python端安装
我使用的是conda虚拟环境,步骤为:
1、创建unity环境并进入该虚拟环境(环境使用Python 3.6 到 Python 3.8)
2、在虚拟环境中安装Tensorflow
CPU版本安装:pip install tensorflowGPU版本安装:pip install tensorflow-gpu # 需要配置好cuda版本
如果安装失败,可以自己下载wheel文件,离线安装:tensorflow-gpu · PyPI
最新的ML-Agents可能需要安装Pytorch:PyTorch
3、定位到ml-agents-envs的目录下,执行pip install -e.
4、定位到ml-agents目录,同样执行pip install -e.
5、安装完之后输入mlagents-learn --help查看是否安装成功
2、Unity端安装
我使用的是Unity2021.3.11版本,步骤为:
1、新建一个项目,项目打开之后点windows菜单,找到Package Manager
2、点击左上角的小加号,选择从本地磁盘安装,如图
3、定位到com-ml-agents安装包的位置,打开里面的JSON文件(package.json)
4、在左下角的packages中能看到ML-Agents就安装成功了,可能会出现警告,但不影响
官网安装教程如下如下:
到这环境就搭建好了,接下来可以制作强化学习训练环境啦