前面讲了如何开展编写规则脚本型Agent（智能体）的方法，现在探究一下如何调用知识型（一般而言的训练出的模型）智能体的方法。
这次调用的是庙算平台的demo（网址见图）
下载了“知识+强化学习型”的压缩包，打开里面，进到【ai_demo】文件夹中是这样的：
这里面的agent.py文件也没什么大变化
import json
import os
import random
from .base_agent import BaseAgent
from .map import Map
from .feature_v1 import features as RL_FEATURE
from ai_demo import config, utils
from .model import PPO
from .select_points_fix_r_v7_2 import SelectPoint as SelectPoint说明中写道
1. 运行所需环境为sdk要求环境，本代码额外需要安装 pytorch，本代码pytorch的版本是2.0.1
2. 本代码包括1个文件夹，2个文件，需要与 train_env 的目录同级
ai_demo 文件夹，提供示例ai智能体
train_red_demo.py 文件，提供与示例ai智能体相匹配的训练示例代码
test_red_demo.py 文件，提供与示例ai智能体相匹配的测试示例代码3. 赛道一的 ai_demo/agent.py 文件106行与136行，有2个todo需要注意；赛道二的 ai_demo/agent.py 文件102，有1个todo需要注意。
调用这个需要pytorch环境2.0.1。
PS，在自己环境上指定版本安装pytorch的命令：
123然后我就奇怪，到底是哪里调用所谓的”训练模型“呢？
于是我发现了model.py这个文件
import torch
import torch.nn as nn
import torch.nn.functional as F
import torch.optim as optim
class Critic(nn.Module):
def __init__(self, state_dim_1, state_dim_2, hidden_dim):
super(Critic, self).__init__()
self.Linear11 = nn.Linear(state_dim_1, hidden_dim)
self.Linear21 = nn.Linear(hidden_dim, hidden_dim)
self.Linear31 = nn.Linear(hidden_dim, hidden_dim)
………………看开头，看起来是这个东西。
里面实现了”演员-评论家“这两个类，并且实现了一个PPO类
然后我找在agnet.py文件里找PPO，发现在102行有如下内容
#### TODO 训练与测试的时候要注释掉, 提交的时候需要
#我方算子max 7
self.model = PPO(state_dim_1=1116, state_dim_2=252, hidden_dim=1024, action_dim=output_space,
gamma=config.float_gamma, lamda=config.float_lam, epochs=1000, eps=0.2, lr=config.float_lr)
self.model.load(itr=213)
###然后发现目录”models“，里面有两个.pth
【Pytorch】一文详细介绍 pth格式 文件_pth文件
转回来，看agent.py文件，这个文件是调用智能体的文件，讲规则智能体的时候我也讲到过
np_bopFeature, np_globalFeature = self.feature.get_feature(observation)
list_ops_what_logprob_value = self.model.total_forward(np_bopFeature, np_globalFeature, list_RedComplexActionMask)
list_ops_what_id = []
for tuple_what_prob_value in list_ops_what_logprob_value:
list_ops_what_id.append(tuple_what_prob_value[0])
assert len(list_ops_what_id) == len(self.list_red_ops_id)
model_actions = utils.cvtModelOutputToEnvActionComplex(list_ops_what_id=list_ops_what_id,
list_red_ops_id=self.list_my_ops_id,
list_my_ops_sub_type=self.list_my_ops_sub_type,
observation=self.observation,
int_seat=self.seat,
list_MovePos=list_MovePos,
Map=self.map,
int_point_num=self.int_point_num)这里看到函数，发现是用来接收观测状态的
self.model.total_forward()而这个函数，就是将模型输出过滤为可执行动作用的
model_actions = utils.cvtModelOutputToEnvActionComplex(#在utils.py文件中
def cvtModelOutputToEnvActionComplex(list_ops_what_id: tuple,
list_red_ops_id, list_my_ops_sub_type,
observation,
int_seat,
list_MovePos,
Map,
int_point_num) -> list:
"""
功能：根据各个算子的动作ID等信息，计算环境可执行的动作
用法：用于网络输出动作之后
:param tuple_RedOperatorsID: RedAction函数的输出，红方各个算子的动作ID
:param list_RedOperatorsIDs:
:param list_RedOperatorsIDs:
:param observation: 主要用于根据算子ID获取obs当前bop类，进行计算路径
:param Map_map: core.utils.map 的 Map 类
:return: list_total_actions 默认值为[], 若非空则内有dict类型的bq可执行动作作为list内的元素
"""最后返回的值就从这个model_actions列表出来
total_actions += model_actions调用完毕。
相关链接：
