今天Google Brain团队的大约十几名成员开源了谷歌研究足球环境，这是一个3D强化学习模拟器，用于训练AI掌握足球。环境可以模拟足球比赛，包括特殊场景，如角球和点球，进球和越位。这一消息发布于今天法国女足世界杯开赛之初，以及谷歌为其Stadia云游戏服务推出定价和游戏的第二天。
“研究人员可以通过互相对抗或通过决定他们的代理人来直接体验游戏的运作方式。游戏可以通过键盘和游戏手柄来控制。此外，在训练时可以自动存储多个渲染质量的重放，因此很容易检查代理正在学习的策略，“研究人员在GitHub上随附的一篇论文中说道。
GitHub上提供了Google Research Football Environment的测试版，其中包括基于Gameplay Football的C ++游戏引擎，这是一款2017年开源的模拟器。
该环境还包括最先进的强化学习算法近端策略优化（PPO），DQN和Impala，以及一组用于训练AI代理的十几种不同场景，研究人员称之为足球学院。
针对特定场景的这种练习环境包括角球，3对1比赛以及与懒惰对手的11对11比赛。在研究论文详细介绍的初步结果中，Impala在5亿步骤的培训中获得了最佳性能
3D模拟器可以考虑球员在球场上的位置和原始像素分析，以找到传球，克服障碍，防守前锋和进球的最佳方式。
通过模拟强化学习已被应用于完成许多具有挑战性的游戏任务，如训练代理人在星际争霸，Quake III，Go和Pong中击败人类，但它也被用于从机器人手臂和腿部控制到在线的一系列工作推荐工具。
