REINFORCE介绍

强化学习中的策略优化主要有两类：基于价值的方法和基于策略的方法（当然两者的结合产生了 Actor-Critic 等算法）。基于值函数的方法主要是学习值函数，然后根据值函数导出一个策略，学习过程中并不存在一个显式的策略；而基于策略的方法则是直接显式地学习一个目标策略。基于价值的方法主要有DQN，而基于策略的方法有REINFORCE，它是策略梯度方法中最早提出的，也是最简单、最基本的方法。

REINFORCE算法

REINFORCE算法仅使用一个网络，我们可以称之为策略网络。我们使用智能体网络与环境进行一个回合的交互，同时收集所有的轨迹信息，最后使用一个回合所有的交互信息更新策略网络。算法如下：