强化学习中的策略优化主要有两类：基于value价值的方法和基于policy策略的方法（当然两者的结合产生了 Actor-Critic 等算法）。基于值函数的方法主要是学习值函数，然后根据值函数导出一个策略，学习过程中并不存在一个显式的策略；而基于策略的方法则是直接显式地学习一个目标策略。
value-based方法是先通过计算出值函数，然后再求策略；policy-based方法则是直接计算策略，更加直接，收敛速度更快，但是也更容易达到局部最优。
value-based方法方差小，但偏差大，而policy-based方法无偏差，但方差大。
value-based方法一般用来解决离散动作问题，policy-based方法一般用于解决连续动作问题。
value-based方法常见的有：sarsa、q-learning、DQN
policy-based方法常见的有：policy-gradient思想下属的REINFORCE算法，它是策略梯度方法中最早提出的，也是最简单、最基本的方法。
