1、episode的感性理解
强化学习中,episode是个重要的术语。那么episode应该如何理解呢?
An episode is one complete play of the agent interacting with the environment in the general RL setting. Episodic tasks in RL means that the game of trying to solve the task ends at a terminal stage or after some amount of time.
看完上面的解释,应该理解一个episode为是一轮或一个回合,即智能体从开始执行任务,到某个终止阶段,例如结束了任务(成功或失败),或经过了一定时间等等。
两个episode的例子:
(1) 机械手从开始位置到终点目标位置(成功完成任务的一轮过程);
(2) 游戏中智能体被敌人击毙而结束任务(任务失败的一轮过程)
感性理解了episode后,再从强化学习的角度来看episode: 它是智能体从开始执行任务,根据每个时刻的状态和对应的策略,依次选取一系列动作,直至任务终止的一个完整过程,就是一个episode。
2、episode的翻译
episode翻译成汉语确实难以找到一个准确的翻译,有的中文学术论文将episode翻译成了“情节”。不过“情节似乎不太能清晰的表达出episode的过程属性。因此,”这里“an episode”可以理解成“一个回合”,(尽管写论文中可用“情节”),大多数场合都是合适的。