q函数

A： 1. exit用于结束正在运行的整个程序，它将参数返回给OS，把控制权交给操作系统，exit函数在头文件stdlib.h中；而return 是退出当前函数，返回函数值，把控制权交给调用函数。 2. exit是系统调用级别，它表示一个进程的结束；而return 是语言级别的，它表示调用堆栈的返回。 3. 在main函数结束时，会隐式地调用exit函数，所以一般程序执行到main()结尾时，则结束主进程。exit将删除进程使用的内存空间，同时把错误信息返回给父进程。 4. void exit(int status); 一般status为0，表示正常退出，非0表示非正常退出。 来源： https://www.cnblogs.com/raichen/p/4418859.html

一、多步决策问题和网格迷宫 上一篇文章里讨论多臂赌机问题是单步最优决策问题的对应模型。而在这之后，则可以考虑离散的多步决策问题。离散的多步决策问题，对应的典型问题模型则是网格迷宫(Grid World)。 前文中，ε-greedy策略，softmax策略的原理及其特点得到了讨论。而这些策略，可以看作智能体应对某一状态时选择动作的方式。策略应用的前提，则是智能体对于动作的优劣有着某种估计（无论正确与否）。 当策略应用到多步决策问题上时，如果想要令同样的策略产生作用并选择动作，就需要对系统所处的每一个状态以及对应动作的优劣进行估计。状态价值函数 V(x) (state value function)以及状态-动作价值函数Q(x,a) (state-action value function)也就应运而生了。 图1 Windy Grid World 网格迷宫问题可以描述为智能主体在一个类似棋盘的离散网格空间中学习到达目标点的最优策略的问题。在普通的网格中增加一些变化，添加影响小球运动的风速，即得到Windy Grid World，如图一。智能体在该情况下的移动，受到时不变的风速影响。 状态价值函数与动作-状态价值函数之间的关系可以用Bellman方程得到，具体可参看[1]或者浙江大学的机器学习MOOC。而在算法的具体实现上，往往仅仅需要动作-状态价值函数，即Q函数。 总的思路是