Self-monitoring navigation agent via auxiliary progress estimation，ICLR，2019.
摘要
- VLN任务即一个智能体在真实的未知环境中按照导航指令进行移动。这个具有挑战性的任务要求智能体识别哪些指令已经完成，哪个指令在下一步需要关注，哪条路要走，以及导航距离终点的进程情况。在这篇文章中，我们介绍了self-monitoring智能体，他有两个关键成分：（1）视觉文本协同grounding模型，定位过去完成的指令和接下来要求的指令，以及从周围环境中判断下一步的移动方向。（2）进程监视器，保证已经执行过的指令能够映射到导航进程。该模型在基准数据集上达到sota，且代码开源到：https://github.com/chihyaoma/selfmonitoring-agent.
Motivation
- 本文认为之前的VLN的模型没有考虑到指令的进度问题。所以本文提出的这个agent考虑三个问题，哪些已经完成，哪些将要进行，朝着哪个方向进行，以此来完成进度的检测监督工作。
Self-monitoring agent
-
由四个部分组成：
（1）textual grounding。判断指令中已经完成和将要完成的部分。使用位置编码器PE(·)。
（2）visual grounding。汇总目前周围的环境图像。使用单层的多层感知机(MLP)。
（3）progress monitor。将已经执行的指令映射到导航进程。接受三个输入，分别是历史的路径信息，当前周围环境的观测，以及指令对应的目前的位置。
（4）action selection。判断将要前进的方向。使用单层的多层感知机，使用student-forcing而不是ground-truth。 -
使用交叉熵损失和平方误差损失作为loss：
实验结果
来源：CSDN
作者：yyyyyyyyXu
链接：https://blog.csdn.net/qq_40711769/article/details/104755518