在当地时间11月28日，美国拉斯维加斯举办的AWS(Amazon Web Services)产品发布会中，CEO Adny Jassy 在宣布的十多个产品中居然也包括有一个用于智能赛车比赛的产品 AWS DeepRacer，计划建立全球自动小车比赛联盟，开放给任何人参加比赛。看看这款1/18的四轮赛车车模如下配置，主要的传感器包括有一个400万像素的摄像头。车模售价$399，明年三月份上市。
^AWS 宣布的比赛智能车模硬件配置^
None
现在这款车模中的增强学习算法可以借助于亚马逊的DeepRacer 云平台中SageMaker提供的强化学习(Reinforce Learning) 进行训练学习。看来智能车模比赛正在快速变得更深。
什么是强化学习，它具体如何实现，将来会推文介绍。那么使用强化学习训练处来的车模究竟跑的怎么样呢？
下面的动图是采集自参赛同学的哥哥在产品发布现场看到的演示：
经过RL训练后的车模运行情况1
经过RL训练后的车模运行情况2
估计所有看到这款使用AI训练的车模在这样的环境中跑车这样，不免有些失望。车模上还配置了那么强大的处理器和传感器，为何仅仅跑成这个样子？国内的智能车竞赛的车模在同样的赛道上估计早就把他甩到十万八千里了。
这个车模对于赛道的识别和控制规律都是在AWS DeepRacer 3D 仿真环境下，通过增强模型训练处来的。
通过在仿真赛道上进行评估，对强化学习中的Q函数以及网络参数进行细调，重新训练提高运行速度。
最终将训练后的模型下载的模型车模完成现场的运行和演示。
由于这个跑车在之前没有在实际物理系统中运行过，所有的识别和控制算法都是通过后天练习而得到的，所以跑成这个样子已经是奇迹了。
现在有一个问题：
训练跑成这样，这是智能吗？
小羊在出生后一个小时就会奔跑了，而人类的婴儿需要长到三个月才能够抬起头了。如果从早起运动来看，人类的婴儿几乎没有任何生存能力。
对于小羊来说，运动能力获得来自于其神经系统固化了的本能，而人类的运动本领则通过后天在于环境的交互过程中学习而来的，这是两者之间的区别。
这就是我们定义的智能吗?
如果非要这样定义的话，现在全国大学智能汽车竞赛中的所有算法都是帮助车模建立的先天本能，相当于会跑的小羊。而前面演示的车模，虽然跌跌撞撞，但的确是通过增强学习而得到的，相当于人类的婴儿。
不过需要说明的是，前面的车模训练是在虚拟环境下进行的。如果不是这样，这个车模在跑散架之前也不会学到任何能力。所以前面所讲到的车模自学习，也只是形式上的事情，不是真的在实际中学到的。
因此，可以将这种在虚拟环境下的训练看成对于对车模编程的另外一种表示：即使用一种非常笨拙的，愚蠢的网络方式将控制技能预先教给车模，即存储在车模里。虽然看起来没有为车模控制专门编写一行代码，但实质上只是偷偷的换了一种形式而已。
而相反，国内现在的车模比赛，同学们则是通过自己的大脑，将这些规则通过精确、简练的算法编程在车模里，使得它在及其有限的资源下非常高效的运行。跑得如此之快，以至于最终决定比赛胜负需要靠优化车模的机械结构和轮胎来达到了。
但对于前面通过增强学习的方式来训练车模，由于效率的低下，所以只能靠慢慢的调参来提高，即使不得不购买AWS提供的云端强大的运算资源，估计所能够达到的效果也只能够是前面动图中所显示的那样，比较蹩脚的奔跑。远达不到一个需要调整机械和轮胎来提高车模速度的程度。
因此，将来比赛中，你是愿意为车模极速奔跑而做一个调整机械结构和打磨轮胎的智能车赛手，还是愿意做一个使用增强学习训练车模运行的一个调参码农呢？
下面是发来上述信息的同学在公众号中的留言：
今天我哥在现场参会，他知道我对智能车感兴趣，所以特地跟我视频看他们调试。跑得确实不快而且不稳，我还以为是在training，问了现场人员才知道小车上已经在运行pre-trained model了（当然很有趣的是他们是在模拟器里预训练的）。虽然这样一看远不如我们的智能车比赛，但毕竟从控制决策的角度而言，可能一行代码也不需要写。由于使用了reinforcement learning，所以也不需要大量的人工标注。或许在足够的training以后，最后的model可以远远超出人工规则的性能。
当然aws此举应当主要还是推广其sagemaker和robomaker等服务，但也许这正将是未来的机器人计算形态。看到249刀的价格我不禁感叹，我们当年花费了比这多的多的钱，最后为了追求速度，时间也都花在了调机械磨轮子上，好多队员也因为后面的调试枯燥无味，放弃了比赛。看到这个平台我就想，如果我们设立一个组别，让比赛场景和任务复杂起来，最终以小车完成的任务多少或闯过多少关来评判分数，这将可以让学生更多地把时间用在提高小车的“智能水平”上，而不仅是机械和电路等性能上。毕竟，自动化不仅仅是控制理论的自动化，未来更应当是感知与决策的自动化。
来源：CSDN
作者：卓晴
链接：https://blog.csdn.net/zhuoqingjoking97298/article/details/104135156