在 4 月 26 日至 5 月 1 日举行的国际表征学习大会 ICLR 2020 期间，深度学习三巨头中的 Yoshua Bengio 和 Yann LeCun 表示，自我监督学习可能会让 AI 在推理上更像人类，他们坦率地谈到了一些最新的研究趋势。
监督学习需要在标记的数据集上训练人工智能模型，LeCun 认为随着自我监督学习的广泛应用，监督学习的作用将越来越小。自监督学习算法不依赖注释，而是通过暴露数据各部分之间的关系，从数据中生成标签，这一步骤被认为是实现人类智能的关键。
图｜深度学习三巨头（来源：Fortune）
“我们作为人类学习的大部分知识和动物学习的大部分知识都是在自我监督的模式下，而不是强化的模式。基本上是通过观察世界，并与之进行一些互动，主要是以独立于测试的方式进行观察，这是我们不知道如何用机器复制的（学习）类型。”
但不确定性是阻碍自主学习成功的主要障碍。
深度学习里的 “ 特征分布 ” 至关重要，它们能将变量的每个可能值与该值出现的概率联系起来，也能很好地表示变量离散的不确定性，这就是为什么像 Google 的 BERT 模型这样的架构会比较成功的原因。
不幸的是，研究人员还没有找到一种有效的方法来表示变量是连续的分布，也就是说，它们只能通过测量获得。
LeCun 指出，解决连续分布问题的一种方法是基于能量的模型，它学习数据集的数学元素，并尝试生成类似的数据集。从历史上看，这种形式的生成性建模很难实际应用，但最近的研究表明，它可以适应复杂拓扑的缩放。
Bengio 认为，人工智能在神经科学领域将大有裨益，尤其是对意识和意识加工的探索。这是双向的，一些神经科学家正在使用卷积神经网络（一种非常适合图像分类的AI算法）作为视觉系统腹侧流的模型。他预测，新的研究将阐明高级语义的方式变量与大脑如何处理信息（包括视觉信息）有关。这些变量是人类使用语言交流的事物，它们可能会促进新一代深度学习模型的演变。
“通过把扎根式语言学习之类的方法结合在一起，我们可以取得很多进步，努力理解一个世界的模式以及高水平的概念是如何相互关联的。我相信，人类意识的处理是利用关于世界可能如何变化的假设，这种假设可以方便地作为高级表示来实现。这些变化可以通过干预来解释，或者对正在发生变化的事物进行解释。”Bengio 说。
图｜自我监督学习识别环境中的实物（来源：Facebook AI ）
此外，人类智力拼图中另一个缺失的部分是背景知识。LeCun 解释说，大多数人可以在 30 小时内学会驾驶汽车，因为他们已经用直觉建立了对汽车行为的物理模型。相比之下，如今的自动驾驶汽车上采用的强化学习模式从零开始——在找出哪些决策无害之前，机器必须犯下数千个错误。
显然，我们需要一个能够快速学习真实世界的模型，而这正是自我监督学习运行预测模型的存在原因，该模型将使系统能够通过使用该模型快速学习，从概念上讲，它似乎很简单，除了在我们无法完全预测的不确定环境中。
LeCun 认为，即使是有不断完善的自我监督学习和从神经生物学中学到的知识加持，目前也不足以实现通用人工智能（AGI），或者具有能够理解或学习任何任务能力的机器的假想智能。这是因为智力——尤其是人类的智力研究——是非常专业和深奥的。
“AGI 并不存在，我们可以谈论老鼠级智能、猫级智能、狗级智能或接近人类的部分智能，但不能谈论通用人工智能。”LeCun 说。
不过 Bengio 相信，最终，机器将具备获取有关世界的各种知识的能力，而不必真实经历这些知识，很可能是以口头知识的形式。
他说：“对于人类或其他动物而言，我认为这是机器智能的一个很大优势。例如，深度学习正在以一种美丽的方式扩展，这是它最大的优势之一，但人类文化是我们如此聪明、能够理解世界诸多问题的一个巨大原因……为了让人工智能在现实世界中有用，我们需要的不止是一个翻译机器，而是能真正理解人类自然语言的机器。”
参考：
https://venturebeat.com/2020/05/02/yann-lecun-and-yoshua-bengio-self-supervised-learning-is-the-key-to-human-level-intelligence/
来源：oschina
链接：https://my.oschina.net/u/4373202/blog/4264223