论文地址：http://www.cs.toronto.edu/~hinton/absps/naturebp.pdf 

反向传播已广为人知。我们真正做的是表明了它可以学习有趣的表征，并非我们发明了反向传播，而是重新定义了反向传播。我们提出它可以学习有趣的表征，例如单词嵌入，因此认为反向传播可能比我们在大脑中的效率要高得多。将大量信息挤压到少数几个连接中，而少数几个连接只有几十亿个，因此大脑的问题是连接非常便宜，有数以万亿计的连接， 而经验是非常昂贵的，所以我们倾向于在少量经验上投入大量参数。 

而我们正在使用的神经网络基本上是相反的。它们有很多的经验，并试图把输入和输出的信息联系到参数中。我认为反向传播比大脑使用的方法更有效，但并不擅长从不多的数据中抽象出很多结构。 

Abbeel：对于这方面，你有什么可能获得更好性能的方法的假设吗? 

Hinton：很长时间里我都认为，我们需要无监督目标函数。这里主要是指感知学习，如果你能通过观察世界来学习模型，那你就可以基于这个模型、而非原始数据采取行动，这正确率更高。 

我相信大脑使用了很多局部小的目标函数，它不是一种端到端的系统链，通过训练来优化目标函数。 

举个例子，如果你看张图像的一小块，试图提取些表征，可以将你从那小块图像中得到的表征、与通过附近其他斑块的表征而得到的上下文语境进行比较，由此去预测该图像中有什么。 

一旦你对这个领域很熟悉，这些来自上下文的预测和本地提取的特征通常会一致。如果不一致，你也能从中学到很多。 

我认为大脑可以从这种局部分歧中学到很多东西。可能在你看来，一个大图像和图像的许多小局部斑块意味着很多反馈，即图像中的局部提取和上下文预测的一致。我们可以从这些与上下文预测的一致中得到更丰富的反馈。要做到这一点很难，但我认为现在正沿着这条线发展。 

Abbeel：你对SimCLR这项工作以及它与更普遍的学习的差异有什么看法？你怎么看待最近的MAE（Masked Autoencoders）？它与你刚才的描述有什么关系？ 

Hinton：我所得到的相关有证据表明，这种目标函数是好的。 

我个人没有写过这篇论文，但在很久以前，曾与Sue Becker写过一篇关于从图像的两个不同斑块得到一致表征思考的论文。我认为，那是关于通过在同一图像的两个块表征之间达成一致、来进行自监督学习的想法的起源。 

Abbeel：我们来谈一谈你提到的使用端到端学习反向传播来支持端到端学习的方法。你的意思是，以接近大脑的学习方式，即从更少的数据中学习、提取更多数据，将是在了解大脑运作方式上取得进展的关键。今天，很多人正在努力解决从无标签数据中有效学习的问题，因为它需要的人力更少，但他们仍然使用跟反向传播相同的机制。 

Hinton：我不喜欢MAE的地方在于，你有一些输入补丁，经过多层表征，在网络的输出中试图重建缺失的输入补丁。 

我认为大脑有这些层次上的表征，但每个层都在试图重构下面那个层次的内容。并不是说经历了这么多层再返回，而是有这么多层，每一层都试图重建下一层的东西。在我看来，这更像大脑，但问题在于：如果不使用反向传播，你能做到这一点吗？