为什么真正的神经元学习速度更快

引言

本文的前提是我在 2017 年 12 月发表的关于神经模式和赫布理论概述的上一篇文章，该理论普遍认为一起放电的神经元会连接在一起。

本文的目的是更深入地探讨人工神经网络与真实神经系统之间的差异，并理解为什么自然网络表现更好。

问题

人脑只需少量样本就能学习和识别一个物体。动物只需要一次经历就能记录危险并下次避免。同时，机器学习系统可能需要一百万个样本才能记住一张猫的图像。我们哪里做错了？

首先，让我们看看我们是如何设计一个手写识别系统的。我们需要向深度学习算法提供数百个样本（数字或字母）才能获得字符识别。

       

人工神经网络的作用

基于大量的输入样本，深度学习网络会调整其内部参数（感知器的权重，这基本上会创建与大脑类似的内部模式），以便相似的输入产生相同的输出。这有点像具有相同形状的输入的平均值。即使我们向网络提供一个不在输入集中的数字，该系统仍然能够识别它，如果它与输入数据中的某个相似。对于每个字母，系统会通过（通过数学调整其内部参数）在其形状周围构建一个容差区域，在该区域内相同的输出仍然会触发。

基本上，我们提供足够的样本，直到我们通过创建人工内部模式将输入神经元映射到相同的输出。

自然网络的作用？

对于单个输入，由于自然神经元的设计（见下文），相似的容差区域在第一次传递中就会形成。执行相同任务的相似神经元在皮层中被分组在同一区域，就像将眼睛前方的景象映射到显示器的像素一样。

当图像被记录时，不仅仅是被触发的确切神经元被映射，它们还会向附近的神经元发送信号，这些神经元处于兴奋状态，但不会进一步发送信号（突触不足以克服动作电位的阈值）。这就像化学连接已经完成到附近的神经元，但这个神经元没有被触发，因为它没有被映射到输入神经元（现有图像中的像素），并且它不够兴奋以产生自己的化学物质。但如果信号来自未来相似的图像，它可能会被触发，并会找到来自旧的附近神经元的化学连接，同时产生自己的连接，并触发一个已有的输出（旧图像模式的一部分）。

由于突触数量众多，最初生成的模式非常庞大，并且由于其规模不易改变。

当然，这个解释纯粹是直观的，但很明显这个因素对更快的学习起着决定性的作用。

神经元的邻近性

当然，它们的三维设计也使得这一切成为可能。

在当前的人工神经网络设计中，单个样本会创建一个直接与确切输入神经元关联的单个模式。发送到训练网络的第二个样本即使与第一个样本非常相似，也不会被识别。少量共同的输入神经元不会触发相同的输出。

解决方案

我们真正需要的是重新设计神经网络，使单个样本创建的不是单个内部模式，而是输入周围的模糊容差区域以及映射到它们的模式集，这些模式将为相似样本触发相同的输出。

也许我们需要的不是反向传播，而是考虑图论，或者我们需要更多地关注三维设计和神经形态计算。

当前设计的缺点

如果我们看上面的深度学习图，我们可以看到一个明显的缺陷（并非真正的缺陷，而是我们进化设计的一部分）。我们可以看到同一层的神经元没有连接。在任何真实网络中都不会发生这种情况。

此外，真实网络在这个层面不是分层的。确实有神经元层，但不是为了它们的基本任务。即使有一些高级设计，如循环神经网络（RNN），它们以略有不同的方式连接感知器，我们仍然没有达到。当前架构仅限于狭窄的处理，并且需要太多输入样本。它需要更多地调整以适应真实设计并考虑邻近性。深度学习表现出色，但它只是设计进化的一部分。

我确信这一突破将在 10 年内发生，雪球已经滚动了。

错误的关注点

在我们尚未理解或模仿由 302 个神经元组成的秀丽隐杆线虫的神经系统时，我们却做了以下事情：

• 我们设计了 AGI 的子系统——意识或道德模块、个性、规则等。
• 我们创建组织来监管赛博格。
• 我们非常害怕赛博格抢走我们的工作。
• 我们只是像人脑一样把数十亿个晶体管放在一起，却期望它们能像人一样行事（请不要这样）。
• 我们还用数十亿页的文字训练深度学习，却期望系统能像人一样思考（这一点我稍后会再谈）。
• 我们制造越来越多的芯片，将当前的临时模型转移到硬件上。
• 我们害怕机器学习存在偏见，而不是意识到统计结果的提供方式以及我们如何使用它们。偏见是使用的问题，而不是统计的问题。

相反，我们不做：

• 废寝忘食地研究秀丽隐杆线虫的神经系统。
• 模拟那 300 个神经元，直到获得类似的结果（软件和硬件）。
• 理解神经递质及其对整个网络的影响——它们充当加速器，或者使整个网络变慢并产生不同。
• 构建数百万个神经元数学和拓扑模型，直到我们修复有缺陷的设计。
• 创建基于模式的数学模型，可能将数学从求和和函数转移到图论。
• 专注于如何在同一个网络上训练不同的模型。
• 专注于如何制造思考机器，重用输出和奖励作为输入。
• 使神经网络能够同化真实概念。
• 创建一个原始语言来提取或修改神经网络中的数据。
• 研究天生盲聋的人如何仍然能够理解世界并学习语言。
• 等等。

我们正处于自行车时代，梦想着到达月球，但还没有设计出发动机。相反，我们试图制造更大的自行车或为其增加更多的喇叭。

我们在冯·诺依曼架构上所做的一切只是研究。从实际角度和使用来看，这是浪费资源。复杂性是游戏的一部分，我们添加的神经元越多，这些系统就会表现得越好。对于高度智能系统，我们确实需要很多。

这需要成千上万次的尝试和多年的失败，因为一个细节的缺失或错位就可能导致完全不同的行为（模型与大脑）。但最终，我们将获得相同的功能。

自然语言处理 (NLP)

天生失聪的人仍然可以学会说话。他们仍然可以理解世界。他们的大脑仍然能够建立对真实世界物体的内部概念和表征。

如果我们向机器输入数十亿页的文本，它是否能思考？想象一个聋哑人看到另一个人。视觉表征将手臂、身体、头部和所有其他身体部位组合起来。输入数据中有任何页面描述了这一点，使得这些概念不会保持分离吗？是否有足够的页面将通过其他感官和方法连接的所有概念组合起来？

这里有很多问题，但很明显，词语和词语的联想应该以概念、联系、记忆、历史等为双重支撑，才能获得比自动回复更多的东西。但为此，我们需要一台思考机器，我们还没有基础。

AGI 和意识

正如罗伯特·福特博士在《西部世界》中所说，机器不会出现一个转折点而变得有意识。慢慢地，与机器的交流将达到足够高的标准，我们将对它们产生共情，并将它们视为不同的生命。想想今天的助手。它们一开始会显得很愚蠢，但会随着时间的推移而改进。奇点将与NLP 标准和新的图灵测试相关，就像DARPA设想的那样。

在舞台上，一位女士坐到钢琴前。她

1. 坐在长凳上，她的妹妹正在玩洋娃娃。
2. 随着音乐的播放，她对某人微笑。
3. 在人群中，看着舞者。
4. 紧张地将手指放在琴键上。

可能不会有 AGI，只有 ASI，我们设计的每个子系统都比类似的真实系统表现更好。当它们结合在一起时，该系统将在许多领域超越人类。

结论

我已尝试在上面添加一些有趣的讲座的超链接。我还想补充一项今天推动事物前进的最佳努力，即Lex Fridman 在 MIT 的视频。

没人知道是否会迎来另一次 AI 寒冬，但肯定的是，情况与 30 年前不同。在此之前，我们需要专注于基础：让人工神经元像真实神经元一样工作。