这项研究于2024年由Li Zhuoheng，Toma Marinov，Adel Bibi，Adel Bibi，Adel Bibi，Bernhard Scholkopf和剑桥大学的Jure Leskovec发表。对详细知识感兴趣的读者可以在相关的学术平台上找到这篇题为“文献中链的推理的外观”的全文。说到人工智能，许多人有这个问题。机器真的可以像人类一样想到它们吗？当发现复杂的问题时，它解决了数学问题，它首先列出已知条件，然后逐步分析它们，并逐渐得出答案。最近，剑桥大学的一个研究团队发现了令人兴奋的现象。神经网络可以自发地学习这种能力。这一发现就像看到一个孩子突然在没有指导的情况下开始解决问题。研究人员喜欢这种现象“思想链的推理”。简而言之，这是系统的方式学会以小步骤打破复杂的问题，然后一一将它们分解。更令人惊讶的是，该功能不是由程序员专门安排的，而是在神经元网络学习过程中出现的。 ** 1。链的推理是什么？为什么如此重要？ *面对复杂的算术问题时，大脑会自动分解这个问题，例如“最初有150个苹果，40个苹果在早上出售，并在下午再购买30个。”这个步骤 – 步骤思维过程是链推理的本质。在人工智能领域，允许机器具有这种推断能力一直是研究人员的圣杯。传统的AI系统通常像黑匣子一样，在输入问题后直接响应，但他们无法解释中间思维过程。这就像向学生询问数学问题，您可以告诉您答案是140，但我不知道如何计算。剑桥大学的一个研究团队想解决一个更深层次的难题。如果神经网络自然可以学习这种在没有明确指南的情况下进行推理的能力。这个问题的重要性是可以自发地学习逐步思考，因此这是解决复杂问题的能力的质量飞跃。研究团队设计了一个智能的实验环境。他们创建了特殊的数学任务。这就像为神经网络提供一系列日益严重的数学问题。这些问题的独特特征是必须通过多个步骤解决它们，如果“估计”，就不可能获得正确的答案。接下来，我们观察到学习过程中神经元网络中发生了什么变化。 ** 2。关于如何自发学习神经网络的步骤 – 步骤指令的结果令人震惊。研究人员发现，神经元网络正在通过SIMI的过程当他们面对需要几个步骤推理的任务时，才能学习人类学习。起初，神经元网络就像小学生一样，他们刚刚学会了算术，只能在一个步骤中处理最简单的计算。但是，随着培训的进步，网络开始表现出令人惊讶的变化。这种变化的过程就像观察孩子的智力发展一样。最初，网络只能解决需要单步计算的问题，例如简单的添加和减法。然后魔术发生了。现在，网络可以处理需要两种推理的问题，然后进行复杂的推论，例如三个阶段，四个阶段等。更具吸引力的是，研究人员发现了一种特定的机制，通过分析神经网络的内部模式来表现出这种推断的能力。他们使用了一种称为“主要组件分析”的技术。这就像获得神经网状的“大脑” X光片KS，它使您可以查看网络中的信息如何流和处理。通过此分析，他们发现神经元网络中形成了一种特殊的“推理通道”。这些渠道就像大脑中的神经元电路一样，特别负责处理需要多个思考步骤的问题。当网络找到复杂的任务时，信息会流过这些渠道。每个周期对应于完成推理的过渡。该发现的最深部分是这表明盖帽结构学习动作对于一般网络是独一无二的。互联网不仅记得答案，而且您确实正在学习解决问题。这不仅学习对数学问题的回答，而且更重要的是，学习理解问题的想法和方法。 ** 3。培训过程中的一个关键拐点**研究团队在观察该研究时发现了一种特别感兴趣的现象培训过程。神经元网络的学习不是稳定和进步的，而是显示出“照明”的清晰时刻。这些重要的拐点就像学习过程中的里程碑一样，这表明网络推理函数的质量飞跃。在培训的早期阶段，神经网络作为新生儿而努力适应新环境。您可以处理仅需要一步计算的简单问题，并且可以达到很高的精度。但是，当问题变得复杂并且需要多个推理步骤时，网络性能会急剧下降，从而导致几乎随机的猜想。然后，在私人培训节点中，研究小组观察到了巨大的变化。突然，神经网络开始处理需要两个阶段推断的问题。这种变化不会随着时间的流逝而发生，但是由于学生突然停止。什么是惊喜G是这种技能的进步继续发生。该网络在随后的培训中继续经历类似的创新时刻，逐渐主导着推理三个，四个甚至更多步骤的能力。每个进步都是定性的飞跃，而不是定量积累。通过分析，研究人员发现，这一进步的时刻对应于神经元网络内部结构的主要重组。这些关键节点使网络成为新的信息处理渠道或改善现有渠道之间的连接。这个过程类似于大脑中神经元连接的重塑，因为它学习了新技能。 ** 4。神经元网络中的“思考”机制**神经元网络对几个步骤进行了一些提及，以更深入地了解如何做到这一点，研究团队开发了一系列精致的分析方法。他们认为神经网络的内部活动是复杂的信息离子加工工厂。在这里，各种“研讨会”和答案之间的信息流在处理后最终生成。通过对该“工厂”的详细观察，研究团队发现了一种有吸引力的现象。当网络神经元需要几个步骤推理时，在网络中定期处理信息。每个循环等同于完成推理过程中的步骤，并且循环数与问题所需的推理步骤数密切相关。可以在清晰的时间内解释这种循环处理机制的实际原理。想象一下解决复杂的益智游戏。您必须反复观察现有的拼图段，并找到下一件作品的位置。所有观察和思想都使他更接近最终回应。神经元网络的周期性推论过程与此的定期推理过程非常相似。网络中的每个信息周期都等同于更深的W考虑这个问题。研究小组还发现，神经网络使用不同类型的推理任务使用不同的内部处理策略。对于算术推理任务，网络激活了特定的计算机通道。对于逻辑推理任务，调用了另一组处理机制。这表明神经元网络具有特定的“专业”特征，并允许您根据任务类型调整思维方式。 ** 5。扩展到简单到复杂的功能**研究团队设计了一系列精心构造的实验，以测试神经元网络推断的限制。他们发现，当网络获得多个步骤的基本推论能力时，它们表现出令人印象深刻的概括功能，即，将学习的推理模式应用于新的更复杂的问题。这种概括能力具有多种形式的表现形式。首先，网络可以处理较长的发射器在训练过程中，NCE链比VIMOS。如果您的网络暴露于需要3个推理阶段的问题，主要是在培训期间，您通常需要需要4或5个推理的问题。它可以在很多方面解决。这就像一个学会添加三位数字的学生，通常可以处理四位数。其次，网络还展示了在所有任务中概括的能力。在算术推理任务中，经过训练的网络还可以表明当他们面对逻辑推理或符号操作的任务时，它们的某些推理能力。这表明网络不仅了解了特定的计算机技能，而且还了解更多逐步分析的一般方式。通过仔细的分析，研究人员发现这种概括能力的途径在于形成了Marcor对神经元网络的抽象推断。该框架就像一组常见的问题解决工具，可以适应DIF任务要求类型。该网络学会了将复杂问题分为子问题，建立不同推理步骤之间的逻辑连接以及如何整合中间结果以获得最终响应。 ** 6。不同网络体系结构的不同推理功能**在本研究中，团队还比较了不同类型的神经元网络的推理能力的性能。他们测试了各种常规体系结构，包括变压器，经常性神经元网络和卷积神经元网络，并发现了激发某种思想的差异。变压器体系结构是最先进的AI系统中当前使用的体系结构，最适合VARI推理Tasksyou步骤。该体系结构的优点是它具有强大的护理机制，可以在添加问题时专注于多个相关信息。就像一个经验丰富的侦探可以在一种情况下，多重检查了多个线索，并找到它们之间的相关性。复发性神经元网络具有多种特性。尽管它不如某些类型的推理任务那样好，但在需要严格订单的推理任务时，它具有自身的优势。这是因为重复的神经元网络的结构自然足以使序列信息处理作为习惯于分阶段工作的工匠。研究小组还说，网络的规模对推理能力的增加有重大影响。我发现了。尽管最大的网络更有可能表现出容量复杂的推理，但较小的网络可以在简单任务中很好地工作，很难解决需要多个问题的复杂问题。这一发现意味着推理能力的出现可能要求网络达到特定的复杂性阈值。 ** 7。稳定性和可靠性推理能力**除了观察推理能力的出现外，研究人员还彻底检查了这种能力的稳定性。他们发现，当神经元网络主导多个步骤推理能力时，这种能力通常非常稳定且可靠。网络不会失去推理能力，因为他们发现了略有不同问题的格式和表示形式。为了测试这种稳定性，研究人员设计了几个变体实验。他们改变了问题的表达方式，调整了值的范围并更改了符号，但是事实证明，受过训练的网络仍然保持良好的推理性能。这表明网络以特定问题格式学习了真实的推理技能，而不是简单的记忆。但是，研究人员还发现了这种推理能力的一些局限性。如果问题的复杂性远高于TRA的水平，则可以显着降低网络性能ining，或者如果完全不同的推理类型。当专家国际象棋球员前进时，这可能会感到困惑。另一个有趣的发现是，网络推理功能似乎与培训数据多样性密切相关。接受更多样化培训的网络倾向于表现出更强的推理能力，而具有相对个性化培训数据的网络可能会在新问题中降低。这提醒我们，要发展真正强大的推理能力，我们需要提供丰富而多样化的学习材料。 ** 8。在人工智能的发展中非常重视**这项研究的发现在整个人工智能领域至关重要。从实验的角度来看，我们首次证明神经网络可能自发地出现在复杂的认知能力中。这一发现挑战了IA系统只能学习程序的传统愿景卢比澄清编程技能。结果表明，环境和设计良好的学习任务可以指导神经网络，并自然发展与人类类似的推理能力。这为开发更智能和更自适应系统的开发打开了新的可能性。 Futuresai系统可能不需要针对每个推理任务进行特殊编程，但是它们可以通过学习来自愿获得各种认知技能。对于研究AI和可解释性的研究，这一发现也非常重要。了解推理能力的出现使研究人员可以预测和更好地控制AI系统的行为。这有助于开发更可靠和可靠的AI系统，从而降低了无法预测的行为的风险。同时，这项研究还提供了有关认知科学的新观点。神经元网络中的推理技能的出现可以与人脑中类似技能的发展共享某些特征。这提供了新的信号了解人类智力的本质。 ** 9。技术实施的详细信息和挑战**在技术实施层面上，研究团队面临许多挑战。首先是如何设计适当的任务来诱导推理技能的出现。该任务必须足够复杂，需要多个推理步骤，但是从网络中学习并不难。研究人员最终选择了一系列算术和逻辑推理任务，这些任务仔细设计了清晰的步骤结构和可验证的响应。另一个重要的挑战是如何监视和分析网络中的推论过程。神经元网络的传统方法主要集中在进入和退出之间的关系上，但是了解推理能力的出现需要更深入地进入网络才能观察信息处理过程。研究人员开发了创新的分析工具，可以跟踪这些信息f网络之间的低路线并确定不同类型的内部表示形式。培训过程也很难设计。研究团队必须仔细平衡培训数据的复杂性和多样性，并简单地记住答案。 网络必须逐渐发展推理功能，并且网络必须逐渐发展。他们采用了渐进式培训策略，从简单的任务开始并逐渐提高复杂性，指导网络并自然发展了几个步骤的推理功能。我们还考虑了计算机资源的需求。观察推理特征的出现需要培训许多不同配置的网络并进行详细的分析。使用高性能计算机组，设备DAND研究进行了数百个独立的实验，以确保结果的可靠性和普遍性。最终，这个st剑桥大学的Udy揭示了人工智能发展中的一种令人兴奋的现象。神经元网络可以自发地获取人类逐步推断学习过程的能力。这不是程序员预先设计的函数，而是当网络面对复杂任务时自然表现出的智能行为。这一发现的重要性不仅仅是技术进步。它提供了创建真正智能机器的新可能性。未来的AI系统不再需要为每个特定任务创建特殊程序，而可以通过学习独立开发问题解决功能。这就像教您如何学习和思考，从教莫尔奎纳斯（Morequinas）直到做某些事情。当然，这项研究还提醒我们，AI能力的外观是现有的事物过程。为了确保AI系统的开发强大且可控，我们需要了解这些现象更深入。研究人员打开了一个窗口，看看机器智能的未来可能性。对于那些寻求有关技术细节的信息的人，我们建议审查剑桥大学发表的原始研究工作，等待探索更多令人兴奋的发现。 P AQ1：神经元网络推理的推理能力如何自然表现出来？答：神经网络在训练过程中经历了“扩展”的重要时刻，并突然主导了多个步骤的推理能力。这不是一个渐进的过程，而是一个特定的任务，因为学生突然“停止”是在车道节点中迅速完成的定性飞跃。网络中形成了一个特殊的推理通道，并分布信息流，在每个周期中完成推理步骤。 P2：该推理能力的应用程序的实际值是什么？答：此特征允许AI处理CompleX的X问题，范围从简单算术到逻辑推断。更重要的是，网络表现出强大的概括能力，应用推理模式，将其学习到新的，更复杂的问题，甚至涵盖不同类型的任务，为开发更智能和更自适应的AI系统开辟了新的可能性。 P3：不同类型的神经元网络的推理功能有什么区别？答：转拼是几个步骤推理任务的最佳选择，因为您强大的护理机制使您可以同时专注于相关的多个信息。经常性神经元网络在推理任务中具有自己的优势，必须严格按顺序进行。网络的大小也非常重要。较大的网络可能具有复杂的推理功能，并且必须达到一定的复杂性阈值。
特别声明：以前的内容（包括照片和视频（如果有），如果有）已收费并由网络自我媒体平台的用户发布。该平台仅提供信息存储服务。
注意：以前的内容（如果您有照片或视频）将由社交媒体平台NetEase Hao的用户收取和发布，仅提供信息存储服务。
来自剑桥大学的突破：这是人类的理由吗？
