深度学习领域的研究人员发现，语言模型在逻辑推理方面的表现仍然是一个重要挑战。最新的一项由Google旗下的DeepMind（DeepMind）进行的研究揭示了一个简单而重要的发现:任务中前提的顺序显著影响语言模型的逻辑推理性能。
研究表明，当前提按照它们在逻辑结论中出现的顺序呈现时，语言模型的表现最佳。这一现象对于数学问题同样成立。研究人员将系统生成的测试数据纳入R-GSM基准，以便进一步研究这一现象。
DeepMind的研究团队表示，他们展示了前提顺序对语言模型在推理任务上的性能产生显著影响，即使前提顺序不改变任务本身。全面的评估表明，语言模型在处理推理问题时的偏好与人类在解决问题时对前提顺序的偏好相似。也就是说，语言模型在前提顺序遵循解决问题的中间推理步骤时表现最佳。相反，当推理问题要求模型来回阅读问题描述时，导致性能下降超过30%。
研究中使用了GPT-3.5Turbo、GPT-4Turbo、PaLM2-L和Gemini Pro进行测试。有趣的是，OpenAI的GPT模型在前提顺序与基本事实完全相反的情况下表现更好。
与此同时，研究还观察到随着规则数量的增加，性能也会下降。多余的前提还会使模型感到困惑。
对比结果还显示，谷歌的新型Gemini Pro在逻辑顺序下与OpenAI的较旧型号GPT-3.5Turbo的性能相似。即使规则数量相对较小，正确结论的准确性也会迅速下降，尤其是在故意插入混乱规则的情况下。
为了确保所有语言模型的公平测试，研究人员在规则中填充了“wozz”、“riff”和“fum”等幻想词。
值得注意的是，研究人员并未就这一现象提供理论解释，也未针对根据研究结果改进语言模型的推理能力提出可能的解决方案。尽管如此，这些结果有望为希望将语言模型用于基本推理任务的专业人士提供指导。
推理能力对于未来语言模型的应用将产生重大影响。尽管近来我们在语言模型特性方面取得了一些突破，比如更大的上下文窗口，谷歌最近通过Gemini1.5Pro打破了这一界限。
然而，推理就像是人工智能研究的圣杯，而对于语言模型而言，具有坚实的推理能力将导致更为强大、多功能的系统，能够执行更多任务。
正确的结论随着规则数量的增加而减少，当故意插入令人困惑的规则时，情况甚至会更加严重。
尽管自OpenAI发布GPT-4以来，在这一领域并未看到太多进展。业内普遍认为，仅仅依靠大量文本和视觉数据的训练并不足以实现根本更强大的人工智能系统，这一观点最近由DeepMind的首席执行官Demis Hassabis和OpenAI的首席执行官Sam Altman等领先研究人员和企业领导人反复提出。
通过这项研究，我们可以看到改变前提顺序可能是提升语言模型推理能力的一种简单而有效的方法，也为未来改进这一领域的研究提供了新的方向。
评论0