跳动百科

北京网友测试教育大模型9.9比9.11大 8大模型犯错揭示短板

桑娣颖
导读 北京网友测试教育大模型9.9比9.11大近期,一个看似简单的数学问题挑战了众多先进的人工智能大模型,引发了业界关注。问题本身并不复杂:9.1...

北京网友测试教育大模型9.9比9.11大

近期,一个看似简单的数学问题挑战了众多先进的人工智能大模型,引发了业界关注。问题本身并不复杂:9.11和9.9哪个数字更大?然而,在第一财经进行的测试中,即便是部分知名大模型,如阿里通义千问、百度文心一言、Minimax及腾讯元宝,能够给出正确答案,仍有包括ChatGPT-4o在内的8个大模型给出了错误判断,它们大多错误地对比了小数点后的数字。北京网友测试教育大模型9.9比9.11大!

这种情况暴露了大模型在处理数学问题时的局限性,尽管它们在文字处理和某些特定任务上表现出色,但数学能力却显得薄弱。部分行业专家指出,这可能源于大模型的设计更偏向于模拟人类的语言思维模式,而非逻辑严谨的数字处理方式。生成式语言模型在学习过程中更多地掌握了语言的关联性,而非数学所需的因果逻辑和严谨推理。

此次事件起因于一档综艺节目中的投票率比较,进而引发了公众对AI数学能力的讨论。测试显示,即便是在明确了数学语境的前提下,一些大模型依然未能正确解答。有趣的是,当记者对错误答案提出质疑后,多数大模型能自我纠正,承认之前的失误并给出正确答案,显示出一定的自我调整能力。

长期以来,大模型在数学处理上的不足已不是新鲜事。即便是最先进的模型,如GPT-4,在面对高考级别的数学试题时也表现不佳,显示出在数学逻辑和复杂推理上的缺陷。这不仅仅是数字识别或计算的问题,更是模型缺乏数学思维和灵活应用公式的能力体现。

为改善这一状况,研究者们正探索通过针对性的语料训练来提升大模型的理科能力,特别是加强其在数学推理上的训练。未来,构造型数据的使用可能会成为关键,即通过系统地设计包含数学问题解决过程的数据来引导模型学习,而非仅仅依赖互联网上的既有文本数据。这对于推动大模型在金融、工业等高要求领域的应用至关重要,因为在这些场景下,数学的准确性和逻辑推理的可靠性是不可或缺的。