麻省理工学院研究发现,人工智能仍然无法理解“不”这个词
人工智能可以诊断疾病、写诗,甚至驾驶汽车——但它仍然无法说出一个简单的词:“不”。这种盲点可能会在现实世界的应用中造成严重后果,比如围绕医疗保健构建的人工智能。
根据一项新学习由麻省理工学院博士生 Kumail Alhamoud 领导,与OpenAI和牛津大学的研究表明,不理解“不”和“不是”可能会产生严重后果,尤其是在医疗环境中。
否定(例如“无骨折”或“未扩大”)是一项至关重要的语言功能,尤其是在医疗保健等高风险环境中,误解否定词可能会造成严重伤害。研究表明,当前的人工智能模型(例如 ChatGPT、Gemini 和 Llama)通常无**确处理否定语句,而是倾向于默认采用积极的联想。
核心问题不仅仅是缺乏数据,而在于人工智能的训练方式。大多数大型语言模型是为了识别模式,而非逻辑推理而构建的。这意味着它们可能会将“不好”解读为某种程度上的积极,因为它们将“好”与积极联系起来。专家认为,除非模型被教会通过逻辑推理,而不是仅仅模仿语言,否则它们将继续犯下轻微但危险的错误。
零知识基础设施公司 Lagrange Labs 的**研究工程师 Franklin Delehelle 表示:“人工智能非常擅长生成与训练中看到的类似的反应。但它在提出真正新颖或超出训练数据的东西方面却非常糟糕。”解密。“因此,如果训练数据缺乏说‘不’或表达负面情绪的**例子,模型可能很难产生这种反应。”
在研究中,研究人员发现,用于解释图像和文本的视觉语言模型对肯定的陈述表现出更强烈的偏见,经常无法区分正面和负面的标题。
研究人员表示:“通过合成否定数据,我们为建立更可靠的模型提供了一条充满希望的道路。虽然我们的合成数据方法提高了对否定的理解,但挑战依然存在,尤其是在细粒度的否定差异方面。”
尽管推理许多人工智能系统仍然难以进行类似人类的推理,特别是在处理开放式问题或需要更深入理解的情况时,或者“常识”
所有法学硕士(LLM)——也就是我们现在通常所说的人工智能——都会在**程度上受到其初始提示的影响。当你与 ChatGPT 或类似系统交互时,系统不仅仅是在利用你的输入。此外,还有一个由公司预设的内部或“内部”提示——你,作为用户,无法控制它。Delehelle 告诉解密。
Delehelle 强调了人工智能的核心限制之一:它依赖于训练数据中发现的模式,这种限制可能会影响(有时还会扭曲)人工智能的反应方式。
斯坦福大学深度学习兼职教授、技能智能公司 Workera 创始人 Kian Katanforoosh 表示,否定的挑战源于语言模型运作方式的一个根本缺陷。
“否定看似复杂。‘不’和‘不是’这样的词会改变句子的意思,但大多数语言模型并不是通过逻辑推理——它们只是根据模式来预测可能的声音,”Katanforoosh 告诉解密“这使得他们在涉及否定时容易忽略**。”
Katanforoosh 也与 Delehelle 的观点一致指出,AI 模型如何训练才是核心问题。
“这些模型被训练来联想,而不是推理。所以当你说‘不好’时,它们仍然会把‘好’这个词与积极情绪强烈地联系起来,”他解释道。“与人类不同,它们并不总是会**这些联想。”
卡坦福鲁什警告说,无法准确解释否定不仅仅是一个技术缺陷——它可能会在现实世界中产生严重的后果。
“理解否定是理解的基础,”他说。“如果模型不能可靠地掌握它,就有可能犯下细微但关键的错误——尤其是在法律、医疗的, 或者 人力资源应用”
尽管扩大训练数据似乎是一个简单的解决办法,但他认为解决方案并不在这儿。
“解决这个问题的关键不在于更多的数据,而在于更好的推理。我们需要能够处理逻辑而不仅仅是语言的模型,”他说,“这就是目前的前沿:将统计学习与结构化思维连接起来。”
詹姆斯·鲁宾编辑