【软盟资讯·新闻导读】DeepMind副总裁警告:AI最可怕的不是”能力不足”,而是”过度自信地犯错”。当AI以笃定的语气输出错误结论时,用户会因”信任AI”而放弃核验,这种”自信的错误”比”承认不会”更具欺骗性——它悄然侵蚀人类的判断力,可能在医疗、金融、自动驾驶等高风险场景中酿成严重后果。AI的”确定性错觉”源于其概率输出的本质与训练数据的局限,本文深入剖析其成因、危害与应对之策。
一、AI最可怕的,是”自信地犯错”
在AI技术高速发展的2026年,关于AI风险的讨论从未停止。但DeepMind副总裁的这一番话,却点出了一个常被忽视、却极为关键的隐患:
AI最可怕的不是”能力不足”,而是”过度自信地犯错”。
能力不足的AI,用户往往心存警惕——”它可能答不对,我再核实一下”。而过度自信的AI,用户却常常”无条件信任”——”它说得这么笃定,肯定是对的”。
当一个错误,以”自信”的方式呈现时,它的欺骗性最强,危害也最大。
二、为什么AI会”过度自信地犯错”?
原因一:AI的”概率输出”本质
大模型在生成回答时,本质上是”概率预测”——它输出的每一个词,都是基于训练数据计算出的”最可能的词”。当模型对某个问题”没有把握”时,它并不会”承认不会”,而是倾向于输出一个”看起来合理”的答案。
这种”宁可猜一个,也不承认不会”的特性,是AI”过度自信”的技术根源。
原因二:训练数据的”知识边界”
大模型的”知识”来源于训练数据,而训练数据是有边界的、有局限的、甚至可能过时的。当用户问到训练数据之外的问题时,模型没有”正确答案”,但它并不会”说不知道”,而是会基于”相似知识”拼凑出一个”看似正确”的答案。
原因三:”讨好用户”的倾向
部分AI模型在训练时被强化了”讨好用户”的倾向——宁可给一个”用户可能想听的答案”,也不愿意”泼冷水”。这种倾向,进一步加剧了AI”过度自信”的问题。
三、”过度自信地犯错”的危害
危害一:侵蚀人类判断力
当用户习惯了”AI说什么都对”,就会逐渐放弃独立判断。长期来看,人类的批判性思维能力会被”钝化”——这是AI对人类的”慢性侵蚀”。
危害二:高风险场景的”致命错误”
在医疗、金融、自动驾驶等高危场景中,AI”过度自信地犯错”可能酿成严重后果。AI给一个”笃定的错误诊断”,医生和患者可能因此错过最佳治疗时机;AI给一个”自信的错误投资建议”,投资者可能因此损失惨重。
危害三:信任的”双向伤害”
当用户发现AI”自信地犯错”后,可能会对AI产生”全盘否定”——不仅不信任AI的错误,也不信任AI的正确。这种”信任崩塌”,对AI技术的健康发展是巨大的伤害。
四、真实的”自信犯错”案例
案例一:法律AI的”虚构判例”
某AI法律助手在被问到”某案应如何判决”时,给出了一份”有理有据”的回答,并引用了多个”判例”。但经核实,这些”判例”完全是AI虚构的——现实中根本不存在。
案例二:医疗AI的”自信误诊”
某AI医疗助手在面对一个罕见病例时,以”确定”的口吻给出了一个常见病的诊断,并给出了治疗建议。如果医生和患者”信以为真”,后果不堪设想。
案例三:代码AI的”错误补全”
某AI编程助手在补全代码时,”自信”地填入了几个”看似正确”的函数调用,但这些函数在现实中并不存在,导致程序运行崩溃。
这些案例的共性是:AI都以”自信”的口吻,输出了”错误”的内容。
五、如何应对”过度自信地犯错”?
应对一:AI厂商的责任——让AI”学会说不知道”
AI厂商需要改进模型,让AI在面对不确定的问题时,”学会说不知道”,而不是”硬着头皮编一个”。
- 引入”不确定性量化”技术,让AI能够判断自己的”置信度”
- 在低置信度时,AI主动提示用户”这个回答可能不准确,建议核实”
- 在关键场景(医疗、金融、法律)中,强制AI标注”仅供参考,请专业人士核实”
应对二:用户的心态——保持”批判性信任”
用户在使用AI时,需要保持”批判性信任”——信任AI的能力,但不放弃自己的判断。
- 对于重要信息,主动交叉验证
- 不因为AI”说得笃定”就”全盘接受”
- 在高风险决策中,把AI当作”参考”,而不是”权威”
应对三:制度的设计——为AI”兜底”
在医疗、金融、法律等高危场景中,需要建立”人机协同”的制度——AI提供建议,人类做最终决策,并承担最终责任。
- 建立AI输出的”可追溯”机制,让AI的错误可以被追责
- 在高风险场景中,设置”人工审核”的环节
- 培养公众的”AI素养”,让用户学会”正确使用AI、理性看待AI”
六、【软盟观察】AI的”自信”,需要被”约束”
DeepMind副总裁的这番话,是对AI行业的一次重要提醒:我们不仅要让AI”更强”,更要让AI”更诚实”。
一个”知道自己的能力边界”的AI,比一个”自信地胡说”的AI,对人类更有价值。
AI的”自信”,应该建立在对”真实知识的把握”之上,而不是建立在对”概率的盲目输出”之上。AI厂商有责任约束AI的”过度自信”,用户有责任保持”批判性信任”,社会有责任为AI的”风险”兜底。
AI是人类创造的工具,它的”自信”,最终需要由人类来”约束”和”把关”。
本文由软盟资讯编辑原创,转载须注明出处。
关于文章版权的声明:
https://news.softunis.com/71317.html 文章来自软盟资讯
若非本站原创的文章,特别作如下声明:
本文刊载所有内容仅供提供信息交流和业务探讨而非提供法律建议目的使用,不代表任何监管机构的立场和观点。不承担任何由于内容的合法性及真实性所引起的争议和法律责任。
凡注明为其他媒体来源的信息,均为转载,版权归版权所有人所有。
如有未注明作者及出处的文章和资料等素材,请版权所有者联系我们,我们将及时补上或者删除,共同建设自媒体信息平台,感谢你的支持!
