AI模型Gemini和Copilot在超级碗上出现错误

摘要: 微软和Google的聊天机器人正在构成超级碗2024统计数据。它说明了当今的Genai工具的局限性。

AI模型Gemini和Copilot在超级碗上出现错误

最近，谷歌的AI聊天机器人Gemini和微软的Copilot在回答关于超级碗LVIII的问题时出现了错误。Gemini错误地认为2024年的超级碗已经结束，甚至给出了虚构的统计数据来支持这一说法。

根据Reddit的一个帖子，Gemini使用谷歌的GenAI模型回答问题，但它的回答似乎是基于比赛结束前的数据。Gemini似乎更偏向于支持堪萨斯城酋长队，而不是旧金山49人队。

Gemini的回答中有一些相当有创意的夸张之处，比如给出了堪萨斯城酋长队四分卫帕特里克·马洪斯跑了286码、得到了两个触地得分和一个被抄截的统计数据，而布洛克·珀迪则跑了253码、得到了一个触地得分。

不仅仅是Gemini，微软的Copilot也坚称比赛已经结束，并提供了错误的引用来支持这一说法。但是，Copilot却声称旧金山49人队以24-21的比分获胜，这可能反映了对旧金山的偏见。

Copilot使用与OpenAI的CHAT GPT（GPT-4）类似的GenAI模型。但在我的测试中，CHAT GPT并不愿意犯同样的错误。

这一切都相当荒谬，也可能已经得到解决，因为我在Reddit的帖子中无法复制Gemini的回答。（我相信微软肯定正在努力解决这个问题。）但这也说明了当今GenAI的主要局限性，以及过度依赖它可能带来的危险。

GenAI模型并没有真正的智能。它们通过学习大量来自公共网络的示例，学会了根据模式（包括周围数据的上下文）来判断数据（如文本）出现的可能性。

这种基于概率的方法在大规模上工作得非常好。但是，虽然单词和它们的概率范围可能会产生有意义的文本，但并不确定。语言模型可能会生成语法正确但毫无意义的内容，比如关于金门大桥的说法。或者它们可能会说出谎言，传播训练数据中的不准确信息。

这并不是语言模型的恶意行为。它们没有恶意，对它们来说，真实和虚假的概念毫无意义。它们只是学会了将某些单词或短语与某些概念联系起来，即使这些联系并不准确。

因此，Gemini和Copilot关于2024年超级碗（以及2023年）的错误说法就产生了。

谷歌和微软等大多数GenAI供应商都承认他们的GenAI应用并不完美，容易出错。但这些承认通常以容易被忽视的小字形式出现。

超级碗的错误信息当然不是GenAI出现失控的最有害的例子。最有害的可能是它们支持酷刑、强化种族和种族刻板印象或以有说服力的方式写关于阴谋论的文章。然而，这也是一个提醒，我们需要对GenAI机器人的陈述进行核实。它们说的可能并不是真实的。