研究显示:主流 AI 聊天机器人在金融问答中“大多数时候”都会答错

21

研究发现,使用人工智能聊天机器人解答财务问题可能带来巨额损失,因为多家供应商的模型在大多数情况下都会给出错误答案。

据科技公司Saturn的研究,ChatGPT、Claude、Copilot、Grok和Gemini等最受欢迎的人工智能模型,在回答财务相关问题时平均有57%的概率给出错误答案。

当被问及涉及多重计算等更复杂的问题时,这些AI模型的错误率平均高达88%。其中,部分模型在处理这类难题时甚至高达99%的错误率。

该研究通过ChatGPT、Gemini、Claude和Copilot等服务商的免费及付费AI模型,提出了超过100个与金钱相关的不同问题。每个问题最多重复提问五次,共计向18种不同的AI模型提出了逾1万道题目。

研究显示,这些模型的回答中存在计算错误、遗漏了即将实施的税改内容,甚至会“凭空捏造”规则。

最严重的情况下,如果依赖AI对税务问题的答复,可能会导致严重的经济损失。Saturn首席执行官Amal Jolly表示:“数百万人正信赖AI模型获取理财建议,但它们却给出了可能导致用户蒙受损失的错误答案。”

研究发现,去年发布的Claude Haiku 4.5(一款免费模型)曾在养老金税收规则上出现重大失误,致使一名养老金储户面临英国税务海关总署高达1.75万英镑的罚款风险。

另一起案例中,当被问及学生贷款问题时,Claude竟“杜撰”了一条规则,声称毕业生若移居海外即可停止还款。

研究还表明,付费版模型的准确性普遍高于免费版,且较新的版本表现优于旧版本。

总体而言,表现最佳的模型是处于“推理”模式下的克洛德作品5,但其仍有39%的回答存在错误。

投资平台AJ Bell个人理财主管Sarah Coles表示:“有时理财顾问会接到客户的咨询,因为客户按照AI的建议采取了令人费解的行动,而他们希望确认是否已付诸实施。这恰恰说明,需要支持的人群应当寻求正规的专业建议,而非盲目信任AI。”

不过,Coles补充称,聊天机器人在预算规划和信息检索方面仍有一定价值,例如可根据个人收入与支出情况,提示可能存在超支的领域。

推荐阅读

此前,金融行为监管局的一项调查显示,英国有五分之一的成年人愿意让AI代为决策,尤其是在债务、养老金和投资等较为复杂的事项上,这一需求尤为强烈。

根据上月发布的FCA研究报告,年轻投资者也更倾向于信任AI,而非财经意见领袖或电视节目;其中三分之二预计在未来一年内会更多地使用AI工具。

Saturn的Jolly指出:“目前,AI提供的理财建议尚无监管,消费者因此无法获得与聘请人工顾问时同等的保护,包括赔偿机制。金融行为监管局已经开始关注这一问题,但必须尽快采取行动,以切实保护消费者权益。”

参与讨论