AIチャットボット、10,000回答テストで大半のお金に関する質問に誤答

英国のフィンテック企業Saturnは、主流のAIモデルが個人向け金融の質問の57%に誤答し、より難しい複数ステップの質問では失敗率が88%に達したと報告している。

この調査結果は、消費者が金融ガイダンスを求めてチャットボットを利用するケースが増えている中で明らかになった。

より困難な質問はほぼすべてのモデルを打ち負かした

この研究では、ChatGPT、Gemini、Claude、Copilotなどのプロバイダーから提供された18の無料および有料モデルに121の質問を提示し、各質問を最大5回繰り返して10,000以上の回答を得た。

テストでは、事実誤認があったり、重要な情報を見落としたり、必要な警告を省略したり、その他不完全な場合に回答を失敗と判断した。

無料モデルは最悪で、回答の63%が失敗し、有料モデルでは49%だった。最も難しい質問では失敗率93%に達した。

Claude Opus 5は最高のパフォーマンスを示したが、それでも39%の確率で失敗し、計算ミス、税制変更の見落とし、ルールの捏造などのエラーがあった。

ある年金税に関する回答は、貯蓄者がHM Revenue and Customsから17,500ポンドの請求を受ける可能性があった。

「何百万人もの人々が金銭アドバイスをAIモデルに依存しているが、彼らはお金を失う可能性のある誤った回答を得ている」とSaturnの最高経営責任者Amal Jollyは述べた。

AIチャットボットへの信頼はそれでも上昇し続けている

地域や年齢層を問わず利用は増加しており、EYが18,000人を対象に行った世界的調査では、49%が貯蓄や投資のアドバイスにAIを利用したことがある。

8月、英国の金融規制当局は、経験の浅い投資家の5人に4人が投資の助けとしてAIを利用しており、調査対象者の56%がテレビやラジオ（47%）よりもこれらのツールを信頼していると述べた。

同じ調査では、44%がAIが生成した金融情報は規制されていると誤って考えていることも判明した。

PensionBeeが米国の成人1,000人を対象に行った調査では、約10人中6人がチャットボットからの金銭ガイダンスを再確認せずに実行すると答え、約4分の1がチャットボットから誤った金融情報を既に提供されたと述べた。

Jolly氏は、AIによる金融アドバイスは依然として規制されておらず、消費者は人間のアドバイザーから得られるような補償を受ける権利がないと述べ、FCAに迅速な行動を求めた。