Chatbot AI Thất Bại Hầu Hết Các Câu Hỏi Về Tiền Trong Bài Kiểm Tra 10.000 Câu Trả Lời

Saturn, một công ty fintech của Anh, báo cáo rằng các mô hình AI chính thống trả lời sai 57% câu hỏi tài chính cá nhân, với tỷ lệ thất bại lên tới 88% ở những câu hỏi khó hơn, nhiều bước.

Những phát hiện này diễn ra khi người tiêu dùng ngày càng chuyển sang sử dụng chatbot để được hướng dẫn tài chính.

Câu Hỏi Khó Hơn Phá Vỡ Hầu Hết Mọi Mô Hình

Nghiên cứu đã đặt 121 câu hỏi cho 18 mô hình miễn phí và trả phí từ các nhà cung cấp như ChatGPT, Gemini, Claude và Copilot, mỗi câu hỏi được lặp lại tối đa năm lần, thu được hơn 10.000 câu trả lời.

Bài kiểm tra đánh giá một câu trả lời là thất bại nếu nó có sai sót thực tế, bỏ sót điều quan trọng, thiếu cảnh báo cần thiết, hoặc không đầy đủ theo cách khác.

Các mô hình miễn phí làm tệ nhất, thất bại 63% câu trả lời so với 49% ở mô hình trả phí, và đạt tỷ lệ thất bại 93% ở những câu hỏi khó nhất.

Claude Opus 5 là mô hình hoạt động tốt nhất, nhưng vẫn thất bại 39% thời gian, với các lỗi bao gồm tính toán sai, bỏ sót thay đổi thuế và các quy tắc bịa đặt.

Một câu trả lời về thuế lương hưu có thể khiến người tiết kiệm phải chịu hóa đơn 17.500 bảng từ HM Revenue and Customs.

“Hàng triệu người đang tin tưởng các mô hình AI để xin lời khuyên về tiền bạc, nhưng họ nhận được câu trả lời sai có thể khiến họ mất tiền,” Amal Jolly, giám đốc điều hành của Saturn, cho biết.

Niềm Tin Vào Chatbot AI Vẫn Tiếp Tục Tăng

Việc sử dụng đã tăng lên ở các khu vực và nhóm tuổi khác nhau, với một cuộc khảo sát toàn cầu của EY với 18.000 người cho thấy 49% đã tìm đến AI để được tư vấn tiết kiệm và đầu tư.

Vào tháng 8, cơ quan quản lý tài chính của Anh cho biết bốn trong năm nhà đầu tư ít kinh nghiệm đã sử dụng AI để hỗ trợ đầu tư và 56% số người được khảo sát tin tưởng các công cụ này hơn truyền hình hoặc đài phát thanh, vốn ở mức 47%.

Nghiên cứu tương tự cũng cho thấy 44% nghĩ sai rằng thông tin tài chính do AI tạo ra được quản lý.

Một cuộc khảo sát của PensionBee với 1.000 người trưởng thành ở Mỹ cho thấy gần sáu trong mười người sẽ làm theo hướng dẫn về tiền từ chatbot mà không kiểm tra lại, và khoảng một phần tư cho biết chatbot đã đưa ra thông tin tài chính sai cho họ.

Jolly cho biết lời khuyên tài chính của AI vẫn chưa được quản lý, khiến người tiêu dùng không có quyền bồi thường như họ sẽ nhận được từ một cố vấn con người, và ông kêu gọi FCA hành động nhanh chóng.