為什麼不能完全信任ChatGPT的財務建議？最新研究揭示其潛在風險與限制
圖靈學院
科楠
2024-12-28
近期由華盛頓州立大學（Washington State University）領導的一項研究發現，雖然大型語言模型（LLM）如ChatGPT在金融從業資格考試的選擇題上表現出色，但在處理更為複雜的任務時仍存在明顯不足。
該研究評估了BARD、Llama和ChatGPT等AI模型對超過10,000道金融考試題的回答能力。研究人員不僅考察了這些模型選擇正確答案的能力，還要求它們對選擇進行解釋，並將這些解釋與人類專家的答案進行比較。結果顯示，雖然ChatGPT在綜合廣泛概念方面表現優異，但在處理如確定保險覆蓋範圍或評估併購交易等專門問題時，準確性明顯下降。
圖:四種LLM的正確(精確度) (Fairhurst et al., 2024)
研究的主要作者DJ Fairhurst指出，對於已在網路上有詳細解釋的廣泛概念，ChatGPT能夠很好地進行綜合，但在面對特定且獨特的問題時，則顯得力不從心。
研究還發現，付費版本的ChatGPT 4.0在回答問題的準確性和與人類專家答案的相似度方面表現最佳，其準確率比其他模型高出18至28個百分點。然而，經過精調的免費版本ChatGPT 3.5在提供與人類專家相似的答案方面，甚至超過了ChatGPT 4.0。
儘管如此，這些模型在處理某些類型的問題時仍存在不足。例如，在審查證券交易和監控金融市場趨勢方面，模型表現良好，但在確定客戶的保險覆蓋範圍和稅務狀況等專門情況下，答案的準確性則有所下降。
這項研究表明，雖然ChatGPT等AI模型在某些金融任務中具有潛力，但在處理需要專業知識的複雜問題時，仍無法完全取代人類專家。因此，在依賴這些模型進行財務決策時，應謹慎行事，並考慮尋求專業財務顧問的建議。
Reference:
“How Much Does ChatGPT Know about Finance?” by Douglas (DJ) Fairhurst and Daniel Greene, 18 November 2024, Financial Analysts Journal.DOI: 10.1080/0015198X.2024.2411941
