Articles in Turing Academy cover three major themes: ESG Net Zero Laboratory, AI Laboratory and Lean Management Laboratory. We will share articles on related topics from time to time. We also welcome students who are interested in the above topics to submit articles and share them with you. Insights (I want to contribute)

為什麼不能完全信任ChatGPT的財務建議？最新研究揭示其潛在風險與限制

 

 

圖靈學院
科楠
2024-12-28

 

    近期由華盛頓州立大學（Washington State University）領導的一項研究發現，雖然大型語言模型（LLM）如ChatGPT在金融從業資格考試的選擇題上表現出色，但在處理更為複雜的任務時仍存在明顯不足。

 

該研究評估了BARD、Llama和ChatGPT等AI模型對超過10,000道金融考試題的回答能力。研究人員不僅考察了這些模型選擇正確答案的能力，還要求它們對選擇進行解釋，並將這些解釋與人類專家的答案進行比較。結果顯示，雖然ChatGPT在綜合廣泛概念方面表現優異，但在處理如確定保險覆蓋範圍或評估併購交易等專門問題時，準確性明顯下降。

 

圖:四種LLM的正確(精確度) (Fairhurst et al., 2024)

 

研究的主要作者DJ Fairhurst指出，對於已在網路上有詳細解釋的廣泛概念，ChatGPT能夠很好地進行綜合，但在面對特定且獨特的問題時，則顯得力不從心。

 

研究還發現，付費版本的ChatGPT 4.0在回答問題的準確性和與人類專家答案的相似度方面表現最佳，其準確率比其他模型高出18至28個百分點。然而，經過精調的免費版本ChatGPT 3.5在提供與人類專家相似的答案方面，甚至超過了ChatGPT 4.0。

 

儘管如此，這些模型在處理某些類型的問題時仍存在不足。例如，在審查證券交易和監控金融市場趨勢方面，模型表現良好，但在確定客戶的保險覆蓋範圍和稅務狀況等專門情況下，答案的準確性則有所下降。

 

這項研究表明，雖然ChatGPT等AI模型在某些金融任務中具有潛力，但在處理需要專業知識的複雜問題時，仍無法完全取代人類專家。因此，在依賴這些模型進行財務決策時，應謹慎行事，並考慮尋求專業財務顧問的建議。

 

 

Reference: 
“How Much Does ChatGPT Know about Finance?” by Douglas (DJ) Fairhurst and Daniel Greene, 18 November 2024, Financial Analysts Journal.DOI: 10.1080/0015198X.2024.2411941