‹ 返回

AI說「有九成把握」就可信？一次看懂信心校準與不確定性

 

科楠老師｜圖靈學院｜2026 年 11 月 2 日

語氣很肯定，與答案可靠，是兩件事

 

    你問AI一個問題，它流暢地回答，還補上一句「我有九成把握」。這時候，我們很容易把那個數字當成品質保證。但九成究竟怎麼來？是在相似問題上長期驗證的結果，還是模型在這次對話中產生的文字？

 

理解這個差別，需要認識「校準」。今天從九月底公開的人機協作研究出發，再搭配MIT較早的訓練研究，說明為什麼AI除了答對，也需要把不確定性表達得恰當。本文不把會說「我不確定」直接等同模型具有人類的自我意識。

 

準確率與校準，到底差在哪裡？

 

    準確率問的是：一批可判斷對錯的題目中，答對多少？校準則問：模型表示的把握程度，是否與實際答對頻率相稱？MIT的研究，把正確答案與信心估計一起納入訓練目標，正是為了處理後一個問題。

 

可以用一個純假設例子理解：兩位解題者都答對八十題，但其中一位對每題都宣稱百分之百確定，另一位會依問題調整把握程度。兩人的總答對率相同，信心表現卻可能不同。這個例子只說明概念，不能單憑描述就算出完整校準品質。

 

若許多被標為八成把握的回答，實際約有八成正確，才比較符合校準的意思。它是需要一批資料檢查的統計性質，不保證某一題必然正確，也不能只靠語氣來判定。

 

近期研究：AI可能不確定，卻沒有說清楚

 

    九月三十日公開的預印本，研究人類指示AI擺放拼圖的合作任務。研究者關心的是「你說的那一塊，究竟指哪一塊」這類指涉不確定性；參與者與系統可能面對模糊描述、相似物件或不同視角。

 

摘要指出，另外詢問模型對候選物件的判斷分布，比直接使用動作字詞機率，更能反映部分不確定性；但當相似候選物件增加時，該訊號仍有盲點。這不是所有任務都已解決信心估計的證明。

 

這項工作目前在研究機構頁上標為預印本。它測試的是特定拼圖協作，不宜直接套用成所有聊天、搜尋或機器人任務的通則，也不能只因系統偶爾提出澄清，就認定它每次都知道自己哪裡可能出錯。

 

「可能吧」說得多，不一定更有幫助

 

    同一研究發現，適當、針對性的保留說法，可以幫助參與者減少接受錯誤動作；但若保留訊號來自模型本身不夠可靠的判斷，也可能沒有幫助，甚至造成反效果。

 

想像有人問你「把右邊那份資料整理好」。如果右側有兩份相似文件，比起籠統地說「我可能會弄錯」，更有用的是確認文件名稱或日期。這是教學情境，不是研究實驗的另一組結果。有效溝通需要指出缺少哪項資訊，讓對方知道可以如何補足。

 

因此，可靠的不確定性表達，不是每句話都加上「也許」，也不是在答案尾端固定貼上免責文字。重點在於，保留說法是否對準真正容易出錯的環節，以及使用者能否據此採取有用行動。

 

MIT的做法：訓練時也獎勵恰當的信心

 

    較早的MIT研究提出RLCR，也就是加入校準獎勵的強化學習。模型除了回答，也輸出信心估計；訓練目標結合答案正確性與Brier分數這類機率評分方法，讓信心與結果之間的落差進入獎勵計算。

 

研究在所測資料集上，報告校準改善且未犧牲準確率。這是特定實驗的結果，不表示任意模型只要在提示詞加上「請誠實估計」就能得到相同效果，也不保證部署後每一種新問題都可靠。

 

MIT News於今年四月二十二日介紹這項工作；論文最初預印本在去年七月公開，所查版本於今年五月修訂，作者專案頁列為ICLR 2026會議論文。這些日期各自代表新聞、版本與出版背景，不能把四月報導當成本月才提出的新技術。

 

新聞可以幫助選題，研究狀態仍要回查

 

    十月五日，柏克萊Haas的機構新聞介紹另一項語言模型信心研究，並清楚說明當時仍為審查中的工作論文。本文回查公開摘要，其結果描述模型在測試中平均過度自信，且困難測試與容易測試的模式不同。

 

這提供近期討論背景，但不能寫成已正式發表的期刊定論。不同研究測試的任務、模型版本與信心取得方式，也可能不同；若只挑一個平均數比較，容易忽略原本的實驗條件。

 

圖片：AI準確率、信心校準與使用者查證行動的概念比較

圖說：原創概念圖，非實測校準曲線，未呈現模型排名或研究數值。

 

一般使用者，怎麼把這些概念用起來？

 

先確認問題是否有歧義

 

    請AI指出回答所依賴的假設，並找出需要補充的條件。像「最新」「附近」「這個方案最好」都可能缺少日期、地點或比較標準。先把問題說清楚，有助於後續查核，但仍不等於答案已被驗證。

 

把信心數字當成待查訊號

 

    看到九成或九成九，不要立即把它當成經過校準的保證。可以追問數字根據什麼、是否有任務相近的測試，以及哪些主張仍需外部資料。如果沒有對應證據，就保留這個缺口，不必硬替數字找理由。

 

分開記錄答案、證據與限制

 

    例如整理一篇科普報導時，先列出可核對的事實，再查原始來源是否支持，最後記下日期、研究對象與未解問題。若AI提供的連結無法開啟，或內容與主張無關，就不能因排版完整而略過。

 

這些是本文建議的閱讀練習，並非已經在上述研究中證明有效的通用介入。對教師而言，也可以讓學生用同一問題比較不同回答，練習指出證據缺口，而不是只比誰的語氣更有說服力。

 

也要區分「不知道事實」與「沒有聽懂問題」。前者可能需要查資料，後者可能需要確認你指哪份文件、哪個日期或哪個對象。兩種缺口若混在一起，就容易出現查了很多資料，卻仍回答錯問題的情況。先辨認缺口在哪裡，比要求模型一律提高信心更有意義。

 

如果要在課堂做比較，可以先固定題目與判分標準，再記錄回答、證據及自報信心。這份紀錄只是學習素材，小量題目不足以證明某模型全面比較可靠；但能讓大家看見，肯定的文字與可核對的理由，應該分開評估。

AI的價值，可以來自快速整理資訊與提出方向；信任則需要有理由。當我們學會分開看答案是否正確、把握程度是否有根據，以及缺少資訊時是否願意釐清，就更能把流暢對話轉化成可檢查的學習過程。

 

 

 

參考資料

1. Damani, M., Puri, I., Slocum, S., et al. Beyond Binary Rewards: Training LMs to Reason About Their Uncertainty。arXiv首版2025-07-22，v2修訂2026-05-15。論文｜作者專案頁
2. Poelitz, C., Doshi-Velez, F., & Lindley, S.（2026）。Referential Uncertainty in Human--AI Collaboration。arXiv:2609.39518｜Microsoft Research，2026年10月
3. Gordon, R.（2026）。Teaching AI models to say “I’m not sure”。MIT News／MIT CSAIL，2026-04-22。
4. Morrison, S.（2026）。AI chatbots are overconfident—like humans。UC Berkeley Haas，2026-10-05
5. Michael, N., BenShushan, D., Bien, J., & Moore, D. A.（2026）。Confidence Calibration in Large Language Models。