‹ 返回

生成式AI的隱患：為何「模型崩潰」成為未來AI發展的挑戰？

 

圖靈學院
科楠
2024-11-27

 

    隨著生成式人工智慧（Generative AI）的迅速發展，像 GPT-3 和 GPT-4 這樣的大型語言模型（LLM）已經深入我們的生活，應用於文案創作、語音助手以及技術支援等多個領域。我們在10/24也曾經報導了另一篇 “大型語言模型的資料合成與擴充技術” 論文中提到資料的自我合成與擴充，然而，近期發表於《自然》（Nature）的一篇論文 “AI models collapse when trained on recursively generated data.” 之研究揭示了一個令人擔憂的現象：當生成式AI以自己生成的內容進行多代訓練時，其性能可能逐步退化，最終陷入不可逆的崩潰狀態，這一現象被稱為「模型崩潰」（Model Collapse）。牛津大學與多所頂尖學術機構聯合進行的這項研究不僅揭示了模型崩潰的成因，還對此現象的廣泛性和長期影響進行了深入剖析。這一研究結果對生成式AI的發展及其在各行各業的應用提出了嚴峻挑戰。

 

什麼是「模型崩潰」？

    此研究將「模型崩潰」定義為一種退化過程：當生成式AI模型以自己生成的數據進行多代訓練時，逐步偏離原始數據分佈，最終失去生成真實或有用內容的能力。

模型崩潰的特徵

    「模型崩潰」主要表現為以下兩個階段：

1.早期崩潰（Early Collapse）： 模型逐漸丟失低概率事件的記憶。例如，在語言模型中，罕見詞彙或特定語境可能不再被正確生成。

2.晚期崩潰（Late Collapse）： 模型的分佈完全退化為單一模式（即高度集中的概率分佈），生成的內容變得無意義，甚至荒誕不經。

研究中指出，即使在理想條件下（無數據分佈偏移、無函數逼近誤差），這一過程也是無法避免的。

 

圖：學習過程中回饋機制的高階描述。

模型崩潰的成因：三大誤差的累積效應

    研究團隊指出，「模型崩潰」的形成源於三種主要誤差的累積：
1.統計近似誤差（Statistical Approximation Error）：

• 來源： 由於訓練數據的樣本數量有限，無法完全反映原始分佈。
• 影響： 每次重新取樣時，低概率事件（例如罕見詞彙）極有可能被忽略，導致數據分佈的尾部逐漸消失。

 

2.函數表達誤差（Functional Expressivity Error）：

• 來源： 神經網絡作為有限的函數逼近器，無法完美捕捉數據的所有特徵。
• 影響： 模型可能在原始分佈之外引入非零概率，或在分佈內引入零概率，進一步偏離真實分佈。

 

3.函數逼近誤差（Functional Approximation Error）：

• 來源： 源於學習過程中的限制，例如隨機梯度下降的結構偏差。
• 影響： 隨著多代訓練，誤差逐步累積，最終導致模型生成完全不真實的數據。

這些誤差之間的交互會形成「累積效應」，隨著模型的訓練代數增加，偏離真實數據分佈的程度也愈加嚴重。

 

實驗案例：多代模型如何走向崩潰？

    研究團隊使用一個名為 OPT-125m 的語言模型進行實驗，並在多個代數中對其進行訓練。初始階段，模型能準確生成符合原始數據分佈的內容；但隨著代數增加，其生成的文本逐漸失真。

1.具體生成結果的變化

• 第 0 代（初始模型）： 輸入為關於教堂建築的歷史描述，模型生成的內容包含正確的歷史細節和建築風格。
• 第 5 代： 模型開始出現明顯的偏離，生成內容中充斥不相關的語句。
• 第 9 代： 模型的生成內容完全脫離現實，甚至生成虛構的「藍尾兔」、「紅尾兔」等荒誕物種。
• 這表明，隨著代數增加，模型逐漸失去了對原始數據分佈的準確記憶。

2.不同訓練條件下的模型表現

研究還測試了兩種不同的訓練條件：

• 完全依賴生成數據： 模型僅使用生成數據進行訓練，性能迅速下降。
• 保留部分原始數據： 每次訓練時保留 10% 的原始數據，性能下降幅度顯著減緩。

這些結果顯示，保留真實數據是減輕「模型崩潰」的有效策略。

 

對生成式AI的長期影響

    研究強調，隨著生成式AI生成內容的普及，新一代模型將越來越難以獲取真實數據。這不僅會限制模型的性能，還可能對整個AI生態系統造成深遠影響。

1. 數據污染的風險
生成式AI模型依賴從網絡抓取的大規模數據進行訓練。然而，隨著AI生成內容在網絡上的比例不斷上升，訓練數據中不可避免地混入大量AI生成內容，這會導致數據污染，進一步加劇「模型崩潰」。

 

2. 偏見的放大
模型崩潰可能放大已有的數據偏見，特別是在低概率事件（如邊緣化群體的語言特徵）無法正確建模的情況下。這可能導致AI系統對某些群體的忽視甚至歧視。

3. 行業競爭的不平等
研究還指出，早期進入市場的生成式AI模型可能擁有「先行者優勢」，因為它們有機會利用相對純淨的原始數據進行訓練。而隨著數據污染的加劇，後續開發者將面臨更大的挑戰。

 

應對之道：如何避免模型崩潰？

    為了減輕「模型崩潰」帶來的負面影響，研究提出了以下建議：

1. 保留原始數據
在訓練過程中保留一定比例的真實數據，能有效減緩模型的性能退化。例如，在上述實驗中，每次訓練保留 10% 的原始數據即可顯著改善模型性能。

2. 加強數據來源管理
確保訓練數據的真實性和多樣性是防止數據污染的關鍵。開發者可以引入數據標記系統，將AI生成內容與人類創作內容區分開來。

3. 推動行業協作
研究呼籲建立行業標準，要求生成式AI的開發者共享數據來源信息，以確保整個生態系統的可持續發展。

 

未來展望：生成式AI的挑戰與機遇

    「模型崩潰」的研究對生成式AI的未來發展提出了警示。儘管生成式AI技術的潛力巨大，但我們必須正視其潛在風險，並採取有效措施應對。

隨著技術的不斷進步，我們有理由相信，通過加強數據管理和推動行業協作，生成式AI可以在確保性能穩定的同時，為社會帶來更多創新和價值。

 

 

原文出處：Shumailov, I., Shumaylov, Z., Zhao, Y. et al. AI models collapse when trained on recursively generated data. Nature 631, 755–759 (2024). https://doi.org/10.1038/s41586-024-07566-y