Ai2 的全新開源語言模型：OLMo 2 究竟帶來了什麼？
Source: Ai2 OLMo 2
圖靈學院
科楠
2024-12-3
隨著生成式人工智慧的快速發展，開源語言模型成為學術界和產業界的熱門研究方向。近日(2024-11-26)，Ai2 宣布推出全新開源語言模型系列——OLMo 2，這是一款參數規模達 70 億和 130 億（分別為 7B 和 13B）的模型，訓練資料量高達 5 兆個 tokens。不僅如此，OLMo 2 還以其開放性和性能穩定性，與市面上的其他開源模型形成鮮明對比。
OLMo 2 的核心特點
Source: OLMo 2: The best fully open language model to date
1. 高穩定性的訓練過程
在開發大型語言模型的過程中，訓練穩定性一直是技術挑戰之一。針對這一問題，AI2 團隊設計了一套獨特的技術方案，減少訓練過程中的損失波動（loss spike），確保模型在長時間訓練後仍然保持穩定的性能輸出。
2. 分階段訓練策略
AI2 採用了分階段訓練策略，尤其在預訓練的後期階段，通過學習率退火（learning rate annealing）和數據課程（data curriculum）來補足模型早期訓練時未能成功學到的知識或能力，這種方式能夠顯著提升模型的整體表現。
3. 最新的指令微調技術
AI2 引入了來自 Tülu 3 的最新微調技術，開發出指令優化版本——OLMo 2-Instruct，並推出 13B 的模型供用戶試用。目前，用戶可以通過 AI2 的 playground 平台，體驗其卓越的指令執行能力。
4. 開放語言建模評估系統（OLMES）
AI2 開發了一套專屬的開放語言建模評估框架，包括 20 個評估基準，涵蓋知識召回、常識推理、一般推理和數學推理等核心能力。這為模型的進一步改進提供了清晰的指標。
與市面主流開源模型的比較
以下是 OLMo 2 與其他主流開源模型的比較表：
OLMo 2 的優勢與市場定位
Source: OLMo 2: The best fully open language model to date
與其他開源模型相比，OLMo 2 在以下幾個方面具有顯著優勢：
1.全面開源： OLMo 2 不僅公開了模型權重，還提供了訓練數據、代碼、訓練配方、中間檢查點和指令微調模型，這在目前的開源模型中相當少見。
2.卓越的學術性能： 在英語學術基準測試中，OLMo 2 與 Llama 3.1 等頂尖模型競爭，展現了其強大的學術應用潛力。
3.高度可定制性： 開放的模型訓練配方和數據課程，使得研究者和開發者可以根據自己的需求進行二次開發，這對於學術界和產業界都極具吸引力。
未來展望
OLMo 2 的推出，不僅為開源語言模型樹立了新的標杆，也展現了開放科學的力量。隨著技術的不斷進步，未來我們可以期待更多基於 OLMo 2 的創新應用，例如更高效的學術搜索引擎、更精準的專業輔助系統以及個性化的 AI 助手。
AI2 的這一舉措，無疑為語言模型社群注入了新的活力，推動了開源技術的進一步發展。同時，透過與其他主流模型的競爭，OLMo 2 也為用戶提供了更多選擇。
原文參考：
OLMo 2: The best fully open language model to date
